OmniFall: From Staged Through Synthetic to Wild, A Unified Multi-Domain Dataset for Robust Fall Detection

Deze paper introduceert OmniFall, een unificerend benchmarkdataset met 80 uur aan gefaseerde, synthetische en echte valvideo's, om robuuste en privacy-bewuste valdetectiemodellen te trainen die goed generaliseren naar onbeheerde omgevingen.

De kern

Stel je voor dat je een robot wilt bouwen die kan zien als iemand valt, zodat hij direct een ambulance kan bellen. Dit is een droom voor de zorg, vooral voor ouderen. Maar tot nu toe was het bouwen van zo'n robot een beetje als het leren zwemmen in een zwembad met perfect helder water, en dan plotseling het zwemmen in de ruige, koudere zee moeten leren.

Deze paper introduceert OmniFall, een nieuw "zwembad" voor computers om te leren vallen te herkennen. Het is een enorme verzameling video's die drie verschillende werelden combineert om de robot zo goed mogelijk voor te bereiden op de echte wereld.

Hier is hoe het werkt, vertaald naar alledaags taal:

1. Het Drie-Werelden Concept

OmniFall is opgebouwd uit drie delen, net als een trainingskamp voor een atleet:

• De Oefensessie (OF-Staged):
  Dit is het traditionele deel. Denk aan een filmset waar acteurs veilig vallen in een studio. Alles is gecontroleerd: het licht is perfect, de camera's staan stil, en de "slachtoffers" zijn jonge, gezonde mensen die weten wat ze doen.

  • Het probleem: In de echte wereld valt iemand niet in een studio. Het licht is slecht, de camera schudt, en de persoon is misschien oud en draagt een dikke trui. Robots die alleen hierop trainen, raken in de war zodra ze de studio verlaten.
  • OmniFall's oplossing: Ze hebben acht verschillende oude datasets samengevoegd tot één grote, gestandaardiseerde set. Alsof je alle oude trainingsboeken in één dik naslagwerk stopt.

• De Digitale Poppenkast (OF-Synthetic):
  Dit is het meest innovatieve deel. In plaats van echte mensen te laten vallen (wat ethisch lastig en gevaarlijk is voor ouderen), hebben ze een AI-generator gebruikt om 12.000 video's te maken.

  • De analogie: Stel je voor dat je een videogame maakt waarin je kunt kiezen voor elke leeftijd, huidskleur, lichaamsvorm en kledingstijl, en dan in elke denkbare kamer kunt laten vallen. Dat is wat ze hebben gedaan.
  • Het verrassende resultaat: De paper ontdekte dat deze kunstmatige video's soms zelfs beter werken om de robot voor te bereiden op de echte wereld dan de echte studio-video's. Waarom? Omdat je in de computerwereld precies kunt variëren wat er in de echte wereld vaak ontbreekt: diversiteit.

• De Echte Zee (OF-In-the-Wild):
  Dit is de "examenhal". Hier zitten geen acteurs en geen computersimulaties. Dit zijn echte ongelukken die op straat of in huizen zijn opgenomen (gehaald van een andere dataset genaamd OOPS).

  • Het doel: Dit is de test. Als de robot hier goed presteert, betekent het dat hij echt iets kan. In deze video's is het vaak donker, wazig, en valt iemand misschien niet netjes, maar chaotisch.

2. Waarom is dit zo belangrijk?

Vroeger was het zo:

• Je trainde je robot op een studio-video.
• Je testte hem op een andere studio-video.
• De robot scoorde 99% goed! "Super!" dachten we.
• Je zette hem in een verpleeghuis.
• De robot faalde, omdat de ouder anders bewoog, het licht anders was, of de camera anders stond.

Met OmniFall doen ze het anders:

• Ze trainen de robot op een mix van studio-video's én die 12.000 AI-video's.
• Ze testen hem alleen op de echte, chaotische ongelukken (de "In-the-Wild" test).
• Het resultaat: Robots die getraind zijn met deze mix, werken veel beter in de echte wereld. Sterker nog, de AI-video's bleken soms zelfs effectiever te zijn dan de echte studio-video's, omdat ze de robot leerden omgaan met verschillende soorten mensen en omgevingen zonder dat er iemand echt pijn deed.

3. De "Tijdslijn" (Timeline Segmentation)

De paper gaat niet alleen over het moment van vallen ("Oeps, hij valt!"). Ze kijken ook naar wat er na het vallen gebeurt.

• De analogie: Het is het verschil tussen zien dat iemand op de grond tikt, en zien dat iemand blijft liggen en niet meer kan opstaan.
• Dit laatste is cruciaal. Als iemand urenlang op de grond ligt ("long-lie"), kan dat dodelijk zijn. OmniFall heeft video's zo gedetailleerd gemerkt (frame-per-frame) dat de robot niet alleen het vallen ziet, maar ook weet: "Ah, hij zit nu, hij ligt nu, hij probeert op te staan."

Samenvatting in één zin

OmniFall is een revolutionaire trainingsset die robots leert vallen te herkennen door ze te laten oefenen in een veilige studio, in een gevarieerde virtuele wereld, en ze vervolgens te testen op de ruwe realiteit, zodat ze in het echt kunnen helpen wanneer het er echt toe doet.

Het is een stap in de richting van zorgrobots die niet alleen slim zijn in theorie, maar ook betrouwbaar in de praktijk.

Technische samenvatting

Probleemstelling

Bestaande visuele systemen voor valdetectie bij ouderen kampen met ernstige beperkingen die hun inzetbaarheid in de echte wereld ondermijnen:

1. Gebrek aan diversiteit: Modellen worden getraind op kleine, gestage (staged) datasets met beperkte variatie in omgeving, camerahoeken en onderwerpen. Dit leidt tot slechte generalisatie naar onvoorspelbare, realistische situaties.
2. Ethische en praktische barrières: Het verzamelen van valdata van kwetsbare ouderen roept ethische zorgen op en is logistiek moeilijk.
3. Inconsistentie: Er is geen gestandaardiseerd benchmarkprotocol. Bestaande datasets gebruiken verschillende annotatiestelsels (taxonomieën), wat cross-dataset vergelijkingen onmogelijk maakt.
4. Focus op het moment van vallen: Veel systemen detecteren alleen het valmoment, maar missen de kritieke "langdurige liggende toestand" (long-lie), waarbij een persoon niet meer kan opstaan en hulp nodig heeft.
5. Ontbrekende evaluatie: Er is geen standaardprotocol om te testen hoe goed modellen getraind op gestage of synthetische data presteren op echte ongevallen (out-of-distribution generalisatie).

Methodologie: Het OmniFall Benchmark

De auteurs introduceren OmniFall, een unificerend benchmark dat drie complementaire domeinen combineert om de kloof tussen laboratorium en realiteit te overbruggen:

1. OmniFall-Staged (OF-Staged):

   • Een unificatie van 8 bestaande publieke datasets (zoals CMDFall, UP Fall, Le2i, etc.).
   • Alle data is handmatig her-geannoteerd naar een unificerend 16-klasse taxonomie.
   • Dit taxonomie onderscheidt tussen transient acties (vallen, zitten, liggen, opstaan), statische toestanden (gevallen, zittend, liggend, staand) en andere activiteiten.
   • Het biedt dichte frame-voor-frame annotaties en gestandaardiseerde splits voor cross-subject en cross-view evaluatie.

2. OmniFall-In-the-Wild (OF-ItW):

   • De eerste test-only benchmark voor echte ongevallen, gecureerd uit de OOPS-dataset.
   • Bevat 2,6 uur aan video's van echte ongevallen in oncontroleerde omgevingen met natuurlijke camera-beweging, variabele belichting en obstructies.
   • Fungeert als de "gouden standaard" voor out-of-distribution (OOD) evaluatie.

3. OmniFall-Synthetic (OF-Synthetic):

   • 12.000 synthetische video's (17 uur) gegenereerd met het Wan 2.2 video-generatiemodel.
   • Biedt gecontroleerde diversiteit in demografie (leeftijd, etniciteit, BMI, geslacht) en omgeving.
   • Oplossing voor privacyproblemen: geen echte kwetsbare personen nodig, maar wel hoge variatie voor training.

Annotatie en Protocol:

• Alle data is omgezet naar een 16-klasse timeline-taxonomie (bijv. onderscheid tussen 'liggen' en 'gevallen').
• Het benchmarkprotocol stelt drie evaluatiemogelijkheden in: trainen op gestage data, trainen op synthetische data, en trainen op een combinatie, allemaal getest op de "Wild"-data.

Key Contributions

1. Unificatie en Standaardisatie: Het samenvoegen van 8 datasets tot één coherent benchmark met uniforme, dichte frame-annotaties.
2. Eerste "Staged-to-Wild" Benchmark: Een rigoureus testset (OF-ItW) om generalisatie naar echte ongevallen te meten.
3. Synthetische Data Validatie: Het introduceren van een grote, gecontroleerde synthetische dataset die specifiek is ontworpen om de demografische bias van bestaande datasets te corrigeren.
4. Uitgebreide Experimenten: Systematische evaluatie van zowel video-classificatie als timeline-segmentatie (detectie van de duur van de valtoestand).

Resultaten

De experimenten, uitgevoerd met modellen zoals VideoMAE-K400, I3D en SigLIP2, tonen de volgende inzichten:

• Diversiteit is cruciaal: Modellen getraind op de geaggregeerde OF-Staged dataset presteren significant beter op de "Wild"-test dan modellen getraind op individuele datasets (bijv. CMDFall alleen). Dit bevestigt dat diversiteit belangrijker is dan puur data-omvang.
• Synthetische data overtreft gestage data: Een opvallende bevinding is dat een model dat uitsluitend is getraind op synthetische data (OF-Syn) beter presteert op echte ongevallen (OF-ItW) dan een model getraind op alle gestage real-world data samen.
  • Fall F1-score OF-ItW: Synthetisch (64,2%) > Gestage (60,5-61,2%) > CMDFall alleen (52,3%).
  • Dit suggereert dat synthetische data, door de gecontroleerde demografische variatie, de domeinkloof (domain gap) effectiever overbrugt dan gestage data.
• Combinatie is optimaal: De beste prestatie wordt bereikt door een combinatie van gestage en synthetische data te gebruiken (65,6% F1-score), hoewel de verbetering ten opzichte van alleen synthetische data marginaal is.
• Feature Sensitiviteit:
  • Voor timeline-segmentatie blijken appearance-centric features (SigLIP2) baat te hebben bij synthetische data (die visuele diversiteit biedt).
  • Motion-centric features (I3D) profiteren meer van de dynamiek in gestage data.
  • De combinatie van beide domeinen levert de meest robuuste resultaten.
• Domeinkloof: Er is een duidelijke scheiding in feature-ruimte tussen gestage, synthetische en "wild" data, wat de uitdaging van cross-domain generalisatie onderstreept.

Significantie en Impact

OmniFall is een mijlpaal voor het veld van valdetectie en computer vision:

• Privacy-vriendelijke vooruitgang: Het bewijst dat hoogwaardige, privacy-bewuste synthetische data kan dienen als een superieur trainingsmiddel voor real-world toepassingen, waardoor de noodzaak om kwetsbare ouderen te filmen voor training wordt verminderd.
• Robuustheid: Het biedt een rigoureus protocol om modellen te testen op hun vermogen om te generaliseren naar onvoorspelbare omgevingen, wat essentieel is voor de veilige inzet in zorginstellingen.
• Medisch belang: Door de focus op de "gevallen toestand" (fallen state) en niet alleen het valmoment, ondersteunt het de detectie van situaties die direct leiden tot verhoogde mortaliteit (long-lie).
• Toekomstgericht: Het benchmark stelt een nieuwe standaard voor het evalueren van sim2real (synthetic-to-real) transfer learning en biedt een reproduceerbare basis voor verdere research in robuuste actieherkenning.

Kortom, OmniFall verschuift de focus van het trainen op gecontroleerde, gestage data naar het ontwikkelen van systemen die daadwerkelijk functioneren in de complexe, chaotische realiteit, met synthetische data als een krachtig en ethisch verantwoord hulpmiddel.