Benchmarking Video Foundation Models for Remote Parkinson's Disease Screening

Dit onderzoek presenteert een grootschalige benchmark van zeven video-foundationmodellen voor de screening van de ziekte van Parkinson op afstand, waarbij wordt aangetoond dat de prestaties sterk afhankelijk zijn van de specifieke klinische taak en het gekozen model, met als resultaat een robuuste basislijn en een roadmap voor toekomstige neurologische monitoring.

De kern

De Digitale Arts: Hoe AI-video's Parkinson opspoort

Stel je voor dat je een arts hebt die nooit slaapt, geen reistijd nodig heeft en elke dag duizenden patiënten kan bekijken via een simpele webcam. Dat is wat deze onderzoekers van de Universiteit van Rochester hebben geprobeerd te bouwen: een systeem dat Parkinson's ziekte kan opsporen door gewoon naar een video te kijken.

Hier is hoe het werkt, vertaald naar alledaags taal:

1. Het Grote Experiment: De "Video-Test"

Parkinson is een ziekte die je bewegingen vertraagt of laat trillen. Normaal gesproken moet een patiënt naar een specialist gaan om handelingen te doen zoals vingers tikken, handpalmen draaien of gezichten trekken. Maar niet iedereen kan makkelijk naar een dokter toe.

De onderzoekers hebben een enorme database gemaakt met 32.000 video's van bijna 1.900 mensen. Sommigen hadden Parkinson, anderen niet. Ze lieten deze mensen 16 verschillende taken doen, variërend van "tik met je vingers" tot "zeg een tongbreker" en "trek een vies gezicht".

2. De Superhelden: De "Video-Foundation Models"

Vroeger moesten programmeurs handmatig regels schrijven voor de computer: "Kijk naar de snelheid van de vingers" of "Meet de trilling". Dat is als proberen een auto te bouwen met hamer en spijkers.

In dit onderzoek gebruikten ze echter Video Foundation Models (VFMs). Denk hierbij aan deze modellen als super-intelligente studenten die duizenden uren aan YouTube-video's hebben gekeken voordat ze naar de kliniek kwamen. Ze hebben al een enorm brein vol kennis over hoe mensen bewegen, praten en gezichten trekken.

De onderzoekers stelden zeven van deze "super-studenten" tegen elkaar op:

• VideoPrism: Een alleskunner die goed is in het begrijpen van wat mensen zeggen en hoe hun gezicht eruitziet.
• V-JEPA: Een specialist in het voorspellen van beweging, alsof hij een film kan afspelen in zijn hoofd om te zien of een beweging logisch is.
• TimeSformer: Een meester in ritme, perfect voor snelle taken zoals vingers tikken.

3. De Wedstrijd: Wie is de beste?

De onderzoekers gaven de video's aan deze modellen, maar ze deden ze niet opnieuw leren. Ze gebruikten hun bestaande kennis (zoals een student die al zijn diploma heeft) en vroegen ze: "Is dit iemand met Parkinson of niet?"

De verrassende resultaten:

• Geen één model is de beste in alles. Het is net als in een sportteam: je hebt een speler nodig die goed is in verdedigen en een ander die goed is in scoren.
• Voor armbewegingen (zoals handpalmen draaien) was V-JEPA de winnaar. Hij zag de subtiele trillingen en vertraagde bewegingen het beste.
• Voor gezichtsuitdrukkingen en spraak (zoals een vies gezicht trekken of een zin zeggen) was VideoPrism de beste. Hij zag hoe de lippen en kaak zich anders bewogen dan normaal.
• Voor snelle vingerbewegingen (tikken) deed TimeSformer het het beste, omdat hij goed is in het volgen van ritme.

4. De Realiteit: Een Sterke Wacht, maar nog geen Volledige Diagnose

Het systeem werkt goed, maar het is nog niet perfect.

• Het sterke punt: Als het systeem zegt dat iemand gezond is, heeft het daar bijna altijd gelijk in (90% zekerheid). Het is dus geweldig om mensen die geen Parkinson hebben, snel uit te sluiten.
• Het zwakke punt: Als iemand Parkinson heeft, mist het systeem dit soms nog (ongeveer de helft van de gevallen). Het is alsof de "super-student" soms een beetje vergeten is om heel goed naar de details te kijken.

5. Waarom is dit belangrijk?

Stel je voor dat je in een afgelegen dorp woont, ver weg van een neuroloog. Je pakt je telefoon, doet een paar minuten oefeningen voor de camera, en het systeem geeft je een eerste inschatting.

• Als het systeem zegt: "Je ziet er gezond uit", kun je waarschijnlijk rustig slapen.
• Als het systeem zegt: "Er is iets raars", dan weet je dat je echt even naar een dokter moet voor een nader onderzoek.

Conclusie

Deze studie is als het leggen van een stevige fundering voor een nieuw huis. Ze hebben bewezen dat je geen ingewikkelde, handgemaakte regels meer nodig hebt om Parkinson te zien. Je kunt gewoon slimme, vooraf getrainde AI-modellen gebruiken.

De boodschap is duidelijk: Er is niet één "beste" AI. Voor de beste resultaten moet je de juiste AI kiezen voor de juiste taak, net zoals je een hamer gebruikt voor een spijker en een schroevendraaier voor een schroef. Dit opent de deur voor een toekomst waarin Parkinson vroegtijdig en op afstand kan worden opgespoord, zodat mensen eerder hulp kunnen krijgen.

Technische samenvatting

Probleemstelling

Parkinson's ziekte (PD) is een progressieve neurodegeneratieve aandoening waarvan de prevalentie sterk stijgt. De huidige diagnose en ernstbeoordeling zijn afhankelijk van klinische evaluaties (zoals de MDS-UPDRS-schaal) die gespecialiseerde neurologen vereisen. Dit creëert barrières voor tijdige diagnose in onderbedeelde populaties door geografische en financiële beperkingen.
Hoewel videobasede screening via smartphones en webcams een schaalbare oplossing biedt, zijn bestaande computer-vision-aanpakken vaak beperkt tot:

1. Handgemaakte features: Deze imiteren klinische observaties (bijv. vingerbewegingssnelheid) maar generaliseren slecht over verschillende taken.
2. Taakspecifieke deep learning-modellen: Deze vereisen grote hoeveelheden gelabelde data en missen flexibiliteit.

Er is een urgentie voor het begrijpen van de effectiviteit van Video Foundation Models (VFMs). Deze grote, vooraf getrainde modellen kunnen visuele dynamiek leren zonder taakspecifieke aanpassing tijdens het pre-training, maar het is onduidelijk welke architectuur het beste werkt voor de specifieke klinische taken die nodig zijn voor PD-screening.

Methodologie

1. Dataset en Ethiek
De auteurs hebben een grote, gestandaardiseerde dataset samengesteld uit acht onafhankelijke studies (2017–2025):

• Deelnemers: 1.888 personen (727 met PD, 1.161 zonder).
• Data: 32.847 video's.
• Opname: Via een webplatform, zowel thuis als onder klinisch toezicht, met webcams/smartphones.
• Demografie: Voornamelijk blank, maar inclusief diverse groepen. PD-status was deels zelfgerapporteerd en deels klinisch bevestigd.

2. Klinische Taken
De studie evalueerde 16 gestandaardiseerde taken, ingedeeld in vier domeinen gebaseerd op de MDS-UPDRS:

• Bovenste ledematen motoriek: Vinger tikken, hand draaien (flip palm), vuist openen/sluiten, armen strekken, neus aanraken.
• Visuele spraakkinematica: Pangrammen uitspreken, tongbrekers, klinkers aanhouden (alleen video, geen audio).
• Faciale expressiviteit: Imiteren van emoties (glimlach, walging, verbazing) om hypomimie (verminderde gezichtsuitdrukking) te detecteren.
• Oculomotorische, cervicale en cognitieve controle: Blik volgen, hoofdpositie, achteruit tellen.

3. Geëvalueerde Modellen (Video Foundation Models)
Zeven state-of-the-art VFMs werden getest met een "frozen-backbone" protocol (de gewichten van het basismodel werden niet aangepast, alleen als feature-extractor gebruikt):

• VideoPrism: Gebruikt video-text contrastive learning en masked video modeling.
• V-JEPA2 & V-JEPA2-SSv2: Joint Embedding Predictive Architecture (voorspelt latent representations in plaats van pixels). De SSv2-variant is fijngefineerd op het Something-Something v2 dataset.
• ViViT & TimeSformer: Gebruiken gefactoriseerde attention mechanismen (ruimte-tijd).
• VideoMAE & VideoMAEv2: Gebruiken masked autoencoding (reconstructie van gemaskerde frames).

4. Experimenteel Protocol

• Training: Een lineaire classificatielaag (met één verborgen laag) werd getraind op de geëxtraheerde embeddings om PD vs. Non-PD te onderscheiden.
• Validatie: Data was gesplitst op basis van unieke deelnemers (60% train, 20% val, 20% test) om data-leakage te voorkomen.
• Hardware: Lokale deploy op een workstation met dual NVIDIA RTX A6000 GPU's voor privacy.
• Aanvullende tests: Onderzoek naar multi-view training en oversampling voor class imbalance.

Kernbijdragen

1. Grootste Benchmark: De creatie van de grootste webcam-gedreven dataset voor PD-screening (32k+ video's) met 16 gestandaardiseerde taken.
2. Systematische Vergelijking: Een rigoureuze evaluatie van zeven verschillende VFM-architecturen zonder taakspecifieke fine-tuning.
3. Taak-Architectuur Saliëntie: Het aantonen dat er geen "one-size-fits-all" model is; de prestaties zijn sterk afhankelijk van het specifieke klinische domein.
4. Open Science: Publicatie van code en geanonimiseerde gestructureerde data om herhaalbaarheid en verdere research te stimuleren.

Resultaten

Algemene Prestaties

• De modellen behaalden AUC-waarden tussen 76,4% en 85,3% en nauwkeurigheden tussen 71,5% en 80,6%.
• Specificiteit was hoog (tot 90,3%), wat suggereert dat deze modellen goed zijn in het uitsluiten van gezonde personen (goed voor screening).
• Sensitiviteit was lager (43,2% – 57,3%), wat aangeeft dat er nog ruimte is voor verbetering in het detecteren van PD-gevallen.

Model-specifieke Sterke Punten

• V-JEPA2-SSv2: Presteerde het beste bij motorische taken van de bovenste ledematen (bijv. "Flip Palm" met een AUC van 85,3% en specificiteit van 90,3%). De training op bewegingsgerichte data (SSv2) bleek cruciaal voor het detecteren van bradykinesie (vertraagde beweging).
• VideoPrism: Was het meest veelzijdig en overtrof andere modellen bij visuele spraakkinematica en faciale expressiviteit. Dit model is bij uitstek geschikt voor het detecteren van subtiele spatio-temporele kenmerken zoals hypomimie en dysartrie.
• TimeSformer: Bleek competitief voor ritmische taken zoals vingertikken, waar hoge temporele resolutie nodig is.

Ablatie Studies

• Multi-view training: Leverde geen significante verbetering op ten opzichte van single-view, wat suggereert dat diagnostische features vaak al in korte segmenten aanwezig zijn.
• Oversampling: Had een licht negatief effect op de prestaties, wat aangeeft dat de frozen embeddings van de VFMs al robuust genoeg zijn om met class imbalance om te gaan zonder kunstmatige data-expansie.

Betekenis en Conclusie

Deze studie vestigt een strikte baseline voor het gebruik van Video Foundation Models in de neurologische monitoring op afstand. De belangrijkste conclusies zijn:

1. Geen Universeel Model: De keuze van het model moet worden afgestemd op het fysiologische domein. Voor grove motoriek (ledematen) zijn motion-predictive modellen (V-JEPA) superieur, terwijl voor subtiele gezichtsuitdrukkingen en spraak semantisch-visuele modellen (VideoPrism) beter presteren.
2. Potentieel voor Screening: Hoewel de sensitiviteit nog niet ideaal is voor een definitieve diagnose, is de hoge specificiteit veelbelovend voor het screenen van grote populaties om gezonde individuen te filteren.
3. Toekomstige Richting: Voor klinische toepassing zijn taakbewuste kalibratie (om de sensitiviteit te verhogen) en integratie van meerdere taken en modaliteiten (bijv. audio toevoegen aan video) noodzakelijk.

Dit werk biedt een blauwdruk voor de ontwikkeling van de volgende generatie remote neurologische monitoringssystemen, waarbij modulaire VFM-pipelines worden gecombineerd met zorgvuldig ontworpen kenmerken.