Stel je voor dat je een vriend ziet die een nieuwe dansbeweging probeert te leren van een video. Je kunt gemakkelijk zien of hij het goed of fout doet, maar precies uitleggen waarom zijn knie op de verkeerde manier gebogen is of waarom zijn ritme niet klopt, vereist een combinatie van een scherp oog en specifieke kennis. Dit is de kern van Action Quality Assessment (AQA). Hoewel computers erg goed zijn geworden in het simpelweg herkennen wat voor actie er plaatsvindt (zoals het roepen: "Jumping Jack!"), hebben ze historisch gezien moeite gehad met beoordelen hoe goed het wordt uitgevoerd. Onlangs is er een nieuw type superintelligent computerebrein aangekomen: een Multimodal Large Language Model (MLLM). Deze modellen kunnen video's zien en tekst lezen, wat belooft te fungeren als een persoonlijke coach die niet alleen zegt "goed gedaan", maar ook daadwerkelijk je vorm kan bekritiseren. Maar hier is de grote vraag: zijn deze AI-coaches werkelijk klaar om ons te helpen, of zijn ze gewoon aan het gokken?

Dit is precies wat het papier FitAQA probeert te ontdekken. De onderzoekers hebben, werkend met sportwetenschappelijke experts, een enorme "gymles" voor AI gebouwd om hun coachingvaardigheden te testen. Ze vroegen de AI niet alleen om een score te geven; ze maakten een gedetailleerde checklist van 30 verschillende lichaamsgewichtoefeningen (zoals push-ups en squats) en deelden "goede vorm" op in zes specifieke categorieën: uitlijning (alignment), symmetrie (symmetry), stabiliteit (stability), coördinatie (coordination), tempo (tempo) en volledigheid (completeness). Vervolgens voerden ze de AI 2.219 video's en meer dan 5.500 vragen om te beantwoorden. De resultaten waren een broodnodige reality check: hoewel deze AI-modellen indrukwekkend zijn, zijn ze momenteel verschrikkelijk in het spotten van de kleine, cruciale details die een oefening veilig en effectief maken. Ze missen de fouten vaak volledig of kunnen niet aangeven wanneer in de video de fout plaatsvond. De studie suggereert dat het belangrijkste probleem niet is dat de AI de regels van fitness niet kent; het is dat de AI moeite heeft om het visuele bewijs duidelijk genoeg te zien om die regels toe te passen.

De Grote AI Gymtest

Denk aan de huidige staat van AI-videoverstaan als een student die elk tekstboek over natuurkunde heeft gelezen, maar nog nooit een bal heeft zien stuiteren. De student kent de theorie, maar kan niet voorspellen waar de bal zal landen. De auteurs van dit papier realiseerden zich dat om te testen of AI echt een fitnesscoach kan zijn, ze een test nodig hadden die niet alleen ging over het raden van een eindscore. Ze hadden een test nodig die vroeg: "Heb je de fout gezien?" "Weet je dat het een fout is?" en "Precies wanneer gebeurde het?"

Om dit te doen, creëerden ze FitAQA, een benchmark (een standaardtest) die als een enorme, digitale gymvloer fungeert. In plaats van slechts naar één type oefening te kijken, dekten ze 30 verschillende bewegingen af, van full-body cardio zoals jumping jacks tot core-krachtoefeningen zoals reverse crunches. Maar de echte magie zit in de manier waarop ze de fouten organiseerden. In plaats van een aparte lijst met fouten voor elke individuele oefening te maken (wat chaotisch zou zijn), werkten ze met menselijke experts aan een verenigde "Foutentaxonomie".

Stel je een woordenboek van fouten voor dat voor bijna alles van toepassing is. Of je nu een squat of een push-up doet, de fouten vallen in zes bakken:

• Alignment (Uitlijning): Zijn de gewrichten correct uitgelijnd?
• Symmetry (Symmetrie): Doet de linkerkant hetzelfde als de rechterkant?
• Stability (Stabiliteit): Wankel je of tril je ongecontroleerd?
• Coordination (Coördinatie): Bewegen je armen en benen in harmonie met elkaar?
• Tempo (Tempo): Is het ritme te snel of te langzaam?
• Completeness (Volledigheid): Heb je de volledige bewegingsuitslag voltooid, of heb je het afgebroken?

Ze vonden 38 specifieke soorten terugkerende fouten binnen deze categorieën. Bijvoorbeeld "Forward Head Posture" (voorwaartse hoofdpositie) of "Insufficient Range of Motion" (onvoldoende bewegingsbereik). Dit stelde hen in staat om het vermogen van de AI te testen om deze specifieke patronen over verschillende oefeningen heen te spotten, in plaats van alleen te onthouden dat "een squat met slechte knieën slecht is".

De Drie Niveaus van de Test

De onderzoekers vroegen de AI niet alleen om een eindcijfer. Ze deelden de taak op in drie niveaus, als een videogame met toenemende moeilijkheidsgraad:

1. Perceptie (De Ogen): De AI krijgt een video te zien en krijgt de vraag: "Wat zie je gebeuren met de heupen?" De AI moet kiezen tussen neutrale beschrijvingen zoals "De heupen blijven onder de lijn" of "De hechten stijgen boven de lijn". Dit test of de AI de lichaamsdelen daadwerkelijk de beweging kan zien maken.
2. Oordeel (Het Brein): Zodra de AI de beweging "ziet", krijgt het de vraag: "Is deze heupbeweging correct?" Dit vereist het combineren van wat het zag met de kennis van fitnessregels.
3. Temporele Gronding (De Stopwatch): Dit is het moeilijkste niveau. De AI krijgt de vraag: "Precies wanneer in deze 30-seconden durende video slaagde de persoon er niet in de heupen hoog genoeg te tillen?" De AI moet naar de specifieke seconden wijzen waar de fout optrad.

De Resultaten: AI is een Slechte Coach (Voor Nu)

Toen ze de test uitvoerden met de meest geavanceerde AI-modellen die beschikbaar zijn (inclusief grote namen zoals GPT-5.5, Gemini en diverse open-source modellen), waren de resultaten verrassend. De AI-modellen presteerden over het algemeen slechts iets beter dan een willekeurige gokker.

• De Ogen zijn Zwak: De modellen hadden aanzienlijke problemen met de Perceptie-taak. Zelfs de beste modellen kregen slechts ongeveer 54% van de visuele details goed. Dit betekent dat de AI vaak niet kon zien of een knie te ver gebogen was of of een rug recht was.
• Het Brein is Verward: Omdat de AI de details niet goed kon zien, was het Oordeel ook slecht. De modellen neigden te optimistisch te zijn en zeiden vaak dat een oefening "correct" was, zelfs wanneer dat niet zo was.
• De Stopwatch is Kapot: Voor de Temporele Gronding-taak waren de modellen verschrikkelijk in het aanwijzen van het exacte moment waarop een fout plaatsvond. Ze gokten vaak dat de hele video de fout was, of misten de fout volledig.

De meest interessante ontdekking kwam uit een "controlexperiment". De onderzoekers vroegen: Wat als we de AI gewoon vertellen wat hij heeft gezien, en hem vervolgens vragen om te oordelen?

Toen ze de AI de juiste visuele beschrijving gaven (het "Perceptie"-antwoord) en hem vervolgens vroegen om het "Oordeel" te geven, schoot de prestatie van de AI omhoog. Bijvoorbeeld, het vermogen van een model om fouten te spotten sprong van een lage score naar een nauwkeurigheid van meer dan 94%. Dit suggereert dat de AI de regels van fitness eigenlijk wel kent en goed kan redeneren, maar dat het faalt omdat het de visuele bewijslast niet helder genoeg kan zien om die regels toe te passen. Het is als een briljante coach die een zonnebril draagt die te donker is om de vorm van de atleet te zien.

De Conclusie

Het papier concludeert dat hoewel Multimodale Large Language Models krachtige instrumenten zijn voor het begrijpen van algemene video-inhoud, ze nog niet klaar zijn om betrouwbare fitnesscoaches te zijn. Ze worstelen met het detecteren van de subtiele, kwaliteitsrelevante details van menselijke beweging en kunnen niet precies lokaliseren wanneer fouten plaatsvinden. De auteurs suggereren dat voordat we een AI kunnen vertrouwen om onze workout-vorm te corrigeren, we het probleem van visuele perceptie moeten oplossen — de AI leren om de kleine details van houding en beweging net zo duidelijk te zien als een menselijke expert dat doet. Tot die tijd is het waarschijnlijk het beste om een echte menselijke trainer in de buurt te houden.