Biomechanics-Guided Standard Action Modeling and Lightweight ST-GCN for Interpretable Phase-Based Action Quality Assessment

Stel je voor dat je een vriend ziet die een robot probeert te leren hoe hij moet basketballen. Als je de robot alleen vertelt: "Je miste de worp," leert hij niets. Maar als je zegt: "Je elleboog was te laag, je hebt je knieën niet genoeg gebogen en je liet de bal te vroeg los," kan de robot zijn spel daadwerkelijk verbeteren. Dit is de kern van een vakgebied genaamd Action Quality Assessment (AQA). Jarenlang waren computers erg goed in het herkennen van wat voor actie er plaatsvindt (zoals "springen" of "rennen"), maar ze hadden moeite met het uitleggen van hoe goed het werd uitgevoerd. Traditionele methoden vereisen vaak dure, logge camera's en sensoren die lijken op een sciencefictionset, waardoor ze onmogendig te gebruiken zijn in een gewone schoolgymzaal. De grote vraag die onderzoekers proberen op te lossen is: Kunnen we een simpele video van een telefoon of een standaard camera gebruiken om niet alleen een score te geven, maar ook uit te leggen waar een beweging precies misging, zonder dat daar een laboratorium vol apparatuur voor nodig is?

Dit artikel introduceert een slim nieuw systeem dat ontworijd is om de staande versprong te beoordelen — een klassieke test voor explosieve kracht — met behulp van enkel een video. De onderzoekers, onder leiding van een team van de Capital Normal University, hebben een digitale "coach" gebouwd die de sprong opdeelt in de kleinste, mechanische onderdelen. In plaats van alleen naar de uiteindelijke afstand van de sprong te kijken, observeert hun systeem de atleet als een biomechanische detective. Ze creëerden een "standaard sjabloon" gebaseerd op deskundige kennis, dat fungeert als de perfecte geest van een ideale sprong. Vervolgens gebruikten ze een lichtgewicht AI-model (een type brein genaamd een ST-GCN) om de echte atleet te vergelijken met deze perfecte geest. Het resultaat is niet alleen een getal; het is een gedetailleerd rapportcijfer dat zegt: "Je afzethoek was te laag," of "Je hebt je knieën niet genoeg gebogen bij de landing." Het team heeft dit getest op 200 mensen en stelde vast dat hun AI de sprongen kon beoordelen met een nauwkeurigheid die overeenkomt met die van menselijke experts, maar dan met een fractie van de benodigde rekenkracht, wat het mogelijk maakt om het te draaien op gewone computers in scholen.

De Digitale Coach en de Perfecte Geest

Beschouw de staande versprong als een complexe dans met vijf duidelijke bewegingen: klaarmaken, doorzakken, explosief omhoog springen, door de lucht vliegen en veilig landen. In het verleden, als een coach dit wilde beoordelen, moest hij de video frame voor frame bekijken, de hoeken raden en aantekeningen maken. Dat is traag, en twee coaches kunnen van mening verschillen.

De auteurs van dit artikel besloten een digitale coach te bouwen die nooit moe wordt en nooit met zichzelf in strijd gaat. Eerst moesten ze de computer leren hoe hij moet zien. Ze namen video's van 200 deelnemers (100 mannen en 100 vrouwen) die sprongen en gebruikten een hulpmiddel genaamd MMPose om het "skelet" van de persoon in de video te vinden. Het is alsof je een stokfiguurtje over de persoon tekent in elk enkel frame van de video. Verveldens gebruikten ze een ander hulpmiddel, VideoPose3D, om dat stokfiguurtje naar de 3D-ruimte te tillen, zodat de computer diepte begrijpt, en niet alleen een plat plaatje.

Maar alleen het zien van het skelet is niet genoeg; de computer moet weten hoe een goede sprong eruitziet. Daarom bouwde het team een Standaard Actie Sjabloon. Stel je dit voor als een "Perfecte Geest"-sprong. Deze geest heeft geen lichaam, maar heeft wel een reeks regels: "De knieën moeten 80–100 graden buigen," "De afzethoek moet tussen de 19 en 40 graden liggen," en "De landing moet zacht zijn." Deze geest werd gecreëerd door wetenschappelijke studies te combineren met de kennis van echte sportexperts.

Het Lichtgewicht Brein

Nu komt de ster van de show: de Lightweight ST-GCN. In de wereld van AI staat "GCN" voor Graph Convolutional Network, een chique manier om te zeggen dat het een computerbrein is dat begrijpt hoe lichaamsdelen met elkaar verbonden zijn (zoals hoe je knie beweegt wanneer je heup beweegt). Normaal gesproken zijn deze breinen enorm, zwaar en traag, en vereisen ze krachtige supercomputers om te draaien.

De onderzoekers wilden iets dat op een gewone computer kon draaien, misschien zelfs op een laptop in een schoolgymzaal. Daarom bouwden ze een lichtgewicht versie. Denk eraan als het verkleinen van een enorme, complexe bibliotheek tot een enkel, perfect georganiseerd notitieblok. Ze sneden onnodige onderdelen weg, verwijderden complexe aandachtsmecanismen (die werken als een brein dat probeert naar te veel dingen tegelijk te kijken) en vereenvoudigden de structuur.

Het resultaat is een model dat ongelooflijk klein is. Het heeft slechts 0,48 miljoen parameters (het "geheugen" van het brein) en vereist 2,7 GFLOPs aan rekenkracht. Om dat in perspectief te plaatsen: een standaard, zware versie van dit brein zou 3,10 miljoen parameters en 16,4 GFLOPs nodig hebben. Het nieuwe model is ongeveer 84,5% kleiner en veel sneller. Het kan een sprong analyseren in slechts 18,2 milliseconden op een krachtige computer, of 64,3 milliseconden op een standaard CPU. Dat is snel genoeg om bijna direct feedback te geven, zoals een coach die advies roept terwijl je nog in de lucht hangt.

Hoe het Beoordeelt en Uitlegt

Hier gebeurt de magie. Het systeem kijkt niet alleen naar de hele sprong en raadt een score. Het breekt de sprong op in drie hoofdzones voor scoring: Afzet, Vlucht en Landing.

1. De Afzetzone: Deze omvat de voorbereiding, het doorzakken en de explosie. De AI controleert of de atleet de knieën genoeg heeft gebogen en of de armen correct zijn gezwaaid.
2. De Vluchtzone: Dit is de tijd in de lucht. De AI controleert of het lichaam stabiel bleef en of de benen goed naar achteren werden getrokken.
3. De Landingszone: Dit is de impact. De AI controleert of de knieën bogen om de val te dempen en of het lichaam in balans bleef.

De AI geeft een score voor elke zone en combineert deze vervolgens in een totaalscore. Maar het beste deel is de feedback. Als de score voor "Afzet" laag is, kijkt het systeem naar het "Perfecte Geest"-sjabloon en vraagt: "Wat was er anders?"

• Waren de knieën niet genoeg gebogen? -> Feedback: "Onvoldoende afzet."
• Was de sprong te vlak? -> Feedback: "Lage afzethoek."
• Bleven de armen stil? -> Feedback: "Onvoldoende armzwaai."

De Resultaten: Werkt het?

Het team heeft hun digitale coach getest tegenover drie menselijke experts. De resultaten waren indrukwekkend. De scores van de AI kwamen overeen met die van de menselijke experts met een correlatie van 0,94 (waarbij 1,0 een perfecte match is). Wat betreft de foutmarge, zat de AI gemiddeld slechts 0,12 punt af (RMSE), vergeleken met 0,33 punt voor de menselijke experts en 0,26 punt voor andere computermethoden.

Het artikel suggereert dat deze methode bijzonder goed is bij de afzetfase, waar het het meest consistent was. De vlucht- en landingsfasen waren iets moeilijker perfect te beoordelen, waarschijnlijk omdat het lichaam zo snel beweegt en de camera soms de gewrichten een fractie van een seconde kwijt kan raken. Echter, zelfs met deze kleine haperingen, was het systeem nog steeds nauwkeuriger dan traditionele computermethoden en net zo goed als de menselijke experts.

De onderzoekers hebben hun "split-phase" methode (het apart beoordelen van de drie delen) ook vergeleken met een methode die simpelweg naar de hele sprong tegelijk kijkt. De split-phase methode won overtuigend. Het is alsoal een wiskundetoets beoordelen door de optelling, de vermenigvuldiging en het uiteindelijke antwoord apart te controleren, in plaats van alleen naar het eindgetal te kijken. Deze aanpak hielp de AI om kleine fouten op te merken die verborgen zouden zijn gebleven als er alleen naar de totale score werd gekeken.

De Kern van het Verhaal

Dit artikel suggereert dat we geen dure laboratoria nodig hebben om professionele feedback te krijgen op sportbewegingen. Door een "Perfecte Geest"-sjabloon te combineren met een klein, snel AI-brein, kunnen we een eenvoudige video transformeren tot een gedetailleerde coachesessie. Het systeem is snel, nauwkeurig en, het belangrijkste, interpreteerbaar — het vertelt je waarom je een bepaalde score kreeg, en niet alleen wat die score is.

De auteurs merken er voorzichtig bij op dat dit geen vervanging is voor een echte menselijke coach of een lab met hoogtechnologische sensoren. Het is een hulpmiddel voor scholen en grassroots-training waar de middelen beperkt zijn. Ze geven ook toe dat hun testgroep voornamelijk uit jongvolwassenen bestond, dus het zal mogelijk meer getest moeten worden op kinderen of oudere atleten. Maar voor nu hebben ze aangetoond dat we met een beetje slimme engineering een computer kunnen leren om een sprong te bekijken, de fysica te begrijpen en je een high-five of een zachte duw te geven om het opnieuw te proberen.