Biomechanics-Guided Standard Action Modeling and Lightweight ST-GCN for Interpretable Phase-Based Action Quality Assessment

Stellen Sie sich vor, Sie beobachten einen Freund dabei, wie er versucht, einem Roboter das Basketballspielen beizubringen. Wenn Sie dem Roboter nur sagen würden: „Du hast den Wurf verpasst“, würde er nichts lernen. Aber wenn Sie sagen würden: „Dein Ellbogen war zu tief, du hast deine Knie nicht genug gebeugt und du hast den Ball zu früh losgelassen“, kann der Roboter sein Spiel tatsächlich verbessern. Dies ist der Kern eines Feldes namens Action Quality Assessment (AQA). Jahrelang waren Computer großartig darin zu erkennen, welche Aktion gerade stattfindet (wie etwa „Springen“ oder „Laufen“), aber sie hatten Schwierigkeiten zu erklären, wie gut diese ausgeführt wurde. Traditionelle Methoden erfordern oft teure, klobige Kameras und Sensoren, die wie eine Kulisse aus einem Science-Fiction-Film wirken, was sie für einen normalen Schulsportunterricht unmöglich macht. Die große Frage, die Forscher zu lösen versuchen, lautet: Können wir ein einfaches Video von einem Handy oder einer Standardkamera nutzen, um nicht nur eine Punktzahl zu geben, sondern auch genau zu erklären, wo eine Bewegung falsch gelaufen ist – und das alles, ohne ein Labor voller Ausrüstung zu benötigen?

Diese Arbeit stellt ein cleveres neues System vor, das darauf ausgelegt ist, den Standweitsprung zu bewerten – ein klassischer Test für explosive Kraft – allein mithilfe eines Videos. Das Forscherteam unter der Leitung von Capital Normal University hat einen digitalen „Coach“ entwickelt, der den Sprung in seine winzigen, mechanischen Bestandteile zerlegt. Anstatt nur auf die endgültige Sprungweite zu schauen, beobachtet ihr System den Athleten wie ein biomechanischer Detektiv. Sie erstellten eine „Standardvorlage“ basierend auf Expertenwissen, die wie der perfekte Geist eines idealen Sprungs fungiert. Dann nutzten sie ein leichtgewichtiges KI-Modell (eine Art Gehirn namens ST-GCN), um den realen Athleten mit diesem perfekten Geist zu vergleichen. Das Ergebnis ist nicht nur eine Zahl, sondern ein detaillierter Bericht, der sagt: „Dein Absprungwinkel war zu niedrig“ oder „Du hast deine Knie bei der Landung nicht genug gebeugt“. Das Team testete dies an 200 Personen und fand heraus, dass ihre KI die Sprünge mit einer Genauigkeit bewerten konnte, die der von menschlichen Experten entspricht, dies jedoch mit einem Bruchteil der Rechenleistung, was den Einsatz auf normalen Computern in Schulen ermöglicht.

Der digitale Coach und der perfekte Geist

Betrachten Sie den Standweitsprung als einen komplexen Tanz mit fünf deutlichen Bewegungen: Vorbereitung, Hocken, explosives Aufwärtsbewegen, Flug durch die Luft und sicheres Landen. In der Vergangenheit hätten Trainer diesen Sprung bewerten müssen, indem sie das Video Frame für Frame anschauen, Winkel schätzen und Notizen machen. Das ist langsam, und zwei Trainer könnten uneinig sein.

Die Autoren dieser Arbeit beschlossen, einen digitalen Coach zu bauen, der niemals müde wird und niemals widersprüchlich ist. Zuerst mussten sie dem Computer beibringen, wie man sieht. Sie nahmen Videos von 200 Teilnehmern (100 Männer und 100 Frauen), die sprangen, und nutzten ein Werkzeug namens MMPose, um das „Skelett“ der Person im Video zu finden. Es ist, als würde man über die Person in jedem einzelnen Frame eine Strichmännchen-Zeichnung legen. Dann nutzten sie ein weiteres Werkzeug, VideoPose3D, um dieses Strichmännchen in den 3D-Raum zu heben, damit der Computer Tiefe versteht und nicht nur ein flaches Bild sieht.

Aber das Skelett zu sehen, reicht nicht aus; der Computer muss wissen, was ein guter Sprung ist. Also baute das Team eine Standard-Aktionsvorlage. Stellen Sie sich dies als einen „Perfekten Geist“-Sprung vor. Dieser Geist hat keinen Körper, aber er hat einen Satz Regeln: „Die Knie sollten 80–100 Grad gebeugt sein“, „Der Absprungwinkel sollte zwischen 19 und 40 Grad liegen“ und „Die Landung sollte sanft sein“. Dieser Geist wurde durch die Kombination wissenschaftlicher Studien mit dem Wissen echter Sportexperten erstellt.

Das leichtgewichtige Gehirn

Nun kommt der Star der Show: Das leichtgewichtige ST-GCN. In der Welt der KI steht „GCN“ für Graph Convolutional Network, was eine schicke Bezeichnung für ein Computergehirn ist, das versteht, wie Körperteile miteinander verbunden sind (wie zum Beispiel, wie sich dein Knie bewegt, wenn sich deine Hüfte bewegt). Normalerweise sind diese Gehirne riesig, schwer und langsam und benötigen leistungsstarke Supercomputer, um zu laufen.

Die Forscher wollten etwas, das auf einem normalen Computer laufen kann, vielleicht sogar auf einem Laptop in einer Sporthalle. Also bauten sie eine leichtgewichtige Version. Denken Sie daran wie das Schrumpfen einer massiven, komplexen Bibliothek auf ein einziges, perfekt organisiertes Notizbuch. Sie schnitten unnötige Teile heraus, entfernten komplexe Aufmerksamkeitsmechanismen (die wie ein Gehirn sind, das versucht, zu viele Dinge gleichzeitig anzusehen) und vereinfachten die Struktur.

Das Ergebnis ist ein Modell, das unglaublich klein ist. Es besitzt nur 0,48 Millionen Parameter (das „Gedächtnis“ des Gehirns) und benötigt 2,7 GFLOPs an Rechenleistung. Um das in Perspektive zu setzen: Eine Standardversion dieses schweren Gehirns bräuchte 3,10 Millionen Parameter und 16,4 GFLOPs. Das neue Modell ist etwa 84,5 % kleiner und viel schneller. Es kann einen Sprung in nur 18,2 Millisekunden auf einem Hochleistungsrechner oder in 64,3 Millisekunden auf einer Standard-CPU analysieren. Das ist schnell genug, um Feedback fast sofort zu geben, so als würde ein Coach während des Sprungs Anweisungen rufen.

Wie es bewertet und erklärt

Hier geschieht die Magie. Das System betrachtet nicht einfach den gesamten Sprung und rät eine Punktzahl. Es unterteilt den Sprung in drei Hauptbewertungszonen: Absprung, Flug und Landung.

1. Die Absprungzone: Diese umfasst die Vorbereitung, das Hocken und das explosive Aufwärtsbewegen. Die KI prüft, ob der Athlet die Knie genug gebeugt hat und ob er die Arme korrekt geschwungen hat.
2. Die Flugzone: Dies ist die Zeit in der Luft. Die KI prüft, ob der Körper stabil blieb und ob die Beine richtig nach hinten gezogen wurden.
3. Die Landungszone: Dies ist der Aufprall. Die KI prüft, ob die Knie gebeugt wurden, um den Fall abzufedern, und ob der Körper im Gleichgewicht blieb.

Die KI vergibt eine Punktzahl für jede Zone und kombiniert diese dann zu einer Gesamtnote. Aber der beste Teil ist das Feedback. Wenn die Note für den „Absprung“ niedrig ist, vergleicht das System die Daten mit der „Perfekten Geist“-Vorlage und fragt: „Was war anders?“

• Wurden die Knie nicht genug gebeugt? -> Feedback: „Unzureichender Abdruck.“
• War der Sprung zu flach? -> Feedback: „Niedriger Absprungwinkel.“
• Blieben die Arme unbeweglich? -> Feedback: „Unzureichender Armschwung.“

Die Ergebnisse: Funktioniert es?

Das Team testete ihren digitalen Coach gegen drei menschliche Experten. Die Ergebnisse waren beeindruckend. Die Scores der KI stimmten mit denen der menschlichen Experten mit einer Korrelation von 0,94 überein (wobei 1,0 eine perfekte Übereinstimmung ist). In Bezug auf den Fehler lag die KI im Durchschnitt nur um 0,12 Punkte (RMSE) daneben, verglichen mit 0,33 Punkten für die menschlichen Experten und 0,26 Punkten für andere Computermethoden.

Die Arbeit legt nahe, dass diese Methode besonders gut bei der Absprungphase ist, in der sie am konsistentesten war. Die Flug- und Landungsphasen waren etwas schwieriger perfekt zu beurteilen, wahrscheinlich weil sich der Körper sehr schnell bewegt und die Kamera die Gelenke für einen kurzen Moment verlieren kann. Doch selbst mit diesen winzigen Stolpersteinen war das System immer noch genauer als traditionelle Computermethoden und ebenso gut wie die menschlichen Experten.

Die Forscher verglichen auch ihre „Split-Phase“-Methode (die Bewertung der drei Teile separat) mit einer Methode, die nur den gesamten Sprung auf einmal betrachtet. Die Split-Phase-Methode gewann haushoch. Es ist, als würde man eine Mathearbeit bewerten, indem man Addition, Multiplikation und das Endergebnis separat prüft, anstatt nur auf die Endzahl zu schauen. Dieser Ansatz half der KI, kleine Fehler zu entdecken, die verborgen geblieben wären, wenn sie nur die Gesamtpunktzahl betrachtet hätte.

Das Fazat

Diese Arbeit legt nahe, dass wir keine teuren Labore benötigen, um professionelles Feedback zu Sportbewegungen zu erhalten. Durch die Kombination einer „Perfekten Geist“-Vorlage mit einem winzigen, schnellen KI-Gehirn können wir ein einfaches Video in eine detaillierte Coaching-Sitzung verwandeln. Das System ist schnell, genau und vor allem interpretierbar – es sagt Ihnen, warum Sie eine bestimmte Punktzahl erhalten haben, und nicht nur, was die Punktzahl ist.

Die Autoren weisen vorsichtig darauf hin, dass dies kein Ersatz für einen echten menschlichen Trainer oder ein Labor mit Hightech-Sensoren ist. Es ist ein Werkzeug für Schulen und den Breitensport, in denen die Ressourcen begrenzt sind. Sie geben auch zu, dass ihre Testgruppe hauptsächlich aus jungen Erwachsenen bestand, daher könnte es noch mehr Tests an Kindern oder älteren Athleten benötigen. Aber für den Moment haben sie gezeigt, dass ein Computer mit ein wenig kluger Technik lernen kann, einen Sprung zu beobachten, die Physik dahinter zu verstehen und Ihnen entweder ein High-Five zu geben oder einen sanften Anstoß zur Verbesserung zu geben.