Stellen Sie sich vor, Sie beobachten einen Freund dabei, wie er versucht, einen neuen Tanzschritt aus einem Video zu lernen. Sie können ganz leicht erkennen, ob er es richtig oder falsch macht, aber die genaue Erklärung dafür, warum sein Knie falsch gebeugt ist oder warum sein Rhythmus nicht stimmt, erfordert eine Mischung aus scharfem Auge und spezifischem Wissen. Dies ist der Kern der Action Quality Assessment (AQA) (Bewertung der Bewegungsqualität). Während Computer mittlerweile sehr gut darin geworden sind, einfach zu erkennen, welche Aktion gerade stattfindet (wie etwa „Jumping Jack!“ zu rufen), hatten sie historisch gesehen Schwierigkeiten zu beurteilen, wie gut diese ausgeführt wird. Vor kurzem ist ein neuer Typ eines superintelligenten Computergehirns namens Multimodal Large Language Model (MLLM) aufgetaucht. Diese Modelle können Videos sehen und Text lesen, was verspricht, als persönlicher Trainer zu fungieren, der nicht nur „gut gemacht“ sagt, sondern tatsächlich Ihre Form kritisieren kann. Aber hier ist die große Frage: Sind diese KI-Trainer wirklich bereit, uns zu helfen, oder raten sie nur?

Genau das will die Arbeit FitAQA herausfinden. Die Forscher haben in Zusammenarbeit mit Sportwissenschaftlern eine riesige „Sportstunde“ für die KI gebaut, um ihre Coaching-Fähigkeiten zu testen. Sie haben der KI nicht nur gesagt, sie solle eine Note geben; sie haben eine detaillierte Checkliste für 30 verschiedene Eigengewichtsübungen (wie Liegestütze und Kniebeugen) erstellt und „gute Form“ in sechs spezifische Kategorien unterteilt: Ausrichtung (Alignment), Symmetrie, Stabilität, Koordination, Tempo und Vollständigkeit. Dann fütterten sie die KI mit 2.219 Videos und über 5.500 Fragen, die beantwortet werden mussten. Die Ergebnisse waren ein kleiner Realitätscheck: Obwohl diese KI-Modelle beeindruckend sind, sind sie derzeit absolut unfähig, die winzigen, entscheidenden Details zu erkennen, die eine Übung sicher und effektiv machen. Sie übersehen Fehler oft komplett oder können nicht sagen, wann im Video der Fehler auftrat. Die Studie legt nahe, dass das Hauptproblem nicht darin besteht, dass die KI die Regeln des Fitnessstudios nicht kennt, sondern dass sie Schwierigkeiten hat, die visuellen Beweise klar genug zu sehen, um diese Regeln anzuwenden.

Der große KI-Gym-Test

Den aktuellen Stand des KI-Videoverständnisses kann man sich wie einen Studenten vorstellen, der jedes Lehrbuch über Physik gelesen hat, aber noch nie einen springenden Ball beobachtet hat. Er kennt die Theorie, kann aber nicht vorhersagen, wo der Ball landen wird. Die Autoren dieser Arbeit erkannten, dass sie, um zu testen, ob eine KI wirklich ein Fitnesstrainer sein kann, einen Test brauchten, der nicht nur aus dem Raten einer Endnote bestand. Sie brauchten einen Test, der fragte: „Hast du den Fehler gesehen?“ „Weißt du, dass es ein Fehler ist?“ und „Genau wann ist er passiert?“

Um dies zu erreichen, entwickelten sie FitAQA, einen Benchmark (einen Standardtest), der wie ein riesiger, digitaler Fitnessboden ist. Anstatt sich nur auf eine Art von Übung zu konzentrieren, deckten sie 30 verschiedene Bewegungen ab, von Full-Body-Cardio wie Jumping Jacks bis hin zu Core-Kraftübungen wie Reverse Crunches. Aber die wahre Magie liegt in der Art und Weise, wie sie die Fehler organisiert haben. Anstatt für jede einzelne Übung eine separate Fehlerliste zu erstellen (was chaotisch wäre), arbeiteten sie mit menschlichen Experten zusammen, um eine einheitliche „Fehlertaxonomie“ zu erstellen.

Stellen Sie sich ein Wörterbuch der Fehler vor, das für fast alles gilt. Egal, ob Sie eine Kniebeuge oder einen Liegestütz machen, die Fehler fallen in sechs Kategorien:

• Alignment (Ausrichtung): Sind die Gelenke korrekt ausgerrichtet?
• Symmetry (Symmetrie): Macht die linke Seite dasselbe wie die rechte?
• Stability (Stabilität): Wackeln oder zittern Sie unkontrolliert?
• Coordination (Koordination): Bewegen sich Arme und Beine harmonisch zusammen?
• Tempo: Ist der Rhythmus zu schnell oder zu langsam?
• Completeness (Vollständigkeit): Haben Sie den vollen Bewegungsumfang ausgeschöpft oder die Bewegung abgebrochen?

Sie fanden 38 spezifische Arten wiederkehrender Fehler innerhalb dieser Kategorien. Zum Beispiel „Vorwärtsgerichtete Kopfhaltung“ oder „Unzureichender Bewegungsumfang“. Dies ermöglichte es ihnen, die Fähigkeit der KI zu testen, diese spezifischen Muster über verschiedene Übungen hinweg zu erkennen, anstatt nur auswendig zu lernen, dass „eine Kniebeuge mit schlechten Knien schlecht ist“.

Die drei Ebenen des Tests

Die Forscher fragten die KI nicht einfach nach einer Endnote. Sie unterteilten die Aufgabe in drei Ebenen, wie in einem Videospiel mit steigendem Schwierigkeitsgrad:

1. Perception (Wahrnehmung – Die Augen): Der KI wird ein Video gezeigt und die Frage gestellt: „Was siehst du bei den Hüften passieren?“ Sie muss zwischen neutralen Beschreibungen wählen, wie etwa „Die Hüften bleiben unter der Linie“ oder „Die Hüften steigen über die Linie“. Dies testet, ob die KI die Körperteile tatsächlich korrekt sieht.
2. Judgement (Beurteilung – Das Gehirn): Sobald die KI die Bewegung „gesehen“ hat, wird sie gefragt: „Ist diese Hüftbewegung korrekt?“ Dies erfordert die Kombination dessen, was sie sah, mit ihrem Wissen über Fitnessregeln.
3. Temporal Grounding (Zeitliche Verortung – Die Stoppuhr): Dies ist die schwierigste Ebene. Die KI wird gefragt: „Genau wann in diesem 30-sekündigen Video ist die Person daran gescheitert, die Hüften hoch genug zu heben?“ Sie muss den spezifischen Sekundenbereich angeben, in dem der Fehler auftrat.

Die Ergebnisse: Die KI ist ein schlechter Coach (für den Moment)

Als sie den Test mit den fortschrittlichsten verfügbaren KI-Modellen durchführten (einschließlich großer Namen wie GPT-5.5, Gemini und verschiedenen Open-Source-Modellen), waren die Ergebnisse überraschend. Die KI-Modelle schnitten im Allgemeinen nur geringfügig besser ab als ein bloßer Zufallsrater.

• Die Augen sind schwach: Die Modelle hatten signifikante Probleme mit der Aufgabe der Perception. Selbst die besten Modelle erfassten nur etwa 54 % der visuellen Details korrekt. Das bedeutet, die KI konnte oft nicht unterscheiden, ob ein Knie zu weit gebeugt war oder ein Rücken gerade war.
• Das Gehirn ist verwirrt: Da die KI die Details nicht gut sehen konnte, war auch ihr Judgement mangelhaft. Sie neigte dazu, übermäßig optimistisch zu sein und bezeichnete eine Übung oft als „korrekt“, selbst wenn dies nicht der Fall war.
• Die Stoppuhr ist defekt: Bei der Aufgabe des Temporal Grounding waren die Modelle katastrophal darin, den exakten Moment zu bestimmen, in dem ein Fehler passierte. Sie behaupteten oft, das gesamte Video sei der Fehler, oder sie übersahen den Fehler komplett.

Die interessanteste Entdeckung kam aus einem „Kontrollexperiment“. Die Forscher fragten sich: Was wäre, wenn wir der KI einfach genau sagen, was sie gesehen hat, und sie dann nur noch beurteilen lassen?

Als sie der KI die korrekte visuelle Beschreibung (die Antwort zur „Perception“) gaben und sie dann baten, die „Judgement“ vorzunehmen, schoss die Leistung der KI in die Höhe. Beispielsweise sprang die Fähigkeit eines Modells, Fehler zu erkennen, von einem niedrigen Wert auf über 94 % Genauigkeit. Dies deutet darauf an, dass die KI die Regeln des Fitnessstudios tatsächlich kennt und gut argumentieren kann, aber scheitert, weil sie die visuellen Beweise nicht klar genug sehen kann, um diese Regeln anzuwenden. Es ist wie bei einem brillanten Coach, der eine zu dunkle Sonnenbrille trägt und die Form des Athleten nicht sehen kann.

Das Fazit

Die Arbeit kommt zu dem Schluss, dass Multimodale Large Language Models zwar leistungsstarke Werkzeuge zum Verständnis allgemeiner Videoinhalte sind, aber noch nicht bereit sind, zuverlässige Fitnesstrainer zu sein. Sie haben Schwierigkeiten, die subtilen, qualitätsrelevanten Details menschlicher Bewegungen zu erkennen, und können nicht präzise lokalisieren, wann Fehler auftreten. Die Autoren schlagen vor, dass wir, bevor wir einer KI vertrauen können, unsere Trainingsform korrigieren zu lassen, zuerst das Problem der visuellen Wahrnehmung lösen müssen – also die KI zu lehren, die winzigen Details von Haltung und Bewegung so klar zu sehen wie ein menschlicher Experte. Bis dahin ist es wohl am besten, einen echten menschlichen Trainer an der Seite zu behalten.