Can Vision Language Models Judge Action Quality? An Empirical Evaluation
Die Studie zeigt, dass aktuelle Vision Language Models bei der Bewertung von Bewegungsqualität nur marginale Fortschritte über zufällige Treffer hinaus erzielen und durch systematische Verzerrungen sowie fundamentale Schwierigkeiten bei der Erfassung feiner Bewegungsnuancen für den realen Einsatz noch nicht zuverlässig sind.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Titel: Können KI-Augen wirklich beurteilen, ob ein Sportler gut ist? Eine ehrliche Prüfung
Stell dir vor, du hast einen sehr gebildeten, aber etwas naiven Freund, der alles über Sport gelesen hat. Er kennt die Regeln, die Techniken und die Geschichte des Sports auswendig. Aber er hat niemals selbst Sport getrieben und hat noch nie wirklich zugegesehen, wie sich ein Mensch in Echtzeit bewegt.
Genau in dieser Situation befinden sich die neuesten Vision Language Models (VLMs) – also die KI-Modelle, die sowohl Bilder/Videos als auch Sprache verstehen können. Die Forscher dieses Papiers wollten herausfinden: Können diese KIs tatsächlich beurteilen, ob eine Bewegung (wie ein Squat, ein Sprung oder ein Tauchgang) gut oder schlecht ausgeführt wird?
Die kurze Antwort lautet: Nein, noch nicht wirklich. Hier ist die Erklärung, warum, mit ein paar einfachen Vergleichen:
1. Der "Bücherwurm"-Effekt (Vorwissen vs. Realität)
Die KIs sind wie der Bücherwurm-Freund. Wenn du sie fragst: "Sieht dieser Sprung gut aus?", antworten sie oft: "Ja, sicher! Sprünge sehen normalerweise so aus."
- Das Problem: Die KIs verlassen sich zu sehr auf ihr Vorwissen aus dem Internet. Sie wissen theoretisch, wie ein perfekter Sprung aussehen sollte. Wenn sie ein Video sehen, ignorieren sie oft die tatsächlichen Fehler im Bild und sagen einfach, alles sei in Ordnung, weil sie "wissen", dass es so sein sollte.
- Die Metapher: Stell dir vor, du zeigst einem Koch, der nur Kochbücher gelesen hat, ein verbranntes Steak. Er sagt: "Das sieht nach einem perfekten Steak aus, weil in meinem Buch steht, dass Steaks so aussehen sollen." Er ignoriert den Rauch und den Geruch (die visuellen Beweise).
2. Das "Wortspiel"-Problem (Sprache täuscht)
Die Forscher haben getestet, wie empfindlich die KIs auf die Wortwahl reagieren.
Wenn sie sagten: "Achte darauf, dass der Rücken gerade ist" (positive Formulierung), dachten die KIs oft: "Alles gut!"
Wenn sie sagten: "Achte darauf, dass der Rücken NICHT krumm ist" (negative Formulierung), dachten sie plötzlich: "Oh nein, das ist falsch!"
Die Metapher: Es ist, als würdest du jemanden fragen: "Ist das Glas halb voll?" (Antwort: Ja!) und dann: "Ist das Glas halb leer?" (Antwort: Nein!). Die Realität (die Wassermenge) hat sich nicht geändert, aber die KI ändert ihre Meinung nur wegen der Worte. Sie "hört" mehr zu, als sie "sieht".
3. Der Versuch mit Skeletten (Hilfsmittel)
Die Forscher dachten sich aus: "Vielleicht hilft es, wenn wir der KI nur die Strichmännchen (Skelette) zeigen, statt des ganzen Videos. Dann muss sie sich auf die Gelenke konzentrieren."
- Das Ergebnis: Das half kaum. Im Gegenteil, wenn man nur das Skelett zeigte, wurde die KI noch verwirrter.
- Die Metapher: Es ist, als würdest du einem Schachspieler nur die Schachfiguren auf einem leeren Brett zeigen, ohne das Brett selbst. Er weiß, wie die Figuren aussehen, aber er kann den Kontext und die Strategie nicht mehr verstehen. Die KIs brauchen den ganzen "Körper" und den Kontext, um die Bewegung zu verstehen.
4. Der "Vergleichs-Test" (Besser oder Schlechter?)
Da die KIs so schlecht darin waren, absolute Noten zu geben, versuchten die Forscher es anders: "Zeig mir Video A und Video B. Welches ist besser?"
- Das Ergebnis: Auch hier waren die KIs meist schlecht, es sei denn, der Unterschied zwischen den beiden Videos war riesig (wie der Unterschied zwischen einem Profi und einem Anfänger). Bei kleinen, feinen Unterschieden (wie bei einem echten Wettkampf) versagten sie.
- Die Metapher: Die KI kann leicht sagen, dass ein Elefant größer ist als eine Maus. Aber sie kann nicht sagen, ob ein Elefant ein bisschen größer ist als ein anderer Elefant, wenn beide fast gleich groß sind.
Was bedeutet das für die Zukunft?
Die Studie ist wie ein Realitätscheck. Sie sagt uns:
- KI ist noch kein Schiedsrichter: Wir können diese Modelle noch nicht in Turnhallen oder Physiotherapie-Kliniken einsetzen, um echte Bewertungen abzugeben. Sie sind zu unzuverlässig.
- Sie sind zu "faul": Sie nutzen Abkürzungen (Worte und Vorwissen), anstatt wirklich hinzusehen.
- Es braucht mehr als nur "Prompting": Es reicht nicht, der KI einfach nur bessere Fragen zu stellen oder ihr mehr Beispiele zu geben. Die Modelle müssen fundamental besser darin werden, visuelle Details wirklich zu verstehen und nicht nur zu "raten".
Fazit:
Die Vision-Language-Modelle sind wie sehr intelligente Studenten, die alle Sportbücher auswendig gelernt haben, aber noch nie einen Ball gepackt oder eine Bewegung ausgeführt haben. Bis sie lernen, wirklich hinzusehen und nicht nur zu raten, können sie uns nicht dabei helfen, unsere Sportform zu verbessern. Die Forschung muss noch viel härter arbeiten, bevor diese KIs als echte Trainer oder Schiedsrichter taugen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.