Can Vision Language Models Judge Action Quality? An Empirical Evaluation
Deze empirische studie concludeert dat Vision Language Models momenteel slechts marginaal beter presteren dan willekeurige kans bij het beoordelen van actie kwaliteit, vanwege fundamentele beperkingen in het analyseren van fijne bewegingsdetails en systematische bias, wat hun directe inzetbaarheid in de praktijk beperkt.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Titel: Kunnen slimme camera's echt zien of je goed sportt? Een eerlijke test.
Stel je voor dat je een nieuwe, superintelligente robotcoach hebt. Deze robot kan niet alleen kijken, maar ook praten en begrijpen wat hij ziet. Hij is een "Vision Language Model" (een slimme computer die beelden en taal combineert). De vraag die deze onderzoekers zich stelden, is simpel: Kan zo'n robot echt goed beoordelen of jij je squats, duiken of schaatsstappen correct uitvoert?
Het antwoord, na een grondige test, is een beetje teleurstellend: Nog niet echt.
Hier is de uitleg in gewone taal, met een paar verhelderende vergelijkingen.
1. De Verwachting vs. De Realiteit
De onderzoekers dachten: "Deze robots zijn zo slim! Ze hebben de hele internetwereld gelezen. Ze weten hoe een perfecte duik eruit moet zien. Laten we ze gewoon een video laten kijken en vragen: 'Hoeveel punten is dit?'"
Ze testten de slimste robots van dit moment (zoals Gemini, Qwen en InternVL) op verschillende sporten: van fitnessoefeningen in de sportschool tot complexe sprongen bij kunstschaatsen en duiken.
Het resultaat? De robots presteerden nauwelijks beter dan een muntje opgooien.
- Vergelijking: Het is alsof je een pasgeboren baby vraagt om een meesterwerk van Rembrandt te beoordelen op techniek. De baby heeft wel gezien hoe mensen schilderen, maar hij heeft nog geen oog voor de subtiele details die het verschil maken tussen een goed en een slecht schilderij. De robots "weten" hoe een squat eruit moet zien, maar ze kunnen het niet zien in de video.
2. De Twee Grote Valkuilen (De "Blinde Vlekken")
De onderzoekers ontdekten waarom deze slimme robots faalden. Ze hebben twee grote zwaktes:
De "Alles is Geweldig"-Bias:
De robots hebben een sterke neiging om te denken dat alles goed gaat, zelfs als het duidelijk fout is.- Analogie: Stel je voor dat je een vriend vraagt om je danspas te beoordelen. Hij is zo beleefd (of zo optimistisch) dat hij altijd zegt: "Prachtig!" of "Goed gedaan!", zelfs als je over je eigen voeten struikelt. De robots vertrouwen te veel op hun algemene kennis ("Mensen doen squats meestal goed") in plaats van echt naar de video te kijken. Ze zien de fout niet, omdat ze al weten wat het moet zijn.
De "Woordjes"-Gevoeligheid:
De robots laten zich te makkelijk beïnvloeden door hoe je de vraag stelt.- Analogie: Als je vraagt: "Wat is er mis met deze dans?", zegt de robot misschien: "Niets, het is perfect." Maar als je vraagt: "Zie je hier een fout?", dan begint de robot plotseling fouten te zoeken die er niet zijn. Ze reageren meer op de woorden in je vraag dan op het beeld op het scherm. Het is alsof ze luisteren naar de toon van je stem in plaats van naar de dansmuziek.
3. Probeerde ze het met hulpmiddelen?
De onderzoekers dachten: "Misschien helpen we de robots een handje?" Ze probeerden verschillende trucs:
- Skeletten erbij: Ze trokken lijntjes om de botten van de sporter (een skelet) over de video heen.
- Resultaat: Niet echt beter. De robots raakten in de war door de lijntjes. Het was alsof je iemand een kaart geeft met alleen lijnen, terwijl ze de hele stad moeten begrijpen.
- Slimme instructies: Ze gaven de robots gedetailleerde regels ("Kijk eerst naar de knieën, dan naar de rug...").
- Resultaat: Ook niet echt beter. De robots volgden de regels, maar de conclusie was nog steeds vaak fout.
- Voorbeelden: Ze gaven de robots voorbeelden van goede en slechte uitvoeringen (zoals een leerling die een voorbeeldopgave krijgt).
- Resultaat: Dit hielp soms een klein beetje, vooral bij het geven van cijfers, maar het was niet de oplossing voor alles.
4. De "Vergelijkings"-Test
Om de robots eerlijk te testen, veranderden ze de vraag. In plaats van te vragen "Is dit goed?", vroegen ze: "Welke van deze twee video's is beter?"
- Het resultaat: Als het verschil tussen de twee video's heel groot was (bijvoorbeeld: één persoon doet een perfecte duik, de ander valt plat op zijn gezicht), dan konden de robots het verschil zien.
- Maar: Zodra het verschil subtiel was (bijvoorbeeld: de ene duiker landt net iets harder dan de andere), faalden ze opnieuw.
- Conclusie: De robots kunnen grote verschillen zien, maar ze zijn niet fijn genoeg in het oog om de subtiele details te beoordelen die een echte sportcoach nodig heeft.
De Grote Les
Deze studie is als een koude douche voor de hype rondom AI in de sportwereld. Het is een eerlijke waarschuwing:
Deze slimme robots zijn nog niet klaar om je als persoonlijke trainer of scheidsrechter te vervangen. Ze zijn te goed in het "gissen" op basis van wat ze hebben gelezen, en te slecht in het echt "zien" van de complexe bewegingen van een menselijk lichaam.
Voordat we ze in de echte wereld kunnen gebruiken (bijvoorbeeld in een fysiotherapiepraktijk of bij Olympische spelen), moeten ze eerst veel harder leren kijken. Tot die tijd: blijf zelf kijken of vraag een menselijke expert om hulp!
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.