💬 NLP

NextMotionQA: Benchmarking and Judging Human Motion Understanding with Vision-Language Models

Dit artikel introduceert NextMotionQA, een uitgebreide benchmark met multi-task evaluaties over variërende complexiteitsniveaus om het begrip van menselijke beweging in vision-language modellen rigoureus te beoordelen, waarbij kritieke capaciteitsverschillen worden onthuld en de grenzen worden gedefinieerd van het gebruik van VLMs als beoordelaars voor fijnmazige bewegingsanalyse.

Oorspronkelijke auteurs: Yong Cao, Chuqiao Li, Xianghui Xie, Gerard Pons-Moll, Andreas Geiger

Gepubliceerd 2026-06-04

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Yong Cao, Chuqiao Li, Xianghui Xie, Gerard Pons-Moll, Andreas Geiger

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren menselijke bewegingen te begrijpen, zoals een dansinstructeur of een filmregisseur. Om dit te doen, heb je een manier nodig om te testen of de robot het echt "snapt" wat de persoon doet, of dat hij het gewoon gokt.

Dit artikel introduceert een nieuwe, veel moeilijkere test genaamd NextMotionQA. Zie het als een upgrade van een simpele "Waar of Niet Waar"-quiz naar een complexe, meerlagige videogame voor Kunstmatige Intelligentie (AI).

Hier is een overzicht van wat ze hebben gedaan, met behulp van eenvoudige analogieën:

1. Het Probleem: De oude tests waren "kapot"

De auteurs keken naar bestaande tests voor AI-bewegingsbegrip en vonden deze tekortschieten.

De Analogie: Stel je een rijexamen voor waarbij de instructeur vraagt: "Is de auto bewogen?" en het antwoord is altijd "Ja." Dat is te makkelijk, en het vertelt je niet of de bestuurder daadwerkelijk kan parkeren, invoegen of een storm kan afwenden.
De Realiteit: Oude tests hadden vage vragen, misten verschillende moeilijkheidsgraden en hadden vaak antwoorden waar zelfs menselijke experts het niet over eens konden worden. Als het "gouden standaard"-antwoord wazig is, kun je niet zien of de AI slim is of gewoon geluk heeft.

2. De Oplossing: NextMotionQA (De "3x3x3" Uitdaging)

Het team bouwde een nieuwe benchmark met 1.307 door experts geverifieerde voorbeelden. Ze structureerden het als een 3D-raster (3x3x3) om AI vanuit elke hoek te testen:

3 Taaktypen (Het "Wat"):
1. Meerkeuze (Herkenning): "Welke lichaamsdelen bewegen?" (Zoals de juiste ingrediënten uit een lijst kiezen).
2. Beschrijving (Omschrijving): "Beschrijf de beweging in je eigen woorden." (Zoals een recept voor de dans schrijven).
3. Foutcorrectie (Kritiek): "Hier is een foutieve beschrijving; vind de fout en verbeter deze." (Zoals een corrector die typefouten in een manuscript vindt).
3 Semantische Assen (De "Focus"):
- Lichaamsdelen: Welke ledematen zijn betrokken?
- Richting: Welke kant gaan ze op?
- Actie: Wat is de specifieke beweging?
3 Moeilijkheidsgraden (De "Hardheid"):
- Makkelijk: Simpele, enkelvoudige bewegingen.
- Gemiddeld: Twee bewegingen achter elkaar.
- Moeilijk: Complexe bewegingen met snelheidsveranderingen of specifieke lichaamsdelen.

Het Resultaat: Ze testten 12 verschillende AI-modellen (zowel open-source als grote commerciële modellen). De resultaten waren verrassend: Geen enkele AI was goed in alles. Sommigen waren geweldig in het kiezen van meerkeuzeantwoorden, maar verschrikkelijk in het schrijven van beschrijvingen. Anderen worstelden met "richting" (links versus rechts) over de hele linie.

3. Het "Rechter"-experiment: Kan AI andere AI beoordelen?

Onlangs zijn mensen begonnen met het gebruik van AI-modellen om andere AI-modellen te beoordelen (zoals een robot die een studentenscriptie nakijkt). De auteurs vroegen zich af: Als een AI slecht is in het begrijpen van beweging, is het dan ook slecht in het beoordelen van beweging?

De Analogie: Stel je een robot voor die een turnwedstrijd beoordeelt.
- De Bevinding: De AI-rechter was goed in het spotten van overduidelijke, grote fouten (zoals "De turner viel"). Dit is het "Coarse" (grove) niveau.
- De Mislukking: Wanneer gevraagd werd naar kleine, specifieke details (zoals "De elleboog van de turner was 5 graden te veel gebogen"), stortte de AI-rechter volledig in. Hij kon het niet eens worden met menselijke experts.
De Conclusie: AI is een betrouwbare rechter voor het "grote plaatje", maar is momenteel nutteloos voor het beoordelen van de fijne details van menselijke beweging.

4. Waarom dit ertoe doet

Het artikel beweert niet dat dit onmiddellijk robots zal repareren of ziekten zal genezen. In plaats daarvan biedt het een diagnostisch hulpmiddel.

Het vertelt ons precies waar de huidige AI faalt (bijv. "Ze kunnen geen links van rechts onderscheiden," of "Ze kunnen geen goede beschrijving schrijven").
Het bewijst dat het simpelweg groter maken van AI-modellen niet altijd zorgt dat ze beter worden in het begrijpen van beweging.
Het waarschuwt ons dat het gebruiken van AI om AI te beoordelen riskant is als je hoge precisie en gedetailleerde feedback nodig hebt.

Kortom: De auteurs hebben een hardere, slimmere test gebouwd om ons precies te laten zien waar de huidige AI blind is voor menselijke beweging, en ze hebben aangetoond dat hoewel AI een goede "algemene" rechter kan zijn, het nog geen "specialistische" rechter is voor de fijne details.

Technische Samenvatting: NextMotionQA

Probleemstelling

Betrouwbare evaluatie van menselijk bewegingsbegrip is cruciaal voor de vooruitgang van embodied AI, robotica en animatie. Bestaande benchmarks lijden echter aan drie onderling samenhangende zwakheden:

Grove Semantische Granulariteit: Ze missen vaak de specificiteit om te diagnosticeren waar modellen falen (bijv. het verwarren van lichaamsdelen of richtingen).
Onderscheideloze Moeilijkheidsgraad: Benchmarks presenteren doorgaans een vlak landschap van moeilijkheid, waarbij ze er niet in slagen taken te stratificeren op basis van complexiteit.
Beperkte Annotatiekwaliteit: Pilotstudies op bestaande datasets (bijv. HumanMotionQA) laten een lage inter-annotator overeenstemming zien onder domeinexperts (34,3% unanieme overeenstemming) en een gemiddelde menselijke nauwkeurigheid (52,9%) die vergelijkbaar met of zelfs slechter is dan die van gespecialiseerde modellen. Dit suggereert dat gerapporteerde modelnauwkeurigheden vaak een reflectie zijn van labelruis in plaats van werkelijke capaciteit.

Bovendien worden Vision-Language Models (VLMs) steeds vaker gebruikt als "rechters" voor text-to-motion (T2M) generatie, maar het blijft onduidelijk of hun betrouwbaarheid als evaluator afneemt onder fijnmazige, op onderdelen gebaseerde scrutinie, vergelijkbaar met hun prestaties bij begripstaken.

Methodologie: NextMotionQA Benchmark

Om deze hiaten te adressen, introduceren de auteurs NextMotionQA, een uitgebreide benchmark bestaande uit 1.307 door experts geverifieerde instanties. De benchmark is gestructureerd als een 3×3×3 matrix:

Drie Taakformaten:
1. Multiple-Choice QA (T1): Meerkeuzevragen die de herkenning van lichaamsdelen, richtingen of acties onderzoeken.
2. Video Captioning (T2): Vrije beschrijving die vereist dat het model as-relevante attributen in een open vocabulaire naar boven brengt.
3. Fine-Grained Error Correction (T3): Het model moet fouten in een gecorrumpeerde caption identificeren en een semantisch correcte herschrijving bieden.
Drie Semantische Assen:
1. Lichaamsdeel (A1): Welke delen de beweging uitvoeren.
2. Richting (A2): Translatierichting (bijv. voorwaarts, lateraal).
3. Actie (A3): De semantische aard van de beweging.
Drie Moeilijkheidsgraden:
- Easy (Gemakkelijk): Enkele actie, geen modifiers.
- Medium (Gemiddeld): Twee aangrenzende acties met snelle transities.
- Hard (Moeilijk): Drie of meer acties of de aanwezigheid van modifiers (richting, snelheid, wijze, fijnmazige lichaamsdelen).

Constructie-pipeline

De dataset wordt geconstrueerd via een semi-geautomatiseerde, tweefasige pipeline met behulp van een frontier VLM (Qwen3.6-Plus) gevolgd door menselijke expertverificatie:

Pass 1 (Metadata-geconditioneerde Conceptie): De VLM stelt kandidaat-items op op basis van BABEL-actielabels en HumanML3D-captions zonder de video te bekijken, wat ervoor zorgt dat het concept geworteld is in symbolische labels.
Pass 2 (Video-geconditioneerde Verfijning): De VLM beoordeelt het concept tegenover de gerenderde video om inconsistenties tussen metadata en de visuele realiteit te corrigeren.
Expert Verificatie: Drie experts op het gebied van beweging beoordelen de items onafhankelijk. Items worden alleen geaccepteerd als alle drie instemmen; anders worden ze herzien of afgewezen. Dit proces handhaaft strikt een afwijzingsrubriek om vier faalmodi te elimineren die in een pilotstudie zijn geïdentificeerd: botsingen in de granulariteit van lichaamsdelen, ambigue ruimtelijke kaders, mismatch in temporele reikwijdte en dominantie van samengestelde acties.

VLM-as-a-Judge Protocol

In een complementaire evaluatie hergebruiken de auteurs de geteste VLMs als rechters voor T2M-generatie. Ze evalueren de afstemming tussen VLM-beoordelingen en menselijke expertbeoordelingen over drie complexiteitsniveaus:

V1: Single-action prompts (herkenningsniveau).
V2: Samengestelde, geketende acties.
V3: Fijnmazige, temporeel gesegmenteerde bewegingen die resolutie op onderdeelniveau vereisen.

Belangrijkste Resultaten

1. VLM Prestaties op NextMotionQA

De auteurs evalueerden 12 representatieve VLMs (open-source en closed-source).

Algemene Rangschikking: Frontier closed-source modellen leiden (Gemini-3.1-Flash: 58.44, Qwen3.6-Plus: 54.85). Het sterkste open-source model (Qwen3.5-27B) scoort 49.75.
Taakdispariteit: De prestaties nemen significant af naarmate de taakcomplexiteit toeneemt.
- T1 (Herkenning): Hoogste scores (bijv. Qwen3.6-Plus: 64.07 Jaccard).
- T2 (Captioning): Universele bottleneck; topmodellen scoren ~43.53. Open-vocabulary productie is strikt moeilijker dan closed-set selectie.
- T3 (Correctie): Prestaties dalen verder; modellen worstelen met het genereren van getrouwe correcties, zelfs wanneer ze fouten kunnen identificeren.
Semantische Zwakte: Richting (A2) is een universele zwakke as voor alle modelfamilies, met een V-vormige prestatiecurve waarbij richtingscores aanzienlijk lager zijn dan lichaamsdeel- of actiescores.
Scaling Effecten: Schalen helpt over het algemeen (bijv. Qwen3.5 van 0.8B naar 27B), maar is niet monotoon. Opvallend genoeg presteert InternVL3.5-14B slechter dan zijn kleinere 4B en 8B varianten op T1, wat aangeeft dat het aantal parameters alleen geen garantie biedt voor bewegingscompetentie.

2. VLM-as-a-Judge Betrouwbaarheid

De studie valideert het "VLM-as-a-judge" paradigma in specifieke regimes, terwijl het ook de grenzen ervan benadrukt:

Coarse Criteria (V1): Sterke afstemming met menselijke experts (Cohen's $\kappa = 0.70$ ). VLMs zijn betrouwbaar voor systeemniveau-ranking van single-action generaties.
Fine-Grained Criteria (V3): Afstemming stort in bij beoordeling op onderdeelniveau (Cohen's $\kappa = 0.10$ ). Op dit niveau keert de correlatie van de VLM met menselijke voorkeur op systeemniveau om ( $r = -0.146$ ), wat aangeeft dat het anti-gecorreleerd is met menselijke voorkeur voor fijnmazige bewerking.
Diagnose: Het falen in V3 weerspiegelt de begripsverschillen gevonden in de hoofdbenchmark: VLMs worstelen met de gezamenlijke resolutie van de identiteit van lichaamsdelen en temporele lokalisatie.

Betekenis en Bijdragen

Het artikel claimt drie primaire bijdragen:

Diagnostische Benchmark: NextMotionQA biedt de eerste verenigde benchmark met expliciete moeilijkheidsgraad-stratificatie en multi-as redenering, waarbij de focus verschuift van geaggregeerde scores naar het lokaliseren van modeltekortkomingen (bijv. richting versus lichaamsdeel).
Karakterisering van de Capaciteitskloof: De evaluatie laat zien dat geen enkel systeem domineert over alle formaten; specifal blijven open-vocabulary beschrijving en fijnmazige correctie significante bottlenecks, en translatierichting is een universeel zwak punt voor huidige VLMs.
Grenzen van het Judging Paradigma: Het werk stelt vast dat hoewel VLMs effectieve rechters zijn voor grove T2M-evaluatie, ze momenteel ongeschikt zijn voor fijnmazige, op onderdelen gebaseerde beoordeling. Dit verheldert de operationele reikwijdte van VLM-as-a-judge protocollen en identificeert camera-frame grounding, temporele lokalisatie en part-aware pretraining als noodzakelijke voorwaarden voor toekomstige vooruitgang.

De auteurs concluderen dat betrouwbaar menselijk bewegingsbegrip vereist dat men verder kijkt dan single-task evaluaties en dat huidige VLMs, hoewel sterk in grove regimes, de specifieke grounding missen die vereist is voor fijnmazige bewegingskritiek.