KPM-Bench: A Kinematic Parsing Motion Benchmark for Fine-grained Motion-centric Video Understanding

Dit paper introduceert KPM-Bench, een nieuw open-source dataset en evaluatiebenchmark voor fijnmazig bewegingsbegrip, en stelt de MoPE-algoritme voor om hallucinaties in bewegingsgerichte videobeschrijvingen systematisch te detecteren en te verminderen.

De kern

De Kernprobleem: Videobots die "dromen" in plaats van kijken

Stel je voor dat je een robot hebt die naar een video kijkt en moet vertellen wat er gebeurt. Helaas zijn de huidige robots (zoals geavanceerde AI-modellen) vaak als een dromerige verteller. Ze zien een danser en zeggen: "Een vrouw danst prachtig."

Dat is niet fout, maar het is ook niet genoeg. Als je een choreograaf of een fysiotherapeut bent, wil je weten: "Haar linkerarm gaat eerst omhoog, dan buigt ze haar elleboog, en haar rechtervoet maakt een kleine stap naar links."

De huidige robots hebben twee grote problemen:

1. Ze zijn te vaag: Ze missen de fijne details van de beweging (wie beweegt waar precies?).
2. Ze hallucineren: Ze verzinnen dingen. Ze zeggen misschien dat de danser een hoed opheeft, terwijl die er niet is, of dat ze eerst springt en dan draait, terwijl het andersom was.

De Oplossing: Een "Bewegings-CT-scan" (KPM-Bench)

De auteurs van dit paper (van Kuaishou Technology) hebben een nieuwe manier bedacht om videobots slimmer en eerlijker te maken. Ze noemen hun project KPM-Bench.

Je kunt dit zien als het bouwen van een gigantische, super-nauwkeurige bewegingsatlas.

Stap 1: De "Fysieke Scan" (Kinematica)

In plaats van alleen te vertrouwen op wat de AI ziet (wat vaak fout gaat), kijken ze eerst naar de wiskunde van de beweging.

• De Analogie: Stel je voor dat je een danser scant met een CT-scan. De AI berekent niet alleen "een arm", maar meet precies: "Deze arm beweegt 15 centimeter per seconde naar boven en draait 30 graden."
• Ze gebruiken wiskundige formules (zoals Fourier-transformaties, klinkt als toverij, maar is eigenlijk het meten van ritme en snelheid) om de beweging op te splitsen in kleine stukjes: beweging van het hele lichaam vs. beweging van de vingers.

Stap 2: De "Vertaler" (PaMoR)

Nu hebben ze een hoop cijfers en coördinaten. Maar een mens wil een verhaal.

• Ze hebben een nieuw taalstelsel bedacht, genaamd PaMoR. Dit is als een bouwset voor zinnen.
• In plaats van zomaar een zin te schrijven, vult de AI een sjabloon in: "Wie? (De danser) + Wat? (Arm heffen) + Hoe? (Langzaam) + Waarheen? (Naar rechts)."
• Hierdoor ontstaat er een beschrijving die niet alleen mooi klinkt, maar ook wiskundig klopt.

Stap 3: De "Strafkans" (MoPE & GRPO)

Dit is het slimste deel om de "dromerige" robots te corrigeren.

• Het Probleem: Als je een robot vraagt om een verhaal te schrijven, verzint hij soms details om het verhaal spannender te maken.
• De Oplossing (MoPE): Ze hebben een nieuwe "rekenmachine" bedacht, MoPE. Deze leest de beschrijving die de AI heeft geschreven en haalt er de feitelijke bewegingen uit.
  • Voorbeeld: Als de AI schrijft "Hij springt", kijkt MoPE in de video en zegt: "Nee, hij loopt alleen. Je hebt 'springen' verzonnen."
• De Training (GRPO): Vervolgens gebruiken ze deze rekenmachine als een strenge leraar. Als de AI iets verzonnen heeft, krijgt hij een straf (een lage score). Als hij precies beschrijft wat er gebeurt, krijgt hij een beloning. Na veel oefening leert de AI: "Ah, ik moet niet verzinnen, ik moet de feiten volgen."

Wat hebben ze gemaakt? (Het Dataset)

Ze hebben een enorme bibliotheek gemaakt met 75.000 video's en bijbehorende beschrijvingen.

• KPM-Cap: Video's met super-dikke beschrijvingen (bijvoorbeeld: 22 woorden per seconde, in plaats van de gebruikelijke 2).
• KPM-QA: Vragen en antwoorden om te testen of de robot echt begrijpt wat er gebeurt (bijv. "Wat deed de man met zijn linkerhand?").
• KPM-HA: Een speciale testset om te kijken of de robot weer begint te hallucineren.

Waarom is dit belangrijk?

Stel je voor dat je deze technologie gebruikt voor:

• Sport: Een coach die precies ziet hoe een atleet zijn knie buigt om blessures te voorkomen.
• Revalidatie: Een app die zegt: "Je hebt je arm niet hoog genoeg getild, probeer het nog eens."
• Robotica: Robots die menselijke gebaren echt begrijpen en niet alleen "handen zwaaien" zien als "groeten", maar ook de intentie begrijpen.

Samenvatting in één zin

De auteurs hebben een manier bedacht om videobots te trainen door eerst de wiskunde van de beweging te meten en ze daarna te straffen als ze verzonnen details toevoegen, zodat ze uiteindelijk video's kunnen beschrijven met de precisie van een biomechanicus, maar in het taal van een verteller.

Technische samenvatting

1. Het Probleem

Bestaande Video-titelmodellen (Video Captioning) en Vision-Language Models (VLMs) hebben moeite met het nauwkeurig beschrijven van fijne bewegingsdetails (fine-grained motion). Hoewel ze goed zijn in het beschrijven van algemene inhoud (achtergronden, personages, grove acties), falen ze vaak bij het specificeren van complexe, ledematen-specifieke dynamiek.

De belangrijkste uitdagingen zijn:

• Gebrek aan detail: Bewegingen worden vaak gereduceerd tot brede samenvattingen in plaats van gestructureerde analyses op ledemaat-niveau.
• Hallucinaties: Modellen genereren vaak bewegingsdetails die niet in de video voorkomen (bijv. verkeerde volgorde van acties, niet-bestaande bewegingen of verkeerde richtingen).
• Data-tekort: Bestaande datasets met fijne bewegingsannotaties zijn ofwel te klein (door dure handmatige labeling) of gebaseerd op onnauwkeurige automatische generatie zonder fysieke onderbouwing.

2. Methodologie

De auteurs introduceren een geautomatiseerd annotatieproces en een nieuw trainingsframework om deze problemen aan te pakken.

A. KPM-Bench: Het Dataset en Annotatie Pipeline

De kern van de oplossing is een pipeline die kinematische berekeningen combineert met taalkundige parsing om gedetailleerde bewegingsbeschrijvingen te genereren.

1. Kinematische Decompositie:

   • Positie Estimation: Video's worden verwerkt met RTMPose3D voor 3D-pose-schatting van het volledige lichaam (133 skeletpunten).
   • Kinematische Analyse: Op basis van de skeletdata worden fysieke eigenschappen berekend:
     • Tijdsdomein: Translatiesnelheid (centrum van massa) en hoeksnelheid van gewrichten (gebaseerd op de hoeken tussen ledematen).
     • Frequentedomein: Toepassing van Fast Fourier Transform (FFT) op snelheids- en hoeksignalen om ritmische variaties en intensiteit te meten (onderscheid tussen krachtige en subtiele bewegingen).
   • Theoretische Basis: De beweging wordt ontbonden in twee orthogonale componenten: positietranslatie en posturale transformatie (gebaseerd op Schroeftheorie en Chasles' stelling).

2. Taalkundige Representatie (PaMoR):

   • Om de numerieke kinematische data om te zetten in tekst, gebruiken de auteurs een gestructureerd schema genaamd Parsing-based Motion Event Representation (PaMoR).
   • Dit schema classificeert bewegingen in drie niveaus: Individueel (gehele lichaam), Lidmaat (gecoördineerde bewegingen) en Distaal (vingers, tenen, subtiele gebaren).
   • Het gebruikt acht kernattributen (o.a. Motion Predicate, Agent, Patient, Richting, Intensiteit) om een gestructureerde tupel te vormen.

3. Generatie Pipeline:

   • De kinematische data en videoframes worden ingevoerd in een LLM (GPT-4.1) via een zes-staps prompt-engineering proces.
   • Eerst wordt een PaMoR-Tuple gegenereerd (gestructureerde data), waarna deze wordt omgezet in een dichte, fijne-granulaire video-titel (dense caption).

B. MoPE: Motion Parsing and Extraction Algorithm

Om hallucinaties te detecteren en te verminderen, stellen de auteurs MoPE voor.

• Functie: Een algoritme dat bewegingsattributen en hun temporale volgorde direct uit de gegenereerde tekst haalt.
• Techniek: Het combineert Abstract Meaning Representation (AMR) voor semantische parsing en Dependency Parsing (DP) voor syntactische precisie.
• Output: Het genereert een geordende lijst van gestructureerde acties met subject, object, richting en tijdsindex.

C. GRPO Training met MoPE Reward

Om hallucinaties systematisch te verminderen, integreren ze MoPE in het Group Relative Policy Optimization (GRPO) trainingsframework.

• Een composiete beloningssfunctie wordt ontworpen die drie componenten meet:
  1. Actienauwkeurigheid: F1-score van de geëxtraheerde acties.
  2. Volgorde-nauwkeurigheid: Juiste temporale relaties tussen acties.
  3. Richtingsnauwkeurigheid: Correctheid van bewegingsrichtingen.
• Dit dwingt het model om niet alleen vloeiende zinnen te genereren, maar ook feitelijk correcte bewegingsverlopen.

3. Belangrijkste Bijdragen

1. KPM-Bench Dataset: Een nieuw, open-source benchmark met:
   • KPM-Cap: 75.000 video-titelparen met uitzonderlijk hoge dichtheid aan bewegingsdetails (gemiddeld 22 woorden per seconde).
   • KPM-QA: 38.000 complexe vraag-antwoordparen gericht op bewegingsbegrip (interactie, tijdsorde, emotie).
   • KPM-HA: Een specifiek geselecteerde set voor het evalueren van hallucinaties.
2. Automatische Annotatie Pipeline: Een methode die kinematische berekeningen gebruikt om de kwaliteit van automatische annotaties te verhogen, waardoor schaalbaarheid mogelijk wordt zonder volledige handmatige labeling.
3. MoPE Algoritme: Het eerste taalkundig gedreven algoritme voor het nauwkeurig extraheren van bewegingsattributen uit tekst, onafhankelijk van zware visuele modellen.
4. Hallucinatiemeting: Een nieuwe, precieze evaluatiemetric (Mo-Hall) die niet afhankelijk is van externe LLMs als "rechter", maar gebaseerd is op de structuur van de beweging zelf.

4. Resultaten

De experimenten tonen aan dat het KPM-model (gebaseerd op Qwen2.5-VL) significant presteert op de voorgestelde benchmarks:

• Kwaliteit van Titels: Het KPM-model behaalt hogere scores op traditionele NLG-metrics (BLEU, ROUGE, Bert-Score) en GPT-Scores dan gesloten bronnen zoals GPT-4.1 en andere open-source VLMs (zoals InternVideo-2.5 en Tarsier2-Recap).
• Vraag-Antwoord (QA): Op de KPM-QA benchmark behaalt het model een algehele nauwkeurigheid van 94,05%, wat aanzienlijk hoger is dan de concurrentie.
• Hallucinatiereductie: Door het gebruik van MoPE in de GRPO-training daalt het aantal bewegingshallucinaties aanzienlijk (van 2,03 naar 1,92 op de Mo-Hall metric), terwijl de algemene taalvaardigheid behouden blijft.
• Generalisatie: Het model presteert ook goed op andere bestaande benchmarks zoals MVBench en MotionBench, wat wijst op sterke generalisatie-eigenschappen.

5. Betekenis en Impact

Dit werk is significant omdat het een brug slaat tussen fysieke kinematica en taalkundige generatie.

• Het lost het probleem op dat bestaande VLMs "wazige" bewegingsbeschrijvingen geven door fysieke wetten (snelheid, hoeken, frequentie) expliciet in het trainingsproces te integreren.
• Het introduceert een nieuwe standaard voor het evalueren van bewegingshallucinaties, wat cruciaal is voor toepassingen waar precisie essentieel is, zoals sportanalyse, fysiotherapie, revalidatie en mens-robot interactie.
• Het bewijst dat het combineren van gestructureerde fysieke data met LLMs leidt tot betrouwbaardere en gedetailleerdere videobegripssystemen.