Technische Samenvatting: CoMPAS3D

Probleemstelling

De ontwikkeling van sociaal interactieve humanoïde robots vereist systemen die in staat zijn om met mensen te interageren via fysieke beweging, waarbij ze in realtime kunnen adapteren aan de intentie, bekwaamheid en signalen van een partner. Hoewel onderzoek naar interactieve bewegingsgeneratie vooruitgang heeft geboekt, zijn huidige evaluatiekaders ontoereikend voor het beoordelen van de semantische kwaliteit van deze interacties. Bestaande metrieken vertrouwen primair op kinematische maten (bijv. Fréchet Inception Distance, beat alignment) die fysieke realisme en distributiegelijkenis evalueren, maar falen in het bepalen of gegenereerde beweging leesbaar is binnen een gedeelde bewegingsvocabulaire of gepast bij het vaardigheidsniveau van de interactiepartner.

Deze kloof bestaat omdat:

1. Huidige evaluatiekaders geen metrieken hebben voor semantische afstemming en partneradaptatie.
2. Bestaande datasets van geïmproviseerde interactie een gebrek hebben aan fijnmazige annotaties van bewegingen en variatie in vaardigheidsniveaus.
3. De meeste beschikbare datasets zich richten op gescript, kortstondige interacties of uitsluitend professionele uitvoerders, waardoor ze de diversiteit missen die nodig is om vaardigheidsgepaste generatie te testen.

Methodologie

De auteurs introduceren CoMPAS3D (Complex Multi-Level Person-Interaction Annotated Salsa Dataset) en een bijbehorend evaluatiekader op drie niveaus.

De CoMPAS3D Dataset

• Inhoud: 3 uur aan geïmproviseerde salsa-danspartnerinteractie met 18 dansers (9 paren) over drie vaardigheidsniveaus: beginner, intermediate en professional.
• Data-opname: Opgenomen met een Vicon motion capture-systeem (20 camera's, 120 fps) met 53 markers per danser, wat resulteerde in 55-joint SMPL-X trajecten.
• Annotaties: Meer dan 2.800 door experts geannoteerde segmenten (8-beat cycli) die 30 bewegingscategorieën, uitvoeringsfouten (bijv. uit de maat, gemengde signalen) en stilistische elementen beslaan. De annotaties werden uitgevoerd door een expert met 15 jaar ervaring en geverifieerd door een tweede expert (Cohen's Kappa = 0,752).
• Ontwerpfilosofie: Analoog aan het Switchboard-spraakcorpus geeft CoMPAS3D prioriteit aan diepgang binnen één enkele bewegingsvocabulaire (salsa) in plaats van oppervlakkige dekking over meerdere genres, wat de studie van natuurlijke, geïmproviseerde dyadische interactie mogelijk maakt.

Benchmark Taken

Door een analogie te trekken tussen partnerdans en gesproken dialoog, definieert het artikel drie taken:

1. Bewegingsclassificatie: Het identificeren van de specifieke salsa-beweging die wordt uitgevoerd (analoog aan transcriptie).
2. Vaardigheidsschatting: Het bepalen van het vaardigheidsniveau van het danspaar (analoog aan fluency-beoordeling).
3. Volger-generatie: Het voorspellen van de beweging van de volger gegeven de signalen van de leider, de muziek en een doelvaardigheidsniveau (analoog aan dialoogrespons-generatie).

Evaluatiekader

Het kader evalueert de gegenereerde volgerbeweging met behulp van:

• Kinematische Metrieken: Standaard metrieken inclusief FID (kinematisch/grafisch), diversiteit, cross-distance FID, Beat Echo Degree (BED) en Beat Alignment Score (BAS).
• Objectieve Semantische Metrieken:
  • Bewegingsleesbaarheid: Gemeten door de F1-score van een gefinetuned Vision-Language Model (VLM) dat bewegingen in gegenereerde sequenties classificeert.
  • Vaardigheidstoepasbaarheid: Gemeten door de F1-score van een gefinetuned VLM die het vaardigheidsniveau van gegenereerde sequenties inschat.
• Subjectieve Metrieken: Menselijke evaluaties over zes real-world competitie-dimensies: timing, musicaliteit, techniek, moeilijkheidsgraad, partnercoördinatie en originaliteit.

Belangrijkste Bijdragen

1. CoMPAS3D Dataset: De eerste publiekelijk beschikbare geïmproviseerde partnerdans-dataset met expert-bewegingstranscripties en verspreid over drie vaardigheidsniveaus.
2. Benchmark Taken & Modellen: Benchmarks voor drie vooraf getrainde en gefinetunde Vision-Language Modellen (Qwen2.5-VL, LLaVA-NeXT-Video, InternVL3) op bewegingsclassificatie en vaardigheidsschatting.
3. Nieuwe Evaluatiemetrieken: Objectieve metrieken voor reactieve dansgeneratie die de leesbaarheid van bewegingen en de geschiktheid van het vaardigheidsniveau beoordelen, waarmee fouten worden blootgelegd die kinematische metrieken missen.
4. Subjectieve Evaluatie: Een menselijke studie die gebruikmaakt van community-gebaseerde danscompetitie-criteria, waarbij drie nieuwe metrieken worden geïntroduceerd vergeleken met eerder werk op het gebied van dansgeneratie.

Experimentele Resultaten

Het kader werd toegepast op twee state-of-the-art generatiemethoden: Duolando (dans-specifiek) en InterGen (algemene mens-mens interactie).

• Prestaties van Modellen op Benchmarks: Gefinetunde VLMs presteerden significant beter dan zero-shot baselines. In dyadische settings behaalde Qwen2.5-VL een nauwkeurigheid van 69,87% en een F1 van 49,30% voor bewegingsclassificatie, en een nauwkeurigheid van 84,63% voor vaardigheidsschatting.
• Kinematische Evaluatie: Zowel Duolando als InterGen vertoonden vergelijkbare kinematische scores met elkaar, waarbij FID- en diversiteitsmetrieken wijzen op redelijk fysiek realisme.
• Objectieve Semantische Evaluatie: Beide generatieve methoden faalden significant vergeleken met de grondwaarheid (ground truth) op de nieuwe objectieve metrieken:
  • Bewegingsleesbaarheid: De grondwaarheid behaalde een Move F1 van 53,55, terwijl InterGen en Duolando respectievelijk 7,69 en 6,70 scoorden.
  • Vaardigheidstoepasbaarheid: De grondwaarheid behaalde een Proficiency F1 van 51,64, terwijl InterGen en Duolando respectievelijk 37,12 en 22,47 scoorden.
• Subjectieve Evaluatie: Menselijke beoordelaars gaven de grondwaarheid significant hoger (p < 0,001) dan beide generatieve methoden over alle zes de competitie-dimensies. InterGen en Duolando ontvingen vergelijkbare scores, wat consistent is met hun vergelijkbare kinematische prestaties.

Betekenis en Claims

Het artikel beweert dat CoMPAS3D en het bijbehorende evaluatiekader een kritieke kloof adresseren in sociaal interactieve embodied AI. Door verder te gaan dan kinematisch realisme, demonstreren de auteurs dat huidige generatieve methoden volgerbewegingen produceren die niet leesbaar zijn binnen de gedeelde bewegingsvocabulaire en niet passend zijn voor het vaardigheidsniveau van de partner, ondanks het behalen van vergelijkbare kinematische scores.

De auteurs positioneren CoMPAS3D als een fundamentele bron, vergelijkbaar met vroege naturalistische spraakdatasets, wat de studie van responsieve, contextbewuste fysieke interactie mogelijk maakt. Zij stellen dat hun objectieve metrieken (leesbaarheid en vaardigheid) dienen als betekenisvolle maten voor semantische kwaliteit, analoog aan hoe Automatic Speech Recognition (ASR) wordt gebruikt om de verstaanbaarheid van spraaksynthese te evalueren. Het werk benadrukt dat hoewel fysiek realisme een verzadigde maatstaf is, het vermogen om sociaal passende en semantisch heldere beweging te genereren een belangrijke openstaande uitdaging blijft.