Technische Samenvatting: Iteratieve Gesloten-Lus Bewegingssynthese voor het Schalen van de Capaciteiten van Humanoid Besturing

Probleemstelling

Fysiek gebaseerde humanoid besturing is sterk afhankelijk van training met bewegingsdatasets die diverse data-distributies bezitten. Echter, bestaande aanpakken staan voor twee primaire beperkingen:

1. Vaste Moeilijkheidsdistributie: Standaard datasets (bijv. AMASS) vertonen vaak een vaste distributie die verschuift naar laag-dynamische, dagelijkse activiteiten. Dit beperkt het prestatieplafond van getrainde besturingspolitieken, waardoor deze falen bij hoog-dynamische, professionele vaardigheden zoals acrobatiek of vechtsporten.
2. Schaalbaarheid en Kosten: Het verwerven van hoogwaardige, professionele bewegingsdata via motion capture (MoCap) systemen is kostenverhogend, wat grootschalige schaalbaarheid moeilijk maakt. Bestaande pogingen om te schalen via videomining of aggregatie over verschillende lichamen missen vaak betrouwbare semantische uitlijning of moeilijkheidsstratificatie.

Bijgevolg worstelen controllers die zijn getraind op statische, laag-dynamische corpora om te generaliseren naar ongezette, hoog-dynamische professionele bewegingen.

Methodologie: Het CLAIMS Framework

De auteurs stellen CLAIMS (Closed-Loop Automated Iterative Motion Synthesis) voor, een framework dat de synthese van bewegingsdata en de optimalisatie van de controller co-evolueert. Het systeem werkt als een competitieve, iteratieve lus die is ontworpen om de capaciteitsgrens van de controller progressief uit te breiden.

1. Semantische Definitie en Normalisatie

Om het gebrek aan gestructureerde hoog-dynamische data aan te pakken, definiëren de auteurs een semantische taxonomie voor actiedata over vijf professionele domeinen: vechtsporten, dans, gevecht, sport en gymnastiek. Moeilijkheid wordt geformaliseerd langs vier assen:

• Basisactie: Atomaire vaardigheden.
• Combo-actie: Samenstellingslogica.
• Detail: Technische cues (bijv. plaatsing van ledematen).
• Snelheid en Ritme: Temporele structuur.

2. Geautomatiseerde Data Generatie

Het framework maakt gebruik van een voorgetrainde, tekst-geconditioneerde bewegingsdiffusiemodel (MDM) om bewegingsdata tegen lage kosten te synthetiseren.

• Prompt Engineering: In plaats van vrije beschrijvingen, gebruikt het systeem getemplateerde actieprompts afgeleid van de semantische taxonomie. Een auxiliary Large Language Model (LLM) instantieert deze templates met specifieke moeilijkheidsattributen.
• Filtering: gegenereerde bewegingen ondergaan validiteitscontroles (bijv. grenzen voor de hoogte van de worteljoint om zweven/zinken te voorkomen) en semantische uitlijningscontroles met Vision-Language Models (VLMs) om te waarborgen dat de beweging overeenkomt met de prompt.
• Distributieverplaatsing: Het systeem bemonstert bewust vanuit een "moeilijkheidsbewuste variabele bank" om gedragingen op te roepen die buiten de oorspronkelijke trainingsdistributie van de MDM (HumanML3D/AMASS) liggen, waardoor nieuwe professionele combinaties worden gegenereerd.

3. Controller Training en Evaluatie

Een tracker met één primitief (gebaseerd op PHC) wordt getraind via Reinforcement Learning (RL) op de gegenereerde data. De evaluatiefase is cruciaal voor de lus:

• Objectieve Metrieken: Het systeem berekent fysieke trackingmetrieken, waaronder de gemiddelde fout in de positie van de gewrichten (mpjpe-g/l), snelheidsafwijking (vel-dist) en versnellingsafwijking (accel-dist).
• Subjectieve Metrieken: VLMs (GPT-4o en Qwen-VL-MAX) analyseren gerenderde bewegingssequenties om subjectieve moeilijkheidsscores en beschrijvingen te geven met betrekking tot technische complexiteit, balans en continuïteit.

4. Competitieve Iteratieve Lus

De kerninnovatie is het competitieve curriculum:

• Na elke trainingscyclus evalueert het systeem de prestaties van de controller.
• Als de objectieve metrieken vooraf bepaalde drempels overschrijden, wordt de huidige data-distributie als "beheerst" beschouwd.
• Het LLM-beleid (met Chain-of-Thought) analyseert de gecombineerde objectieve en subjectieve feedback om moeilijkere prompts te genereren voor de volgende iteratie.
• Dit creëert een zelfversterkende lus waarbij de data-moeilijkheid escaleert als reactie op de groeiende competentie van de controller, waardoor het beleid wordt geduwd voorbij zijn oorspronkelijke limieten.

Belangrijkste Bijdragen

1. Schaalbare, Moeilijkheids-gestratificeerde Dataset: De auteurs introduceren een methode om een schaalbare dataset te genereren met duidelijke moeilijkheidsniveaus over vijf professionele domeinen, waarbij de beweging-tekst uitlijning wordt behouden terwijl hoog-dynamische complexiteit wordt geïntroduceerd.
2. Competitief Iteratief Framework: Een spelachtige opzet die alterneert tussen data-generatie en controller-optimalisatie. Dit stelt het beleid in staat om het moeilijkheidsplafond van vaste corpora te overstijgen door mee te evolueren met de data.
3. Controller-agnostische Efficiëntie: Het framework vereist trainingscomputatie alleen voor de controller; de componenten voor data-generatie en evaluatie zijn trainingsvrij en laag in kosten, waardoor de aanpak toepasbaar is op verschillende tracking-architecturen.

Experimentele Resultaten

Het framework werd geëvalueerd met de PHC tracker met één primitief, getraind op ongeveer 1/10e van de grootte van de AMASS-dataset maar met iteratieve moeilijkheid-escaleratie.

• Prestatiewinst: Op een testset van 2.201 clips over vier benchmarks (Motion-X/Kungfu, EMDB, AIST++, Video-Convert) bereikte het uiteindelijke iteratieve model (L6) een gemiddelde successcore van 76,9%, vergeleken met 58,3% voor de AMASS-baseline. Dit vertegenwoordigt een 45% reductie in het gemiddelde faalpercentage.
• Generalisatie: Het framework toonde sterke generalisatie naar ongezette hoog-dynamische data. Zelfs met een niet-iteratieve baseline (Loop 0) overtrof het systeem standaardtraining op generieke corpora. Opvolgende lussen (Loop 1+) toonden consistente verbeteringen.
• Kruis-paradigma Validiteit: De aanpak werd succesvol toegepast op een MaskedMimic-controller, wat bewijst dat de feedback-gedreven, prompt-geconditioneerde verfijning overdraagbaar is naar verschillende imitatie-leringsframeworks.
• Ablatiestudies:
  • VLM Betrouwbaarheid: VLM-moeilijkheidsscores correleerden monotoon met fysieke metrieken (snelheid), wat de geautomatiseerde scoring valideert.
  • Noodzaak van Observatie: Het verwijderen van ofwel fysieke metrieken of VLM-feedback degradeerde de prestaties, waarbij fysieke metrieken het meest diagnostisch waren voor het ontwerpen van uitdagingen.
  • Variabele Bibliotheek: Het verwijderen van de gestructureerde variabele bibliotheek resulteerde in lagere prestaties, wat de behoefte bevestigt aan gestructureerde priors om prompt-generatie te stabiliseren.
  • Iteratief versus Schaal: Een grootte-gematchte niet-iteratieve baseline (willekeurige bemonstering van hetzelfde totale datavolume) presteerde slechter dan de iteratieve aanpak, wat bevestigt dat de winsten voortkomen uit het curriculaire effect, niet alleen uit datavolume.

Betekenis en Claims

Het paper claimt dat CLAIMS een nieuwe weg biedt voor het vooruitbrengen van fysiek gebaseerde humanoid besturing naar hoog-dynamische en diverse scenario's zonder afhankelijk te zijn van dure MoCap-data. Door een data-controller co-evolutie paradigma te vestigen, stelt het framework:

• Het overwinnen van de beperkingen van corpora met vaste moeilijkheid.
• Het mogelijk maken van stabiele prestatiewinsten op professionele, hoog-moeilijkheids bewegingsbenchmarks.
• Het bieden van een laag-kosten, geautomatiseerde pijplijn die kan worden geïntegreerd met bestaande tracking-architecturen.

De auteurs erkennen beperkingen, en merken op dat de synthese-kwaliteit wordt begrensd door de capaciteit van het generatieve model voor extreme dynamiek en dat de huidige variabele bibliotheek handmatige curatie vereist. Echter, zij stellen dat de modulaire architectuur naadloze integratie toelaat van toekomstige, capabelere generators en geautomatiseerde bibliotheken.