DeVI: Physics-based Dexterous Human-Object Interaction via Synthetic Video Imitation

Titel: DeVI: Physics-based Dexterous Human-Object Interaction via Synthetic Video Imitation

Auteurs: Hyeonwoo Kim, Jeonghwan Kim, Kyungwon Cho, Hanbyul Joo (Seoul National University & RLWRLD)

---

1. Het Probleem

Het modelleren van fysisch plausibele menselijke bewegingen is essentieel voor robots die complexe mens-object interacties (Human-Object Interaction, HOI) moeten nabootsen. Bestaande methoden voor fysische bewegingssimulatie hebben echter twee grote beperkingen:

1. Afhankelijkheid van dure 3D-data: Methodes die fysisch plausibel gedrag leren, vertrouwen vaak op hoogwaardige 3D motion capture (mocap) demonstraties. Het vastleggen van nauwkeurige 3D HOI-data (waarbij handen en objecten nauwkeurig worden gevolgd) is extreem duur, tijdrovend en beperkt tot een klein aantal objecten en scenario's.
2. Moeilijkheid van 2D-naar-3D conversie: Hoewel moderne video-generatieve modellen realistische 2D HOI-video's kunnen synthetiseren (inclusief complexe handbewegingen), is het direct gebruiken van deze 2D-video's als imitatie-doel voor 3D-robotbesturing problematisch. Het reconstrueren van precieze 3D-bewegingen en 6D-objectposities uit 2D-video's is een slecht gesteld probleem (ill-posed) vanwege diepte-ambiguïteit en ruis. Bestaande methoden falen vaak bij het nauwkeurig aligneren van handen met objecten in de 3D-ruimte.

2. Methodologie: DeVI Framework

DeVI (Dexterous Video Imitation) is een raamwerk dat tekst-geconditioneerde synthetische video's gebruikt om een fysisch agent te besturen voor dexterous (handvaardige) interacties, zonder dat er 3D-mocap-data nodig is. De aanpak bestaat uit drie hoofdstappen:

A. Generatie van 2D HOI Video's

In plaats van alleen tekst naar video te genereren, initialiseert DeVI eerst een 3D-scène met een mens (SMPL-X model) en een object.

1. Het SMPL-X mesh wordt vervangen door een realistischer getextureerd menselijk mesh (gebaseerd op THuman2.0) om de kwaliteit van de video-generatie te verbeteren.
2. Een camera wordt ingesteld en de scène wordt gerenderd naar een 2D-afbeelding.
3. Een geavanceerd Image-to-Video Diffusion Model (bijv. Wan) wordt gebruikt, aangevuld met een tekstprompt, om een video te genereren die de gewenste interactie (bijv. "een appel eten" of "een hoed opzetten") toont.

B. Extractie van Hybride Imitatie-Doelen (Hybrid Imitation Targets)

Direct het volgen van de video is te onnauwkeurig. DeVI extrahert daarom een "hybride" set van doelen:

• 3D Menselijke Referentie: Een monocular 3D-schattingsmodel (GVHMR) en een hand-pose schatter (HaMeR) worden gebruikt om een ruwe 3D-beweging van het menselijk lichaam en de handen te reconstrueren.
• Visual HOI Alignment: Omdat de ruwe 3D-reconstructie vaak niet perfect aligneert met het object of de video, wordt een optimalisatieprocedure uitgevoerd. Deze minimaliseert een verliesfunctie die bestaat uit:
  • 2D-projectie-verlies (om de 3D-pose te laten overeenkomen met de geschatte 2D-positie in de video).
  • Temporele consistentie.
  • HOI-verlies: Een Chamfer-distance verlies dat ervoor zorgt dat de handen fysiek contact maken met het object op het juiste moment (zoals gesuggereerd door de tekstprompt).
• 2D Object Referentie: In plaats van te proberen de volledige 3D-positie van het object te schatten (wat onnauwkeurig is), worden de zichtbare hoekpunten van het object in de video gevolgd met een 2D-point tracker (bijv. CoTracker). Dit levert een traject van 2D-punten op.

C. Besturingsbeleid en Beloning (Hybrid Tracking Reward)

Een Reinforcement Learning (RL) agent (gebaseerd op PPO) wordt getraind om een menselijk karakter te besturen dat deze hybride doelen volgt. De beloningsfunctie ($R$) is een product van drie componenten:

1. Menselijke Tracking ($R_h$): Straft afwijkingen van de geoptimaliseerde 3D-menselijke pose (gewrichten, rotaties, snelheden).
2. Object Tracking ($R_o$): Straft afwijkingen van de 2D-projectie van het gesimuleerde object ten opzichte van de 2D-trajecten uit de video. Dit is cruciaal: de agent hoeft geen perfecte 6D-objectpose te leren, maar moet zorgen dat het object in de camera-weergave op dezelfde plek beweegt als in de video.
3. Contact Beloning ($R_{contact}$): Moedigt fysiek contact aan op de momenten die worden afgeleid uit de beweging van het object in de video (wanneer het object begint te bewegen, is er contact).

3. Belangrijkste Bijdragen

1. Nieuw Framework (DeVI): Een systeem dat synthetische video's gebruikt als "bewegingsplanner" voor fysische simulatie, waardoor dexterous HOI mogelijk is voor onbekende objecten in een zero-shot setting.
2. Hybride Imitatie-Doel: Een innovatieve combinatie van een 3D-referentie voor de mens en een 2D-referentie voor het object. Dit omzeilt de moeilijkheid van nauwkeurige 3D-objectreconstructie uit video.
3. Visual HOI Alignment: Een optimalisatiestap die de ruwe 3D-menselijke reconstructie verfijnt zodat deze consistent is met zowel de video als het 3D-object, waardoor fysiek plausibele interacties ontstaan.
4. Generalisatie: Het systeem werkt in multi-object scènes en kan diverse interacties genereren op basis van tekstprompts, zonder dat er vooraf opgenomen 3D-demonstraties nodig zijn.

4. Resultaten

De auteurs evalueren DeVI op de GRAB-dataset (een dataset met 3D HOI-demonstraties) en vergelijken het met state-of-the-art methoden die 3D-demonstraties imiteren (zoals PhysHOI, SkillMimic, InterMimic).

• Kwantitatieve Prestaties: DeVI presteert significant beter dan bestaande baselines op alle metrieken, waaronder MPJPE (fout in gewrichtspositie) voor het lichaam en de handen, en fouten in objecttranslatie en -oriëntatie.
  • Bijvoorbeeld: DeVI bereikte een MPJPE van ~25mm voor alle gewrichten, terwijl baselines vaak rond de 90-140mm zaten.
• Kwalitatieve Resultaten: DeVI slaagt erin complexe interacties te simuleren zoals het dragen van een hoed, het drinken van een frisdrank, en het vasthouden van een camera.
• Ablatie-studies:
  • Zonder de "Visual HOI Alignment" zijn de handen vaak niet correct gepositioneerd ten opzichte van het object.
  • Zonder de 2D-object beloning (en alleen 6D-pose beloning) presteert het model slechter, wat aantoont dat 2D-trajecten effectiever zijn als leidraad voor de RL-agent dan directe 6D-pose schattingen.
• Veelzijdigheid: Het systeem werkt ook in multi-object scènes en kan verschillende acties uitvoeren vanuit dezelfde startscène, afhankelijk van de tekstprompt.

5. Betekenis en Impact

DeVI markeert een verschuiving in hoe we fysieke robotbesturing en menselijke simulatie benaderen:

• Democratisering van Data: Het elimineert de noodzaak van dure en zeldzame 3D-mocap datasets voor complexe hand-object interacties. In plaats daarvan gebruikt het de overvloed aan synthetische video's gegenereerd door AI-modellen.
• Overbrugging van de 2D-3D Kloof: Door slimme hybride beloningen te gebruiken (3D voor mens, 2D voor object), lost het het probleem op van het reconstrueren van 3D uit 2D zonder de complexiteit van perfecte 3D-objectreconstructie.
• Robuustheid voor Robotica: Het toont aan dat video's als "bewegingsplanners" kunnen dienen voor robots, waardoor ze kunnen leren omgaan met diverse objecten en scenario's die ze nog nooit hebben gezien, wat een grote stap is naar algemene robotvaardigheden.

Kortom, DeVI bewijst dat synthetische video's, wanneer correct verwerkt via hybride imitatie en RL, superieur kunnen zijn aan traditionele methoden die afhankelijk zijn van beperkte, hoogwaardige 3D-demonstraties voor het leren van dexterous mens-object interacties.