X-Diffusion: Training Diffusion Policies on Cross-Embodiment Human Demonstrations

1. Het Probleem: Schaalbaarheid versus Embodiment-Mismatch

Imitatie-leren (Imitation Learning) is een krachtige methode om robots vaardigheden aan te leren, maar het verzamelen van grote hoeveelheden robotdata is duur en tijdrovend. Menselijke videodemonstraties bieden een schaalbaar alternatief omdat ze gemakkelijker te verzamelen zijn.

Het fundamentele probleem is echter de verschil in "embodiment" (lichaamsbouw) tussen mens en robot:

• Kinematische en Dynamische Mismatch: Mensen en robots hebben verschillende mechanische beperkingen. Een mens kan een bord bijvoorbeeld met de vingers onderuit schuiven, terwijl een robot met een parallelle gripper dit waarschijnlijk moet duwen of schuiven.
• Het Dilemma: Menselijke demonstraties bevatten waardevolle informatie over taakintentie en objectinteractie, maar de specifieke uitvoeringsstrategieën zijn vaak fysiek onuitvoerbaar voor de robot.
• Bestaande Aanpak: Eerdere methoden proberen menselijke bewegingen direct te retargeten naar de robot of trainen naïef op een mengsel van mens- en robotdata. Dit leidt vaak tot het leren van dynamisch onhaalbare acties, waardoor de prestaties van de robot verslechteren in plaats van verbeteren.

2. Methodologie: X-DIFFUSION

X-DIFFUSION introduceert een raamwerk dat menselijke demonstraties integreert in het trainen van Diffusion Policies, maar alleen op momenten waarop de menselijke data "verward" is met robotdata door middel van ruis. De methode is gebaseerd op het concept van Ambient Diffusion.

Kerninzicht

De auteurs zien menselijke acties als een "ruisig" tegenhanger van robotacties. In het forward-diffusieproces (waarbij ruis wordt toegevoegd aan data) vagen de specifieke, embodiment-gebonden verschillen (zoals de exacte manier van grijpen) naarmate de ruis toeneemt, terwijl de onderliggende taakstructuur behouden blijft. Op een bepaald punt worden menselijke en robotacties statistisch ononderscheidbaar.

Het Trainingsproces

Het proces verloopt in drie hoofdstappen:

1. Unificatie van Representatie:

   • Menselijke en robotdata worden omgezet naar een gedeelde ruimte.
   • State: Objectsegmentatie (via Grounded SAM 2) gecombineerd met proprioceptie.
   • Action: Menselijke handposities (via HaMeR) worden getrianguleerd en omgezet naar de end-effector pose van de robot.

2. Training van een Embodiment-Classifier:

   • Er wordt een classifier getraind om te voorspellen of een verstoord (noisy) actie-segment afkomstig is van een mens of een robot.
   • De classifier neemt de diffusiestap $k$, het verstoord actie-segment en de huidige staat als input.
   • Doel: Bepalen van de minimale ononderscheidbaarheidstap ($k^*$). Dit is het vroegste tijdstip in het diffusieproces waarop de classifier niet meer kan onderscheiden of een actie van een mens of robot komt (bijv. wanneer de kans op "robot" $\geq 50\%$ is).

3. Selectieve Integratie in Diffusion Policy:

   • Tijdens het trainen van de Diffusion Policy (het denoisen van acties) wordt menselijke data alleen gebruikt voor de loss-berekening als de huidige diffusiestap $k$ groter is dan of gelijk is aan de specifieke $k^*$ van die menselijke actie.
   • Logica:
     • Fysiek haalbare menselijke acties hebben een lage $k^*$ en worden dus vroeg in het proces (bij lage ruis) gebruikt voor fijne, gedetailleerde supervisie.
     • Ongeschikte menselijke acties hebben een hoge $k^*$ en worden alleen gebruikt op hoge ruisniveaus. Hierbij fungeren ze alleen als grove, hoog-niveau taakrichting, zonder de robot te dwingen onmogelijke bewegingen te leren.

3. Belangrijkste Bijdragen

• X-DIFFUSION Framework: Een nieuw raamwerk dat menselijke data selectief integreert in Diffusion Policies zonder de dynamische haalbaarheid voor de robot te compromitteren.
• Adaptieve Ruismatching: In plaats van menselijke data te filteren of te verwijderen, wordt deze dynamisch "gebruikt" op basis van het ruisniveau. Dit maximaliseert het nut van ruwe, ongestructureerde menselijke datasets.
• Classifier-gestuurd Trainen: De introductie van een classifier om de overgangspunt ($k^*$) te bepalen waar menselijke en robotdistributies samenvallen, waardoor een overgang van "ruisig mens" naar "robot-achtig" mogelijk is.

4. Resultaten

De methode is gevalideerd op vijf real-world manipulatie-taken (zoals een lade sluiten, een pan op een bord leggen, een fles rechtop zetten).

• Prestatieverbetering: X-DIFFUSION verbeterde de gemiddelde succesratio met 16% ten opzichte van naïeve co-training en handmatige data-filtering.
• Vergelijking met Baselines:
  • Naïeve Co-training: Leidde vaak tot falen omdat de robot probeerde menselijke, onmogelijke bewegingen na te bootsen (bijv. zijwaarts grijpen met een parallelle gripper).
  • Robot-only: Presteerde slechter dan X-DIFFUSION, wat aantoont dat menselijke data waardevol is als het correct wordt verwerkt.
  • Gefilterde Data: Zelfs wanneer menselijke data handmatig werd gefilterd op haalbaarheid (via Inverse Kinematics), presteerde X-DIFFUSION beter. Dit bewijst dat X-DIFFUSION waardevolle signalen kan extraheren uit zelfs de "ongeschikte" menselijke demonstraties die door handmatige filters zouden worden weggegooid.
• Transfer Learning: De mate van verbetering varieerde per taak, afhankelijk van hoe goed de menselijke dynamiek overeenkwam met de robot. Taken met meer overlap (zoals "Mug On Rack") profiteerden meer dan taken met minder overlap.

5. Betekenis en Conclusie

X-DIFFUSION lost het fundamentele probleem op van het leren van robots uit menselijke data zonder de fysieke beperkingen van de robot te negeren.

• Schaalbaarheid: Het maakt het mogelijk om gebruik te maken van de enorme hoeveelheid menselijke videodata op het internet, zonder dat dit leidt tot het leren van onveilige of onuitvoerbare acties.
• Paradigmaverschuiving: In plaats van menselijke data als "slecht" of "ruisig" te zien en te proberen te filteren, behandelt X-DIFFUSION deze data als waardevol, mits ze op het juiste moment (hoge ruis) in het leerproces worden geïntegreerd.
• Toekomst: Dit opent de deur voor het trainen van robuuste robotpolicies op schaalbare datasets, waarbij de beperkingen van de robot worden gerespecteerd terwijl de intentie van de mens wordt behouden.

Kortom, X-DIFFUSION demonstreert dat je kunt leren van menselijke fouten en verschillen, zolang je dat doet op een manier die de fysieke realiteit van de robot respecteert.