Technische Samenvatting: Imitatie van heterogene demonstraties met behulp van Grounded Latent-Action World Models

Probleemstelling

Imitatie-leren heeft aanzienlijk succes geboekt in visuele motorische manipulatie, maar de schaalbaarheid wordt beperkt door de hoge kosten en de schaarste van hoogwaardige, actie-gelabelde demonstraties op doelrobots. Hoewel er overvloedige heterogene databronnen bestaan (bijv. simulaties, draagbare handheld-apparaten, menselijke video's), brengen deze drie kritieke uitdagingen met zich mee:

1. Mismatch in de Actieruimte: Verschillende bronnen hebben vaak incompatibele actieruimtes of missen actielabels volledig.
2. Variatie in Visuele Aspecten en Belichaming: Databronnen vertonen substantiële verschillen in camerastandpunten, robotmorfologieën en scènecontexten die de onderliggende taakfysica niet weerspiegelen.
3. Beperkingen van Bestaande Oplossingen: Huidige benaderingen om te co-trainen op heterogene data vertrouwen op heuristische, handmatig ontworpen alignment-technieken (bijv. optimal transport-verliezen, empirisch afgestemde mengverhoudingen of specifieke tokenizers) in plaats van op principiële representatie-lering.

Het artikel stelt dat een meer principiële aanpak vereist is: acties moeten worden gerepresenteerd op basis van hun fysieke effect op de omgeving in plaats van hun bron. Twee acties die een object langs hetzelfde traject sturen, moeten een gedeelde representatie delen, ongeacht of ze afkomstig zijn van een echte robot, een simulatie of een handheld-apparaat.

Methodologie: Grounded Latent-Action World Models (GLAM)

De auteurs stellen GLAM voor, een framework dat heterogene data verenigt in een gedeelde, bron-invariante latente actieruimte met behulp van een paar gekoppelde generatieve modellen. De pijplijn werkt in twee stadia:

Fase 1: GLAM Pretraining (World Model)

De kerninnovatie is het leren van een gedeelde latente actieruimte ($z_t$) die gegrond in de omgevingsdynamiek. Dit wordt bereikt door twee gezamenlijk getrainde generatieve modellen:

1. Heterogeen Model ($p(X, O, Z)$): Getraind op de mix van doeldata ($D_{tar}$) en hulpdata ($D_{aux}$). Aangezien $D_{aux}$ geen actielabels heeft, behandelt dit model acties als latente variabelen die uitsluitend worden afgeleid uit toestands-transities.

   • Het maakt gebruik van een Inverse Dynamics Model (IDM), $q_\phi(z_t | x_t, x_{t+1})$, om latente acties direct af te leiden uit geobserveerde transities (waarbij $x_t$ een latente toestand is die is gecodeerd uit observaties).
   • Het gebruikt een gedeeld forward dynamics model, $p_\theta(x_{t+1} | x_t, z_t)$, om toekomstige observaties te voorspellen.
   • Principe: Door de IDM en de forward dynamics te delen over alle databronnen, dwingt het model af dat latente acties worden gedefieerd door hoe ze de omgeving beïnvloeden, wat bron-invariantie garandeert.

2. Doelmodel ($p(S, A, Z)$): Alleen getraind op de gelabelde doeldata ($D_{tar}$).

   • Het bevat een Action Encoder, $q_\eta(z_t | s_t, a_t)$, die latente acties afleidt uit uitvoerbare robotacties en proprioceptieve toestanden.
   • Het bevat een actie-reconstructieterm, $\log p_\theta(a_t | z_t)$, om ervoor te zorgen dat de latente ruimte geworteld blijft in de specifieke controle-semantiek van de doelrobot.

Alignment Mechanisme:
Om deze twee modellen aan elkaar te binden, introduceren de auteurs een asymmetrische KL-divergentie beperking ($C_{KL}$). Deze beperking stemt de IDM-posterior (van het heterogene model) af op de Action Encoder-posterior (van het doelmodel), specifiek op de doeldataset.

• De asymmetrie (door het gebruik van een stop-gradient op de doel-encoder) zorgt ervoor dat de IDM de "geprivilegieerde" controle-semantiek van de doeldata absorbeert zonder te worden verstoord door de ambigue signalen van de hulpdata.
• De gecombineerde objectieven minimaliseren de negatieve Evidence Lower Bounds (ELBO's) van beide modellen plus de alignment-beperking, wat resulteert in een verenigde latente ruimte waar elke transitie kan worden herlabeld met een gedeelde, controle-bewuste latente actie.

Noot: De auteurs onderzoeken ook een variant waarbij object-segmentatiemaskers als observaties worden gebruikt in plaats van ruwe RGB-frames om de focus op de gemanipuleerde objectdynamiek verder te verscherpen.

Fase 2: World-Model-Aligned Behavioural Cloning (BC)

Zodra het GLAM-model is gepre-trained en bevroren, dient het als een latent-actie anker:

1. Herlabeling: Elke transitie in zowel $D_{tar}$ als $D_{aux}$ wordt herlabeld met de afgeleide latente actie $z_t$ met behulp van de IDM-posterior gemiddelde.
2. Policy Training: Een downstream Behavioural Cloning policy (specifiek MIP, een lichtgewicht regressie-policy) wordt getraind om observaties naar deze latente actie-chunks te mappen.
3. Executie: De output van de policy (latente acties) wordt via de action decoder van het doelmodel terug vertaald naar uitvoerbare robotacties.

Deze aanpak stelt de policy in staat om ungelabelde hulpdata te gebruiken als directe supervisie voor de BC-policy, wat effectief een vervanging vormt voor dure teleoperatie van de doelrobot.

Belangrijkste Bijdragen

1. Principele Representatie-lering: Het artikel verschuift het paradigma van heuristische alignment naar het leren van actie-representaties die gegrond zijn in fysieke voorspelling. Acties worden uitgelijnd als ze dezelfde omgevings-transitie produceren, ongeacht de bron.
2. GLAM Architectuur: De introductie van een duaal-model generatief framework (Heterogeen + Doel) dat verbonden is door asymmetrische KL-alignment en gedeelde forward dynamics. Dit creëert een latente ruimte die zowel bron-invariant (geleerd van gemengde data) als controle-bewust (geworteld in doelrobotacties) is.
3. Data-efficiëntie: De methode toont aan dat heterogene, ongelabelde data effectief kunnen dienen als vervanging voor doelrobot-demonstraties, wat de datavoorwaarden voor betrouwbare inzetgeving aanzienlijk vermindert.
4. Object-Centrische Gronding: De exploratie van het gebruik van objectmaskers als inputs om de transferbaarheid te verbeteren door de focus te leggen op de fysica van het gemanipuleerde object.

Experimentele Resultaten

De auteurs evalueerden GLAM op vijf manipulatietaken: drie in de echte wereld (liften, pick-and-place, knock-down) en twee in simulatie (2-cube en 3-cube stapelen).

• Prestatiewinst: GLAM-aligned policies presteerden significant beter dan de Behavioural Cloning baselines (MIP) en eerdere latente-actie methoden (CLAM, LAPA).
  • Behaalde een gemiddelde verbetering van +48% in taaksuccesratio over de taken binnen dezelfde data-arme setting.
  • Bij de complexe bimanuele "stack-three" taak (die normaal gesproken honderden demonstraties vereist), behaalde GLAM een succesratio van 72,7%, terwijl alle baselines faalden (≤4%).
• Cross-Source Transfer: Kwalitatieve experimenten bevestigden dat latente acties, afgeleid van ongelabelde bronnen (zoals UMI handheld simulaties), succesvol konden worden gedecodeerd en uitgevoerd op de doelrobot (Kinova) zonder enige actielabels, wat de alignment van de latente ruimte valideert.
• Data-efficiëntie: In schalingsexperimenten evenaarde GLAM-O (gebruikmakend van objectmaskers) de prestaties van een standaard BC-policy getraind op 500 doel-trajecten met slechts 100 doel-trajecten aangevuld met 400 hulp-trajecten. Dit suggereert dat hulpdata de doeldata bijna 1:1 kan vervangen in termen van prestatiewinst.
• Object Maskers: Het gebruik van objectmaskers als observaties verbeterde de prestaties consistent, met name in complexe taken zoals "knock-down" (+25%) en "stack-three" (+16%), wat de hypothese ondersteunt dat object-centrische gronding de transfer verbetert.

Betekenis en Claims

Het artikel beweert dat GLAM een paradigma biedt voor het leren van heterogene data dat de databottleneck in imitatie-leren overwint. Door acties te behandelen als latente variabelen die gegrond zijn in omgevings-transities, elimineert de methode de noodzaak voor handmatig ontworpen alignment-recepten.

De auteurs benadrukken dat GLAM:

• Verenigde gelabelde en ongelabelde data in een enkele, bron-invariante latente ruimte.
• Maakt het mogelijk om goedkope, overvloedige hulpdata (zoals simulaties of handheld-data) direct te gebruiken als supervisie voor doelrobots.
• Bereikt state-of-the-art prestaties in data-arme settings zonder grootschalige pretraining of massieve online interactie te vereisen.

Het werk wordt gepresenteerd als een stap naar het schalen van capabele policies naar de "long tail" van real-world taken door gebruik te maken van diverse, imperfecte databronnen via een principieel, op fysica gegrond framework voor representatie-lering.