Technische Samenvatting: LACE – Latente Visuele Representatie voor Cross-Embodiment Learning

1. Probleemstelling

Het artikel adresseert de uitdaging van cross-embodiment learning, specifiek de moeilijkheid om beleidsregels die zijn geleerd uit menselijke demonstraties over te dragen op robots. Hoewel self-supervised learning (SSL) backbones (bijv. DINO) standaard zijn geworden voor het coderen van rijke inter-klassieke semantiek in algemene objecten, identificeren de auteurs een kritiek falen: deze vooraf getrainde modellen slagen er niet in om betrouwbare semantische correspondentie tussen menselijke en robotische handen tot stand te brengen.

De auteurs stellen dat dit falen voortkomt uit een "visuele kloof" in de latente kenmerkruimte. Vooraf getrainde SSL-modellen worden getraind op datasets van internet-schaal (bijv. LVD-1689M voor DINO) die diverse robotische embodiments missen. Bijgevolg, terwijl deze modellen semantiek vastleggen voor natuurlijke afbeeldingen, leren ze niet de structurele mapping tussen menselijke lichaamsdelen (bijv. een menselijke duim) en hun robotische tegenhangers (bijv. een robotvinger). Bestaande oplossingen proberen deze kloof vaak te overbruggen in pixelruimte (via beeldbewerking, segmentatie of inpainting), wat embodimentspecifieke morfologie verwijdert, verwerking tijdens inferentie vereist, of de overdracht beperkt tot specifieke doelrobots.

2. Methodologie: LACE

De auteurs stellen LACE (Latent Alignment for Cross-Embodiment) voor, een kader dat menselijke en robotische visuele representaties direct aligneert in de latente kenmerkruimte van een vooraf getrainde SSL-backbone.

Kernconcept

LACE maakt gebruik van de structurele correspondentie van gedeelde lichaamsdelen over embodiments heen (bijv. het mappen van menselijke keypointen naar robotische keypointen) als spaarzame supervisie. Het fine-tuneert een vooraf getrainde backbone om de visuele kloof in de latente ruimte te minimaliseren, terwijl het de algemene semantische capaciteiten van de backbone behoudt.

Belangrijkste Componenten

1. Data Setup:

   • Menselijke Data: Afkomstig uit bestaande datasets met keypoint-annotaties (bijv. EpicKitchen subset van HInt).
   • Robot Data: Vereist slechts één robotische demonstratie. Keypointen worden automatisch afgeleid via forward kinematics (FK) en renderer segmentatiemaskers.
   • Trainingsparen: Het model wordt getraind op paren afbeeldingen $(I_a, I_b)$ van verschillende embodiments (cross-embodiment) en hetzelfde embodiment (intra-embodiment).

2. Verliesfuncties:
   Het trainingsdoel bestaat uit twee componenten:

   • Semantische Alignement Verlies ($L_{align}$): Dit tilt supervisie op keypoint-niveau op naar semantische alignement op niveau. Voor een gedeelde keypoint $k$ vergelijkt de methode de verdeling van gelijkenissen tussen het keypoint-patch en alle andere patches in de afbeelding.
     • Het definieert een doelp verdeling $P$ (zelf-gelijkenis van de keypoint in de bronafbeelding) en een voorgestelde verdeling $Q$ (kruis-gelijkenis van de corresponderende keypoint in de doelafbeelding).
     • Het verlies minimaliseert de reverse KL-divergentie ($D_{KL}(Q || P)$), wat de robotische keypoint aanmoedigt om een semantische structuur in de latente ruimte te induceren die vergelijkbaar is met die van de menselijke keypoint.
     • Een Exponential Moving Average (EMA) teacher-netwerk wordt gebruikt om training te stabiliseren.
   • Gram Verlies ($L_{gram}$): Om catastrofaal vergeten van het algemene visuele begrip van de backbone (bijv. objectherkenning) te voorkomen, wordt een Gram-verlies toegepast. Het straft afwijkingen in de paarwijze kenmerkgelijkenissen (Gram-matrix) tussen de trainbare encoder en de EMA-encoder. Dit zorgt ervoor dat, terwijl handkenmerken aligneren, de relatieve structuur van andere kenmerken (achtergronden, objecten) stabiel blijft.

   Het totale verlies is: $L = L_{align} + \lambda L_{gram}$.

3. Architectuur:
   De auteurs implementeren LACE met DINOv3 (ViT-S) als backbone, aangeduid als LACE-DINO. Het beleid is uitsluitend geconditioneerd op visuele kenmerken, waardoor de visuele domeinkloof geïsoleerd wordt.

3. Belangrijkste Bijdragen

• Identificatie van Latente Kloof: Het artikel demonstreert dat de visuele kloof tussen menselijke en robotische embodiments zich voortplant in latente visuele embeddings, waardoor vooraf getrainde SSL-modellen falen in cross-embodiment correspondentie.
• Spaarzaam Supervisie Kader: LACE bereikt cross-embodiment semantische alignement met behulp van frames van één enkele robotische demonstratie (of zelfs één enkel keypoint-geannoteerd frame) zonder datasets te vereisen die temporair of ruimtelijk zijn uitgelijnd.
• Behoud van Algemene Semantiek: Door het invoeren van het Gram-verlies, aligneert de methode specifieke lichaamsdelen zonder de algemene visuele kenmerken van de backbone te degraderen, waardoor catastrofaal vergeten wordt vermeden.
• Zero-Shot en Low-Data Prestaties: Het kader stelt robotbeleid in staat om overvloedige menselijke data effectief te benutten wanneer robotdata schaars is, wat aanzienlijke winsten oplevert in zero-shot overdracht en generalisatie naar out-of-distribution (OOD) omgevingen.

4. Experimentele Resultaten

De auteurs valideren LACE door uitgebreide experimenten op real-world robot manipulatie taken.

• Keypoint Alignement Metrics:

  • Op mens-robot correspondentie, reduceert LACE-DINO de End Point Error (EPE) van 87.04 (vooraf getrainde DINO) naar 19.36 en verhoogt het de Cosine Similariteit van 0.473 naar 0.910.
  • Deze verbetering generaliseert naar andere SSL backbones (SigLIP, I-JEPA, V-JEPA2).

• Downstream Taken (Pose Schatting & Lokalisatie):

  • Bij zero-shot overdracht (probes getraind op menselijke data, getest op robotdata), presteert LACE-DINO significant beter dan DINO.
  • Pose Schatting: EPE verbeterde van 57.5 naar 35.6 pixels; PCK@0.2 verbeterde van 28.6% naar 72.4%.
  • Lokalisatie: LACE-DINO behaalde een hit rate van 40.5% voor embodiment lokalisatie, vergeleken met 3.2% voor DINO.

• Beleid Leren (Object Grijpen):

  • Zero-Shot Regime (0% robotdata): LACE-DINO behaalde een 60% succesrate bij het oppakken van een doelobject, vergeleken met 5% voor de DINO-baseline.
  • OOD Omgevingen: In omgevingen met afleidende objecten die de robot niet heeft gezien, behaalde LACE-DINO 65% succes, terwijl DINO volledig faalde (0%).
  • Data-efficiëntie: LACE-DINO presteerde consequent beter dan DINO, zelfs met beperkte robotdata (10% of 100% van beschikbare robotdemonstraties), wat aantoont dat gealigneerde representaties data-schaarste compenseren.

• Generalisatie:

  • Ongeziene Poses: Het model generaliseert naar handposities die niet tijdens training zijn gezien.
  • Meerdere Embodiments: LACE slaagde erin vier verschillende morfologieën (menselijke hand, multi-vinger robotische hand, parallel-kaak gripper, staaf eind-effector) gelijktijdig te aligneren.
  • Kwaliteit van Kenmerken: Ablatiestudies bevestigden dat het Gram-verlies cruciaal is; zonder dit degradeerde de prestatie van downstream taken (ImageNet classificatie, ADE20K segmentatie) significant door kenmerk-drift.

5. Betekenis en Claims

Het artikel claimt dat LACE een praktische oplossing biedt voor het probleem van dataschaarste in dexterous robot learning. Door te opereren in de latente ruimte in plaats van pixelruimte, vermijdt het de computatie-overhead en informatieverlies die geassocieerd zijn met beeldbewerkingsmethoden.

De auteurs benadrukken dat hun aanpak robots in staat stelt om overvloedige menselijke videodata te benutten, zelfs wanneer robotische demonstraties extreem beperkt of niet-bestaand zijn (zero-shot). Het kader wordt gepresenteerd als een algemene methode toepasbaar op elke SSL-backbone die semantische structuur codeert, en biedt een weg om robuuste beleidsregels te trainen voor ongeziene omgevingen en diverse robot-morfologieën zonder enorme, gesynchroniseerde cross-embodiment datasets te vereisen. De code is bedoeld voor publieke release om verder onderzoek in cross-embodiment generalisatie te faciliteren.