Cross-Hand Latent Representation for Vision-Language-Action Models

Titel: XL-VLA: Cross-Hand Latente Representatie voor Vision-Language-Action Modellen

1. Het Probleem

Dexterous manipulatie (vaardige handbewegingen) is cruciaal voor robotautonomie in de echte wereld. Hoewel Vision-Language-Action (VLA) modellen succesvol zijn in het interpreteren van visuele scènes en het volgen van taalopdrachten, stuiten ze op een fundamenteel obstakel bij de overgang naar actie:

• Embodiment-afhankelijkheid: De actieruimte van robots (bijv. joint-posities) is inherent gekoppeld aan de fysieke morfologie van de robot. Verschillende dexterous hands hebben verschillende aantallen gewrichten, kinematica en aandrijvingen.
• Data-efficiëntie: Het trainen van betrouwbare VLA-modellen vereist doorgaans grote datasets voor elke specifieke robot. Het verzamelen van data voor elke nieuwe dexterous hand die snel op de markt verschijnt, is kostbaar en onpraktisch.
• Schalbaarheid: Er is een dringende behoefte aan een schaalbare methode voor "cross-embodiment learning" waarbij een enkel beleid kan worden getraind op diverse handen en direct kan worden toegepast op nieuwe, ongeziene hardware zonder hertraining.

2. Methodologie: XL-VLA

De auteurs introduceren XL-VLA, een framework dat een unified latent action space (gemeenschappelijke latente actieruimte) integreert in een standaard VLA-architectuur.

A. Latente Actieruimte (Unsupervised Autoencoder)
In plaats van directe joint-posities te voorspellen, leert het model een embodiment-invariante latente representatie ($z$).

• Architectuur: Een multi-headed VAE-achtige autoencoder. Voor elke hand $h$ is er een specifieke encoder $E_h$ en decoder $D_h$.
• Training: De autoencoder wordt vooraf getraind (zonder demonstratiedata) op synthetische joint-configuraties binnen de hardware-limieten.
• Verliesfuncties: Om een betekenisvolle, gemeenschappelijke ruimte te creëren, worden drie verliesfuncties gebruikt:
  1. Reconstructie Loss ($L_1$): Zorgt dat de decoder de oorspronkelijke joint-posities van de specifieke hand kan reconstrueren.
  2. Retargeting Loss ($L_2$): Dit is de kern van de cross-embodiment aanpak. Het gebruikt differentieerbare forward kinematics (FK) om de vingertoppen van verschillende handen te aligneren. Het straalt een straf uit als de "pinch" (grijp) afstanden en richtingen tussen verschillende handen niet overeenkomen voor dezelfde latente code. Hierdoor leert de latente ruimte de geometrische intentie (bijv. "grijp een banaan") in plaats van specifieke motorcommando's.
  3. Latent Loss ($L_3$): Een KL-divergentie term die de latente ruimte regulariseert naar een standaard Gaussische verdeling, wat interpolatie en sampling mogelijk maakt.

B. VLA Pipeline
XL-VLA bouwt voort op de $\pi_0$-architectuur:

• Input: Visuele observaties ($V$), taalopdrachten ($T$) en een korte geschiedenis van latente actie tokens (in plaats van ruwe joint-statussen).
• Verwerking: De VLA-backbone (geinitialiseerd met PaliGemma) voorspelt de volgende latente chunk ($\hat{z}_{t+1}$).
• Output: De voorspelde latente vector wordt door de hand-specifieke decoder $D_h$ omgezet in concrete joint-commando's ($\hat{q}_{t+1}$) voor de specifieke robot.
• Belangrijk: Tijdens het finetunen van de VLA blijven de encoders en decoders bevroren; alleen de VLA-backbone wordt aangepast. De handidentiteit wordt niet als expliciete token ingevoerd, maar bepaalt welke decoder wordt gebruikt.

3. Belangrijkste Bijdragen

1. Grootschalige Dataset: Het verzamelen van een dataset met 2 miljoen state-action paren over 10 verschillende manipulatie-taken en vier verschillende dexterous hands (Ability, Paxini DexH13, X-Hand1, Inspire).
2. Unsupervised Latent Framework: Een methode om een unificerende actieruimte te leren zonder gekoppelde cross-hand demonstraties, puur gebaseerd op kinematische consistentie.
3. XL-VLA Framework: Een volledig werkend VLA-systeem dat zero-shot generalisatie toestaat naar nieuwe hand-taak combinaties.
4. Empirische Validatie: Uitgebreide evaluaties in de echte wereld die aantonen dat deze aanpak superieur is aan bestaande baselines.

4. Resultaten

De experimenten tonen aan dat XL-VLA aanzienlijk beter presteert dan standaard VLA-modellen (zoals $\pi_0$) die in ruwe joint-ruimtes werken:

• Cross-Embodiment Training: XL-VLA bereikte een gemiddelde succesrate van 0.72 over alle handen en taken, vergeleken met 0.32 voor de $\pi_0$-baseline.
  • Specifiek voor de Paxini Hand steeg de prestatie naar 0.78.
  • Voor de mechanisch meest verschillende hand (XHand) steeg de prestatie van 0.29 naar 0.70.
• Zero-Shot Generalisatie: Het model kon succesvol worden toegepast op taken die niet in de trainingsdata zaten voor een specifieke hand, zonder extra training of kinematische retargeting. Dit resulteerde in significante verbeteringen ten opzichte van retargeting-baselines.
• Cross-Robot Scaling: Het model kon data van een tafelrobot (xArm) en een humanoïde (Unitree G1) combineren, wat leidde tot betere prestaties op de G1 dan wanneer alleen ruwe actiedata werden gebruikt.
• Latent Replay: Bij het "replayen" van trajecten van de ene hand naar de andere (zonder supervisie) behaalde XL-VLA een succesrate van ~0.82, terwijl een gesuperviseerde methode (LAD) slechts ~0.60 haalde.

5. Betekenis en Conclusie

XL-VLA biedt een oplossing voor het "embodiment-probleem" in robotica. Door een embodiment-invariante latente ruimte te gebruiken, kunnen robotbeleidten worden getraind op heterogene datasets en direct worden gedeployed op nieuwe hardware.

• Schalbaarheid: Nieuwe handen kunnen worden toegevoegd door alleen hun encoder/decoder te trainen, zonder het hele VLA-model opnieuw te hoeven trainen.
• Data-efficiëntie: Het maakt optimaal gebruik van bestaande en nieuwe data door deze te normaliseren naar een gemeenschappelijke taal van actie.
• Toekomstperspectief: Dit werk legt de basis voor robuuste, schaalbare systemen voor dexterous manipulatie die kunnen meegroeien met de snelle innovatie in robothardware.

Kortom, XL-VLA bewijst dat het leren van een abstracte, geometrisch consistente actierepresentatie de sleutel is tot het overbruggen van de kloof tussen diverse robotvormen en het realiseren van echt algemeen toepasbare robotvaardigheden.