Technische Samenvatting: LEGS – Fine-tuning van Teleop-vrije VLA's voor Humanoid Loco-manipulatie

Probleemstelling

Het trainen van Vision-Language-Action (VLA) beleid voor humanoïde loco-manipulatie wordt momenteel beperkt door de hoge kosten en complexiteit van het verzamelen van menselijke teleoperatie-demonstraties. Bestaande benaderingen kampen met aanzienlijke trade-offs:

• Teleoperatie: Bindt dataverzameling aan menselijke arbeid en de operationele tijd van de robot, wat slecht schaalt door vermoeidheid en per scène opname vereist.
• Human-Demo Retargeting: Haalt de mens uit de lus, maar vereist nog steeds dure, per scène gebaseerde egocentrische menselijke capture.
• Simulatie-gaten: Conventionele mesh-gebaseerde simulators introduceren een visuele "sim-to-real" kloof. Zelfs pipelines die SAM3D gebruiken voor objectreconstructie lijden aan mismatches in materiaal-schaduwwerking, vereenvoudigde verlichting en aliasing, wat de visuele encoder bevoordeelt en effectieve transfer naar echte robots belemmert.

De kernuitdaging is het genereren van hoogwaardige, gelabelde loco-manipulatie data zonder menselijke teleoperatie, die effectief gepre-trainde VLA-modellen kan fine-tunen voor zero-shot transfer naar echte humanoïde hardware.

Methodologie: Het LEGS-framework

De auteurs stellen LEGS voor (Loco-manipulation via Embodied Gaussian Splatting), een hybride simulator ontworpen om de visuele sim-to-real kloof te dichten en de bewegingsgeneratie te ontkoppelen van de scène-verschijning.

1. Hybride Rendering Architectuur

LEGS combineert een dynamische mesh-foreground met een statische, fotorealistische 3D Gaussian Splatting (3DGS) achtergrond:

• Achtergrond (3DGS): Gereconstrueerd uit een korte (1–2 minuten) handheld video van de doelscène met behulp van COLOMP en 3DGS-optimalisatie. Dit biedt nieuwe gezichtspunten waarbij renderingfouten ten opzichte van echte foto's tot een minimum zijn beperkt, wat de visuele kloof voor statische omgevingen effectief elimineert.
• Voorgrond (Mesh): Bestaat uit de robot (URDF) en manipuleerbare objecten/rekwisieten (gereconstrueerd via SAM3D vanuit één enkele afbeelding). Deze worden gerasterd en diepte-gecomponeerd over de 3DGS-achtergrond.
• Kleurkalibratie: Om de compositie af te stemmen op de camera bij de inzet, gebruikt LEGS een deterministische tweestaps-kalibratie:
  1. Per-mesh schaal ($R$): Een diagonale schaal in lineaire RGB die de gerenderde gemiddelde waarde van elke mesh afstemt op de handheld scan binnen de bijbehorende SAM2-masker, waardoor de albedo-regressiefouten van SAM3D worden gecorrigeerd (bijv. het herstellen van uitgebleekt grijs naar zwart).
  2. Globale matrix ($M$): Een $3\times3$ kleurcorrectiematrix, gefit via kleinste kwadraten op een ColorChecker, die de 3DGS-achtergrond verschuift naar de kleurruimte van de camera bij de inzet.

2. Physics en Controle

• Physics Backend: Gebruikt MuJoCo op 500 Hz om de dynamica op de mesh-geometrie op te lossen, gescheiden van de rendering-pipeline.
• Controller: Maakt gebruik van SONIC, een via RL getrainde low-level whole-body controller. Deze accepteert een 18-D commando-stroom (6-D pols SE(3) pose + 14-D bovenlichaam grip/pose + 4-D basiscommando). Dezelfde binaire code draait in simulatie als op de echte robot, waardoor de inzet geen beleidsveranderingen vereist.

3. Procedurele Datageneratie

LEGS vervangt menselijke teleoperatie door een procedurele motion-primitive generator:

• Ontkoppeling: Beweging wordt opgenomen als een commando-stroom die onafhankelijk is van de rendering-inputs.
• Primitives: Taken worden gedecomposeerd in hoog-niveau bewegingen (Walk, Pick, Place), samengesteld uit laag-niveau primitives met scène-niveau argumenten (target pose, object identiteit).
• Verificatie: Episodes worden alleen opgeslagen als de verificatiecontroles slagen.
• Re-rendering: Omdat beweging is ontkoppeld van verschijning, kan dezelfde dataset opnieuw worden gerenderd onder nieuwe achtergronden, object-meshes en cameragegevens tegen enkel de kosten van GPU-tijd, zonder nieuwe bewegingscollectie.

Belangrijkste Bijdragen

1. Teleop-vrije Datapipeline: Een procedurele simulator die volledig gelabelde loco-manipulatie data genereert in simulatie zonder menselijke verzamelde demonstraties (teleop, seed demo's of menselijke video).
2. Fotorealistische Rendering voor Transfer: Demonstreert dat het combineren van 3DGS-achtergronden met mesh-voorgronden en kleurkalibratie aanzienlijk beter presteert dan mesh-only baselines, wat bewijst dat fotorealisme een belangrijke enabler is voor de synthetisch-naar-echt transfer.
3. Schaalbare Augmentatie: Een massaal paralleliseerbare workflow die zich aanpast aan nieuwe scènes en objecten door bestaande bewegingsdata opnieuw te renderen. Dit vermindert de marginale kosten voor het aanpassen aan een nieuwe verschijningsconditie van >1,5 uur menselijke arbeid naar ~0,1 uur GPU-tijd.
4. Uitgebreide Real-Robot Evaluatie: Validatie over drie SOTA VLA-backbones ($\psi_0$, $\pi_{0.5}$, GR00T N1.6) en drie taken van toenemende moeilijkheidsgraad op een Unitree G1 robot, in totaal 1.110 proeven.

Experimentele Resultaten

De auteurs evalueerden LEGS op drie pick-and-place taken op een Unitree G1:

• Taak 1: Alleen manipulatie (geen locomotie).
• Taak 2: Loco-manipulatie (lopen naar tafel, pakken, plaatsen).
• Taak 3: Complexe loco-manipulatie (lopen, pakken, draaien, lopen naar lage tafel, hurken, plaatsen).

Belangrijkste bevindingen:

• LEGS vs. Teleoperatie: Een beleid dat puur op LEGS-data (200 episodes) is gefinetuned, kwam overeen met of overtrof een beleid dat op menselijke teleoperatie-data (50 episodes) is gefinetuned over alle taken en backbones. Opvallend genoeg, bij de moeilijke Taak 3, zakten de teleoperatie-baselines naar 0% succes over alle backbones, terwijl LEGS 2–6/10 succes behaalde.
• LEGS vs. Mesh-Only Baseline: LEGS presteerde aanzienlijk beter dan een mesh-only baseline (SAM3D) die de 3DGS-achtergrond en kleurkalibratie miste. De mesh-only baseline behaalde gemiddeld 33% succes vergeleken met de 67% van LEGS, waarbij het gat groter werd tijdens de nabije manipulatie (pick/place) fasen.
• Budget Matching: Zelfs met een gelijkwaardig budget van 50 episodes, mat LEGS (50) of versloeg Teleop (50), wat bevestigt dat de winst niet enkel toe te schrijven is aan de hoeveelheid data.
• Adaptatie aan Verschijning-shift: Wanneer getest op out-of-distribution object en scène variaties (bijv. oranje vervangen door appel, tafel vervangen door blauwe tafel):
  • Baselines getraind op standaard data (Teleop, SAM3D, LEGS) faalden volledig (0–1/10 succes).
  • LEGS-AUG, die de bewegingsdata opnieuw heeft gerenderd naar de nieuwe verschijning, behield een hoog succespercentage (tot 100% op Taak 1), en presteerde beter dan de opnieuw gerenderde SAM3D-AUG baseline. Dit bevestigt dat re-rendering adaptatie mogelijk maakt, terwijl fotorealisme de nauwkeurigheid waarborgt.

Betekenis en Claims

Het artikel claimt dat fotorealistische rendering en procedurele bewegingsgeneratie voldoende substituten zijn voor menselijke teleoperatie bij de stap van datacolectie.

• Zero-Shot Transfer: LEGS stelt gepre-trainde VLA-modellen in staat om via fine-tuning zero-shot naar echte robots te transfereren, waarbij ze de modellen overtreffen die getraind zijn op echte wereld teleoperatie-data.
• Kostenefficiëntie: De aanpak verschuift de adaptatie van een door operators beperkt probleem naar een door rekenkracht beperkt probleem, waardoor de kosten voor het aanpassen aan nieuwe scènes met meer dan factor 15 worden verminderd ten opzien van teleoperatie.
• Generaliseerbaarheid: Het succes over drie verschillende VLA-backbones suggereert dat de voordelen inherent zijn aan de datapipeline en niet specifiek aan een enkele modelarchitectuur.

De auteurs erkennen beperkingen, waaronder gevoeligheid voor veranderingen in verlichting buiten de originele scan-distributie, degradatie op sterk reflecterende/transparante oppervlakken, en de aanname van statische achtergronden. Ze concluderen echter dat LEGS een robuust en schaalbaar pad biedt voor het trainen van humanoïde loco-manipulatie beleid zonder de prohibitieve kosten van real-world dataverzameling.