EgoScale: Scaling Dexterous Manipulation with Diverse Egocentric Human Data

Probleemstelling

Het leren van fysieke intelligentie voor dexterous (vaardige) robotmanipulatie is een grote uitdaging vanwege de hoge kostprijs en het gebrek aan schaalbaarheid van robotteleoperatie-data. Bestaande methoden voor het overdragen van menselijk gedrag naar robots hebben twee belangrijke beperkingen:

1. Beperkte dataschaal: De meeste benaderingen vertrouwen op kleine menselijke datasets (vaak slechts tientallen tot honderden uren).
2. Beperkte complexiteit: Veel studies focussen op grijpers of handen met weinig vrijheidsgraden (DoF), waardoor fijne, complexe vingerbewegingen niet worden bestudeerd.

Het is onduidelijk of menselijke data, die van nature rijk en divers is, kan dienen als een schaalbare supervisiebron voor het leren van complexe, hoog-dimensionale dexterous manipulatie taken.

Methodologie: EgoScale Framework

De auteurs stellen EgoScale voor, een tweestapskader voor het overdragen van menselijke vaardigheden naar robots, gebaseerd op een Vision-Language-Action (VLA) model.

1. Data Collectie en Verwerking

• Fase I: Schaalbare Menselijke Pre-training: Het model wordt voorgeïmplementeerd op 20.854 uur aan egocentrische (eerste-persoons) menselijke video-data. Deze dataset omvat diverse omgevingen (huishouden, industrie, retail) en bevat 9.869 scènes en 43.237 objecten.
  • Actierepresentatie: Menselijke bewegingen worden omgezet in een gestructureerde actie-ruimte:
    • Arm: Relatieve polsbeweging (SE(3)) om camera-beweging te negeren.
    • Hand: 21 menselijke handkeypoints worden via een optimalisatie-algoritme "retargeted" naar de 22-DoF joint space van de Sharpa robothand. Dit behoudt de fijne articulatie van de menselijke vingers.
• Fase II: Gekalibreerde Mens-Robot Mid-training: Om de "embodiment gap" te overbruggen, wordt een kleine dataset gebruikt (50 uur mens + 4 uur robot) waarin mens en robot dezelfde taken uitvoeren in identieke tafelscènes met dezelfde camera-opstelling. Dit dient om de pre-getrainde representaties te "ankeren" aan de specifieke sensatie- en besturingsruimte van de robot.

2. Model Architectuur

• Het model is een Flow-based VLA (vergelijkbaar met GR00T N1).
• Het gebruikt een gedeelde visueel-taal backbone en een DiT (Diffusion Transformer) actie-expert.
• Embodiment-adapters: Lichtgewicht MLP-adapters worden gebruikt aan de input en output om het model aan te passen aan verschillende robotlichamen (bijv. verschillende proprioceptieve staten of hand-DoF's) zonder de kernarchitectuur te veranderen.

3. Trainingsrecept

Het trainingsproces bestaat uit drie fasen:

1. Pre-training: Trainen op de grote menselijke dataset (20k+ uur) om een robuuste motorische prior te leren.
2. Mid-training: Fijnafstemmen op de kleine, gekalibreerde mens-robot dataset om de representaties te aligneren met de robot.
3. Post-training: Fijnafstemmen op specifieke robot-taken met zeer weinig robot-demonstraties (soms slechts één).

Kernbijdragen

1. Schalingswetten voor Menselijke Data: De auteurs ontdekken een duidelijke log-lineaire schalingswet tussen de schaal van menselijke data en de validatieverlies (voorspelling van handacties). Een grotere dataset leidt tot een voorspelbare daling van het verlies, wat sterk correleert met de prestaties op de echte robot.
2. Effectief Transferrecept: Een combinatie van grote menselijke pre-training en een kleine hoeveelheid gekalibreerde mid-training resulteert in superieure prestaties met minimale robotdata.
3. Emergente Generalisatie: Het systeem toont one-shot en few-shot generalisatie. Na mid-training kan de robot nieuwe dexterous taken leren met slechts één robotdemonstratie, zelfs als die taak niet in de trainingsdata voorkwam.
4. Embodiment-Agnostische Priors: De geleerde representaties generaliseren naar robots met aanzienlijk verschillende kinematica (bijv. van een 22-DoF hand naar een 7-DoF drievingerige hand op de Unitree G1).

Resultaten

• Prestatieverbetering: De EgoScale-policy verbeterde de gemiddelde succesratio met 54% ten opzichte van een baseline zonder pre-training, getest op een 22-DoF dexterous robothand.
• Schaalbaarheid: Bij het verhogen van de menselijke dataset van 1.000 naar 20.000 uur steeg de taakvoltooiingsscore monotoon van 0,30 naar 0,71, zonder verzadiging.
• One-Shot Transfer: Op taken zoals "T-shirt vouwen" en "Flessen dop losschroeven" bereikte het model een succesratio van respectievelijk 88% en 55% met slechts één robotdemonstratie.
• Cross-Embodiment: Op de Unitree G1 (met een 7-DoF hand) leverde menselijke pre-training een absolute verbetering van meer dan 30% in succesratio, wat aantoont dat de menselijke beweging een herbruikbare motorische prior biedt.
• Actierepresentatie: Het gebruik van retargeted joint-space (22-DoF) voor menselijke data bleek superieur aan alleen polsbeweging of fingertip-voorspelling, vooral voor taken die fijne contacttiming vereisen (zoals het gebruik van tangen of kaarten sorteren).

Betekenis en Conclusie

Het paper toont aan dat effectieve mens-naar-robot transfer voor dexterous manipulatie fundamenteel een schaalingsfenomeen is. Menselijk gedrag, wanneer geschaald naar tienduizenden uren, biedt een voorspelbare en krachtige supervisiebron die robotdata niet kan vervangen, maar wel dramatisch versterkt.

De bevindingen suggereren een toekomst waarin menselijke demonstraties worden behandeld als een schaalbare "lichaamsvorm" (embodiment) voor het leren van algemene ingebouwde intelligentie. Door een kleine hoeveelheid precieze mens-robot alignatie te combineren met enorme hoeveelheden menselijke data, kunnen robots complexe, langdurige vaardigheden leren met minimale menselijke tussenkomst in de robotwereld. Dit opent de weg naar robuuste, veelzijdige robots die complexe taken kunnen uitvoeren zonder dat er voor elke specifieke taak duizenden robotdemonstraties nodig zijn.