IGen: Scalable Data Generation for Robot Learning from Open-World Images

Probleemstelling

De opkomst van algemene robotbeleidssystemen (generalist robotic policies) heeft een exponentiële vraag naar grote hoeveelheden trainingsdata gecreëerd. Huidige methoden voor het verzamelen van data via robots (on-robot data collection) zijn echter arbeidsintensief, kostbaar en vaak beperkt tot specifieke omgevingen. Dit vormt een fundamentele bottleneck voor het generaliseren van robotvaardigheden naar diverse real-world scenario's.

Aan de andere kant biedt de "open wereld" (internetbeelden) een enorme, goedkope en diverse bron van visuele informatie die perfect aansluit bij robotmanipulatietaken. Het probleem is echter dat deze beelden geen bijbehorende robotacties bevatten. Bestaande methoden om deze beelden te gebruiken, zoals Real-to-Sim-to-Real benaderingen, vereisen vaak expliciete 3D-reconstructie van werkruimtes of zijn beperkt tot specifieke scènes. Andere methoden die gebruikmaken van video-generatiemodellen, missen vaak expliciete, fysisch onderbouwde robotacties en worstelen met complexe, langdurige taken.

Methodologie: IGen Framework

IGen is een nieuw framework dat automatisch schaalbare, fysisch onderbouwde visuo-motorische data genereert vanuit willekeurige open-world afbeeldingen, zonder menselijke annotatie. Het proces verloopt via drie hoofdstadia:

1. Van Pixels naar Gestructureerde 3D Representaties (Scene Reconstruction)
In plaats van te werken met ongestructureerde 2D-pixels, converteert IGen de invoer naar een manipulabele 3D-werkruimte:

• Diepte en Geometrie: Een monokulair geometrisch basismodel (Metric3Dv2) schat de diepte en geometrie van de scène.
• Objectherkenning: Een Vision-Language Model (VLM) identificeert relevante objecten, waarna het Segment Anything Model (SAM) maskers genereert.
• 3D Reconstructie: Het originele object wordt verwijderd (inpainting) en de achtergrond wordt omgezet in een dichte 3D-puntwolk. Voor het doelobject wordt een 3D-generatief reconstructiemodel (TRELLIS) gebruikt om het volledige 3D-vorm en uiterlijk te reconstrueren, waarna dit wordt gepositioneerd met 6D-pose schatting.
• Spatiale Sleutelpunten: Met behulp van DINOv2 en K-means clustering worden ruimtelijke sleutelpunten (keypoints) geëxtraheerd die dienen als ankers voor planning.

2. Ruimtelijke Planning voor Gedragsgeneratie (Action Planning)
IGen gebruikt de redeneercapaciteiten van Vision-Language Models (VLM) om acties te genereren:

• Taakplanning: De VLM ontvangt de afbeelding met de 3D-sleutelpunten en een taakinstructie (bijv. "Water de bloemen"). De VLM breekt de taak op in hoog-niveau sub-stappen.
• Actie-vertaling: De hoog-niveau plannen worden vertaald naar uitvoerbare, laag-niveau besturingsfuncties in Python. Deze functies berekenen de gewenste SE(3)-posities (positie en oriëntatie) van de robotgrijper op basis van de ruimtelijke sleutelpunten.
• Trajectgeneratie: Een motion planner genereert haalbare trajecten die in een simulatieomgeving (Isaac Sim) worden uitgevoerd, wat resulteert in een sequentie van robotacties.

3. Synthese van Ervaringen voor Robotleren (Observation Synthesis)
Om visuele observaties te synchroniseren met de robotacties, gebruikt IGen een simulatie-vrije puntwolk-synthese:

• Dynamische Puntwolken: De beweging van de robotgrijper wordt gebruikt om de puntwolk van het vastgehouden object rigide te transformeren (volgens de SE(3)-trajectorie).
• Rendering: Een virtuele camera rendert de volledige puntwolksequentie (achtergrond + robot + object) frame-per-frame. Dit genereert visueel consistente RGB- en diepteframes die perfect synchroon lopen met de gegenereerde acties.

Belangrijkste Bijdragen

1. Schalbaar Data-Generatie Framework: IGen transformeert ongestructureerde open-world afbeeldingen in schaalbare datasets van visuele observaties en uitvoerbare acties, met ondersteuning voor instructie-diversiteit en langdurige taken.
2. Actieerbare 3D Representaties: Het introduceert een methode om 2D-beelden om te zetten in 3D-puntwolken met ruimtelijke sleutelpunten, wat redeneren en motion planning mogelijk maakt zonder zware fysieke reconstructie.
3. Simulatie-vrije Synthese: Een innovatieve aanpak voor het genereren van realistische visuele observaties door dynamische puntwolken te renderen, in plaats van te vertrouwen op traditionele, zware simulatieomgevingen.
4. Prestaties zonder Menselijke Data: Het bewijst dat robotbeleid dat uitsluitend is getraind op door IGen gegenereerde data, real-world taken succesvol kan uitvoeren zonder enige menselijke tele-operatie data.

Resultaten

De auteurs evalueren IGen op drie dimensies:

• Visuele Fideliteit: Vergelijking met Real-to-Sim methoden toont aan dat IGen aanzienlijk betere visuele consistentie behaalt (tot 5,13x verbetering in perceptuele metrics zoals LPIPS) ten opzichte van de originele real-world beelden.
• Kwaliteit van Gedrag: Op de DreamGen Bench presteert IGen aanzienlijk beter dan state-of-the-art baselines (zoals Cosmos en TesserAct) op zowel "Instruction Following" (het volgen van instructies) als "Physics Alignment" (fysische correctheid). IGen produceert bijna twee keer zoveel succesvolle instructie-opvolgingen.
• Efficiëntie: IGen is extreem efficiënt; het genereert data ongeveer 30x sneller dan TesserAct en 200x sneller dan Cosmos, met een lager GPU-geheugengebruik (8,3 GB).
• Real-World Transfer: In experimenten met een Franka Research 3 robotarm bleek dat een beleid getraind op 1.000 door IGen gegenereerde samples een succespercentage van 66,7% bereikte op diverse taken. Dit is hoger dan een beleid getraind op 100 menselijke demonstraties (58,3%) binnen dezelfde tijdsinvestering. Zelfs met slechts 100 gegenereerde samples (44,5%) overtrof het de menselijke data.

Betekenis en Impact

IGen markeert een doorbraak in robotleren door de afhankelijkheid van dure en tijdrovende menselijke datacollectie te doorbreken. Het toont aan dat de "open wereld" van internetafbeeldingen een potentieel onuitputtelijke bron is voor het trainen van algemene robotbeleidssystemen. Door automatisch realistische, fysisch onderbouwde trainingsdata te genereren, opent IGen de weg voor schaalbare robotlearning die snel kan worden aangepast aan nieuwe omgevingen en taken zonder extra menselijke tussenkomst. Dit is een cruciale stap richting de realisatie van robuuste, algemene robots die in complexe, onvoorspelbare real-world omgevingen kunnen opereren.