IGen: Scalable Data Generation for Robot Learning from Open-World Images

1. Il Problema

L'addestramento di politiche robotiche generaliste (capaci di operare in ambienti non strutturati) richiede enormi quantità di dati visivo-azionali accoppiati (immagini e azioni del robot). Tuttavia, la raccolta di questi dati tramite robot reali è:

• Laboriosa e costosa: Richiede teleoperazione umana o dimostrazioni fisiche.
• Limitata: Spesso confinata a scenari specifici e ambienti controllati.
• Scalabilità ridotta: Difficile da espandere per coprire la vasta diversità del mondo reale.

Al contrario, le immagini del "mondo aperto" (open-world images) presenti su internet offrono una diversità visiva illimitata e a basso costo. Il problema principale è che queste immagini mancano di informazioni sulle azioni del robot (non sono dati "grounded"). I metodi esistenti per generare dati robotici da immagini (come Real-to-Sim) richiedono ricostruzioni fisiche esplicite e costose, mentre i modelli generativi video recenti faticano a produrre azioni robotiche fisicamente coerenti e di lunga durata.

2. Metodologia: Il Framework IGen

IGen è un framework che trasforma automaticamente immagini 2D non strutturate in dati visivo-azionali realistici e scalabili per l'apprendimento robotico. Il processo avviene in tre fasi principali:

A. Ricostruzione della Scena (Da Pixel a Rappresentazioni 3D Strutturate)

Invece di lavorare direttamente sui pixel 2D, IGen ricostruisce l'ambiente in 3D:

1. Stima della Geometria: Utilizza un modello di fondazione geometrica monoculare (Metric3Dv2) per stimare la profondità e convertire i pixel in una nuvola di punti densa.
2. Segmentazione e Rimozione: Usa il Segment Anything Model (SAM) per identificare gli oggetti manipolabili e un modello di inpainting per rimuoverli dall'immagine originale, ricostruendo lo sfondo ($I_{bg}$).
3. Ricostruzione 3D degli Oggetti: Impiega un modello di generazione 3D (TRELLIS) per ricostruire la forma completa e l'aspetto degli oggetti manipolabili, posizionandoli poi nella scena originale tramite stima della posa 6D.
4. Estrazione di Keypoint Spaziali: Utilizza DINOv2 per estrarre feature e applicare il clustering K-means su coordinate 3D, generando un set di spatial keypoints ($K$) che fungono da ancoraggi spaziali per la pianificazione.

B. Pianificazione dell'Azione (Spatial Planning)

Utilizza un Modello Linguaggio-Visivo (VLM) per trasformare istruzioni testuali in azioni eseguibili:

1. Pianificazione di Alto Livello: Il VLM riceve l'immagine annotata con i keypoints, le loro coordinate 3D e l'istruzione del compito. Scompone il compito in sottostadi ($S$).
2. Generazione di Comandi di Basso Livello: Il VLM genera funzioni di controllo Python basate sulla posa SE(3) dell'end-effector. Queste funzioni calcolano traiettorie di riferimento basate sui keypoints spaziali (es. "afferra l'oggetto al punto $K_1$", "solleva di 0.2m").
3. Pianificazione del Movimento: Un pianificatore di movimento (Curobo in Isaac Sim) genera traiettorie fattibili che vengono eseguite in un ambiente di simulazione, producendo una sequenza di azioni $A$.

C. Sintesi dell'Esperienza (Experience Synthesis)

Per generare osservazioni visive sincronizzate con le azioni:

1. Rendering Dinamico: Invece di generare video da zero (che può essere instabile), IGen utilizza la sequenza di pose dell'end-effector per trasformare rigidamente la nuvola di punti dell'oggetto manipolato.
2. Composizione: La scena è composta dalla nuvola di punti statica dello sfondo, dalla nuvola dinamica dell'oggetto e dalla nuvola del robot.
3. Rendering: Una camera virtuale renderizza questa sequenza di nuvole di punti frame per frame, producendo osservazioni visive (RGB e profondità) perfettamente coerenti con la fisica e le azioni del robot.

3. Contributi Chiave

1. Framework Scalabile: Propone un metodo per generare dataset visivo-azionali su larga scala partendo da singole immagini del mondo reale, eliminando la necessità di raccolta dati umana.
2. Rappresentazioni Azionabili: Trasforma immagini 2D non strutturate in rappresentazioni 3D (nuvole di punti e keypoints) che abilitano il ragionamento spaziale e la pianificazione del movimento.
3. Sintesi Senza Simulazione Fisica Esplicita: Introduce un approccio di sintesi basato su nuvole di punti che evita la complessa modellazione fisica dei simulatori tradizionali, garantendo comunque coerenza fisica.
4. Validazione Empirica: Dimostra che le politiche addestrate esclusivamente su dati generati da IGen possono superare le prestazioni di quelle addestrate su dati reali raccolti manualmente in termini di successo nei compiti.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su tre dimensioni: fedeltà visiva, qualità dell'azione e trasferibilità della politica.

• Fedeltà Visiva (Scene Reconstruction): Confrontando IGen con metodi Real-to-Sim (come Simpler), IGen mostra una coerenza visiva superiore con le immagini originali. Le metriche (PSNR, SSIM, LPIPS) indicano che IGen riduce il divario tra scena generata e reale fino a 5.13 volte rispetto ai baseline.
• Qualità del Comportamento: Su benchmark come DreamGen Bench, IGen supera modelli generativi video avanzati (Cosmos, TesserAct) sia nell'aderenza alle istruzioni (Instruction Following) che nella coerenza fisica (Physics Alignment). Genera movimenti privi di distorsioni geometriche e discontinuità temporali.
• Efficienza Computazionale: IGen è significativamente più efficiente: richiede circa 18.6 secondi e 8.3 GB di GPU per campione, risultando 30x più veloce di TesserAct e 200x più efficiente di Cosmos.
• Apprendimento Robotico Reale:
  • Sono stati addestrati policy (basate su $\pi_0$) su dati generati da IGen (100 e 1000 campioni) senza alcun dato reale.
  • Risultato: Le policy addestrate su 1000 campioni IGen hanno raggiunto tassi di successo del 66.7% su compiti reali (es. "annaffiare i fiori", "posizionare un giocattolo"), superando le policy addestrate su 100 campioni reali (58.3%) e quelle addestrate su 100 campioni IGen (44.5%).
  • Questo dimostra che i dati sintetici possono essere più informativi e diversificati di piccoli dataset reali raccolti manualmente.

5. Significato e Impatto

IGen rappresenta un passo fondamentale verso l'abbattimento del collo di bottiglia nella raccolta dati per la robotica.

• Democratizzazione dell'Addestramento: Permette di sfruttare l'immensa ricchezza delle immagini internet per addestrare robot, rendendo possibile la creazione di dataset di milioni di esempi a costi marginali.
• Generalizzazione: Le politiche addestrate su dati generati da scenari diversi mostrano una forte capacità di generalizzazione in ambienti reali non visti durante l'addestramento.
• Futuro della Robotica: Questo approccio suggerisce che il futuro dello sviluppo di robot generalisti potrebbe non dipendere dalla raccolta massiva di dati reali, ma dalla capacità di sintetizzare esperienze realistiche e fisicamente fondate a partire da dati visivi passivi.

In sintesi, IGen colma il divario tra la ricchezza visiva del mondo reale e la necessità di dati azionati strutturati, offrendo una soluzione scalabile ed efficiente per l'apprendimento delle politiche robotiche.