Pose6DAug: Physically Plausible Multi-view Object Swapping for Robot Data Augmentation

Sintesi Tecnica: Pose6DAug

Problematica
Le policy Vision-Language-Action (VLA) hanno dimostrato un potenziale significativo per la manipolazione robotica general-purpose, ma falliscono frequentemente quando incontrano oggetti nuovi, fuori distribuzione (OOD), con variazioni di aspetto o geometria. Il rimedio standard — la raccolta di nuovi dati di teleoperazione multi-view per ogni caso di fallimento — è proibitivamente costoso e dispendioso in termini di tempo, creando un collo di bottiglia per la scalabilità dell'apprendimento robotico. Le attuali strategie di aumento dei dati affrontano compromessi critici: i metodi basati sulla simulazione (ad es. MimicGen) spesso non riescono a generare traiettorie valide per geometrie di oggetti complesse a causa della necessità di una ricerca esaustiva o del campionamento per rifiuto, mentre i modelli generativi video 2D (ad es. VACE) mancano di una consapevolezza 3D esplicita. Di conseguenza, gli approcci di editing 2D faticano a mantenere la coerenza multi-view e la plausibilità fisica, in particolare sotto forte occlusione e viste egocentriche, portando a segnali visivi contrastanti durante l'addestramento.

Metodologia
Gli autori introducono Pose6DAug, un framework di aumento dei dati guidato dal fallimento e consapevole del 3D, che sintetizza dimostrazioni controfattuali mirate da episodi di successo esistenti senza nuova raccolta di dati. L'intuizione centrale è che gli episodi di successo codificano già traiettorie d'azione fisicamente valide e osservazioni multi-view calibrate; sostituendo solo l'oggetto manipolato e preservando questa traiettoria, è possibile generare nuove dimostrazioni fondate.

La pipeline opera in tre fasi:

1. Ricostruzione del Mesh Target e Estrazione della Posa 6D: Il metodo ricostruisce un mesh 3D dell'oggetto target utilizzando un modello di percezione esterno (ad es. SAM3D) da una singola osservazione, invece di fare affidamento su asset del simulatore ground-truth. Estrae una traiettoria di posa 6D temporalmente coerente ($T^w_o(t)$) dall'episodio sorgente, sia da stati del simulatore che da stimatori di posa esterni. Questa traiettoria viene trasformata nel sistema di coordinate di ogni telecamera utilizzando le estrinseche note, garantendo l'ancoraggio spaziale.
2. Augmentation dell'Oggetto: Per aumentare la diversità dei dati, il metodo applica perturbazioni geometriche al mesh target mantenendo la plausibilità fisica. Queste includono rotazioni/flip casuali, traslazioni lungo l'asse di approccio della pinza e scaling verticale per garantire che l'oggetto rimanga entro un intervallo di presa rispetto alla pinza.
3. Composizione Video Guidata da Mesh 3D-Pose: Invece di un editing generativo indipendente dai frame, il metodo compone il video aumentato tramite rendering guidato dalla geometria. L'oggetto originale viene rimosso tramite maschere di segmentazione e lo sfondo viene ripristinato tramite inpainting video. Il mesh target viene quindi renderizzato nei frame inpainting basandosi sulla traiettoria di posa 6D estratta. Un rigoroso ordinamento di profondità (sfondo $\to$ oggetto target $\to$ robot/pinza) garantisce la corretta occlusione e la coerenza multi-view.

Contributi Chiave

• Scambio di Oggetti Consapevole del 3D: A differenza dei modelli generativi 2D, Pose6DAug opera direttamente nello spazio 3D, ancorando l'oggetto target con un mesh esplicito guidato da una traiettoria di posa 6D cinematicamente coerente. Ciò garantisce la coerenza geometrica attraverso tutte le viste delle telecamere e i timestep.
• Augmentation Guidata dal Fallimento: Il framework mira specificamente ai modi di fallimento, riutilizzando episodi di successo con oggetti in-distribution per generare dimostrazioni per oggetti nuovi e difficili.
• Plausibilità Fisica: Preservando la traiettoria d'azione originale e imponendo un accoppiamento rigido tra il robot e l'oggetto, il metodo garantisce che le interazioni sintetizzate (ad es. punti di presa) rimangano fisicamente ammissibili.
• Scalabilità: L'approccio elimina la necessità di nuovi dati di teleoperazione o complesse ricerche di traiettoria basate sulla simulazione, offrendo un percorso scalabile verso la generalizzazione.

Risultati Sperimentali
Il metodo è stato valutato sul benchmark RoboCasa, specificamente sul compito "Counter-to-Cabinet" di pick-and-place che coinvolge diversi oggetti domestici.

• Prestazioni Complessive: Negli episodi di fallimento (dove la policy base inizialmente falliva), Pose6DA-ug ha raggiunto un tasso di successo medio del 22,8%, superando la baseline 2D VACE (16,4%) e la baseline basata su simulazione MimicGen (15,8%).
• Recupero di Campioni Difficili: Valutato esclusivamente sugli 8 casi di oggetti OOD più impegnativi, Pose6DAug ha ottenuto un tasso di successo del 21,2%, superando significativamente VACE (15,0%) e MimicGen (5,7%).
• Rapporto di Conversione: Pose6DAug ha convertito il 24,5% degli istanze precedentemente intrattabili in rollout di successo, rispetto al 18,2% di VACE e al 17,2% di MimicGen.
• Analisi Qualitativa: I confronti visivi hanno dimostrato che Pose6DAug mantiene l'identità dell'oggetto, la geometria e i punti di contatto coerenti tra le viste sinistra, destra e polso (egocentrica), mentre le baseline presentavano deriva dell'identità, inconsistenze di scala e traiettorie fisicamente implausibili.

Significato e Rivendicazioni
Il paper sostiene che l'augmentation multi-view e fisicamente coerente sia una via pratica ed efficace verso la generalizzazione VLA scalabile. Colmando il divario tra validità cinematica e fotorealismo visivo attraverso un esplicito ancoraggio 3D, Pose6DAug consente alle policy di generalizzare a nuovi oggetti senza il costo proibitivo di nuova raccolta dati. I risultati evidenziano che mantenere la coerenza 3D e l'ammissibilità fisica è critico per l'apprendimento robusto delle policy, poiché le augmentation 2D inconsistenti possono introdurre supervisioni rumorose che degradano le prestazioni. Gli autori postulano che l'ancoraggio dell'augmentation visiva alla geometria 3D sia una direzione promettente per scalare l'apprendimento robotico in ambienti reali diversificati.