Riepilogo Tecnico: EgoAERO

Problema

I video RGB-D egocentrici offrono una fonte naturale e scalabile per l'addestramento di policy di manipolazione destre, catturando i movimenti delle mani umane, le interazioni con gli oggetti e i comportamenti ricchi di contatto negli ambienti quotidiani. Tuttavia, gli attuali dataset egocentrici (ad es., EPIC-KITCHENS, Ego4D) mancano tipicamente di informazioni critiche richieste per l'apprendimento robotico, come la posa a 6 gradi di libertà (6-DoF), la geometria e gli stati di contatto degli oggetti manipolati. Al contrario, i dataset con annotazioni mano-oggetto in 3D (ad es., HOI4D, H2O) spesso si affidano ad asset di oggetti pre-scansionati, modelli CAD o acquisizioni multi-view, limitando la loro scalabilità verso oggetti quotidiani arbitrari e contesti di raccolta naturali. Di conseguenza, esiste un vuoto nei framework capaci di convertire una singola dimostrazione egocentrica naturale in policy robotiche eseguibili senza fare affidamento su asset di oggetti preesistenti.

Metodologia: Framework EgoAERO

EgoAERO è un framework progettato per ricostruire traiettorie mano-oggetto coerenti con il contatto da un singolo video RGB-D egocentrico senza asset di oggetti, trasferendo successivamente queste traiettorie a un robot destro tramite un apprendimento di policy a due stadi. La pipeline consiste in due componenti principali:

1. Ricostruzione Mano-Oggetto Egocentrica Senza Asset

Questo modulo recupera traiettorie strutturate da video grezzi attraverso quattro passaggi sequenziali:

• Pre-elaborazione Semantica Guidata da MLLM: Un Modello Linguistico di Grande Taglia Multimodale (MLLM) esegue una leggera analisi semantica sui keyframe per identificare l'oggetto manipolato target, gli oggetti di supporto e gli obiettivi del compito. Genera prompt per la segmentazione SAM3 e seleziona un keyframe meno occluso come seme di inizializzazione. L'MLLM non stima direttamente pose o geometria, ma configura la pipeline.
• Tracciamento e Ricostruzione dell'Oggetto Senza Asset: Per gestire le occlusioni della mano e le superfici a bassa texture senza modelli CAD, il sistema impiega:
  • Inizializzazione Coarse della Posa: Proietta all'indietro le regioni visibili dell'oggetto in nuvole di punti locali e utilizza RANSAC su corrispondenze RGB-D per stimare una posa 6-DoF grossolana (coarse).
  • Ottimizzazione della Posa tramite Keyframe Memory-Pool: Mantiene un pool di keyframe storici con osservazioni affidabili. Costruisce un grafo di pose locale e ottimizza congiuntamente le pose dell'oggetto utilizzando vincoli da corrispondenza tra i frame, coerenza geometrica, consistenza della superficie, silhouette e prior di posa.
  • Ricostruzione Mesh Coarse-to-Fine Guidata da Campo Neurale: Un campo neurale di oggetti online genera una mesh grossolana temporalmente coerente. Questa viene raffinata da SAM3D utilizzando le osservazioni RGB-D originali per recuperare dettagli superficiali fini, che vengono poi allineati al frame canonico.
• Stima della Posa della Mano Egocentrica: Utilizza HaWoR per la stima iniziale della posa della mano basata su MANO. Una correzione leggera viene applicata alla traslazione globale della mano utilizzando le mappe di profondità RGB-D per mitigare il bias di profondità monoculare, garantendo che la mesh della mano si allinei stabilmente con la geometria della scena.
• Compensazione del Moto Egocentrico: Un backend SLAM RGB-D stima la traiettoria della telecamera. Tutti i frame sono trasformati in un frame di tavolo fisso per rimuovere il drift spurio causato dal movimento della testa. Le maschere della mano vengono utilizzate per de-pesare i pixel dinamici della mano durante lo SLAM per garantire la stabilità dello sfondo.
• Ottimizzazione del Contatto Adattiva: Questo modulo corregge le inconsistenze fisiche (ad es., fluttuazione delle punte delle dita, penetrazioni) senza alterare la traiettoria dell'oggetto o risolvere nuovamente i parametri MANO. Applica correzioni limitate alla traslazione globale della mano e ai vertici locali delle dita nelle finestre di manipolazione attiva, garantendo la coerenza del contatto pur preservando il movimento originale della dimostrazione.

2. Apprendimento della Policy Residua a Due Stadi

Le traiettorie ricostruite vengono convertite in policy robotiche utilizzando un approccio a due stadi:

• Stadio I (Tracciamento della Traiettoria della Mano): Una policy impara a tracciare il movimento della mano umana ricostruito (punti chiave di polso e dita) utilizzando il retargeting cinematico come warm start. Questo stabilisce un prior di controllo della mano stabile senza richiedere la manipolazione riuscita dell'oggetto.
• Stadio II (Policy Residua Oggetto-Contatto): Una policy residua impara piccole correzioni ($\Delta a^R_t$) all'azione base di tracciamento della mano. Incorpora gli stati dell'oggetto (posa, velocità, codifica geometrica) e il feedback di contatto. La funzione di reward combina l'imitazione della mano con il tracciamento della traiettoria dell'oggetto e i vincoli di contatto, consentendo al robot di guidare l'oggetto lungo la traiettoria di riferimento con un contatto stabile.

Contributi Chiave

1. Framework EgoAERO: Il primo sistema per apprendere la manipolazione destra da un singolo video RGB-D egocentrico senza richiedere asset di oggetti (modelli CAD o mesh pre-scansionate).
2. Pipeline di Ricostruzione Senza Asset: Una pipeline robusta che presenta inizializzazione guidata da MLLM, tracciamento dell'oggetto senza asset sotto occlusione, ricostruzione mesh guidata da campi neurali, compensazione del moto egocentrico e ottimizzazione del contatto adattiva.
3. Dataset EgoDex-R: Un dataset egocentrico su larga scala contenente 4,3 milioni di frame RGB-D, 5.600 sequenze di manipolazione e oltre 1.000 istanze di oggetti. Include traiettorie mano-oggetto coerenti con il contatto con annotazioni per posa dell'oggetto, geometria, profondità, SLAM e qualità del contatto.
4. Valutazione della Qualità Online: Un meccanismo per valutare l'usabilità fisica delle traiettorie ricostruite in tempo reale, decidendo se accettare, riparare o ricatturare le dimostrazioni.

Risultati Sperimentali

Gli autori hanno valutato EgoAERO attraverso esperimenti in simulazione e nel mondo reale:

• Simulazione (EgoDex-R): EgoAERO ha raggiunto un tasso di successo del 49,5%, superando significativamente i baseline che utilizzano solo la posa della mano (9,8%) e una versione senza ottimizzazione del contatto adattivo (36,2%). Ciò dimostra la necessità delle informazioni sullo stato dell'oggetto e sul contatto per la manipolazione destra.
• Simulazione (Confronto con HOI4D): Confrontato con le traiettorie ricostruite utilizzando asset CAD di oggetti, le ricostruzioni senza asset di EgoAERO hanno ottenuto prestazioni comparabili (tasso di successo del 44,7% rispetto al 43,3% dei dati grezzi basati su CAD). In alcune metriche, EgoAERO ha performato meglio, probabilmente a causa dell'ottimizzazione del contatto adattivo che migliora la coerenza fisica.
• Esecuzione nel Mondo Reale: Il framework è stato implementato con successo su un robot umanoide Unitree G1 con una mano Inspire. Il sistema ha trasformato una singola dimostrazione umana in una traiettoria coerente con il contatto che il robot fisico poteva eseguire, validando la trasferibilità delle policy apprese.

Significato e Rivendicazioni

Il paper sostiene che EgoAERO colmi il divario tra le dimostrazioni umane naturali e le policy robotiche eseguibili eliminando la dipendenza dagli asset di oggetti. Ricostruendo traiettorie mano-oggetto coerenti con il contatto da un singolo video, il framework abilita l'apprendimento robotico destro scalabile in ambienti quotidiani. I risultati suggeriscono che le ricostruzioni senza asset possono raggiungere prestazioni di policy downstream vicine a quelle derivate da ricostruzioni ad alta fedeltà basate su CAD, rendendo i dati egocentrici naturali una fonte scalabile e valida per l'addestramento di abilità di manipolazione complesse.

Limitazioni

Gli autori riconoscono che l'attuale pipeline si rivolge principalmente alla manipolazione con una sola mano. Le prestazioni potrebbero degradare in condizioni di occlusione severa, oggetti riflettenti, movimento veloce o stime imprecise della mano/segmentazione. Inoltre, l'apprendimento della policy è attualmente specifico per il compito e richiede l'addestramento in simulazione, lasciando la generalizzazione tra i compiti e la riduzione dei costi di addestramento come aree per il lavoro futuro.