CORE: Common Outcome Regularities from Action-Free Visual Demonstrations for Robot Manipulation

Sintesi Tecnica: CORE – Common Outcome Regularities from Action-Free Visual Demonstrations

Problematica

L'apprendimento per imitazione robotica affronta attualmente un collo di bottiglia nella scalabilità: le policy ad alte prestazioni richiedono tipicamente grandi quantità di costose dimostrazioni specifiche per il robot (ad esempio, teleoperazione o insegnamento cinestetico). Sebbene i video visivi privi di azioni, come i video umani presenti su Internet, siano abbondanti e ricchi di prior del compito, essi sono difficili da utilizzare direttamente. Questi video mancano di etichette di azione eseguibili dal robot e soffrono di significativi "gap di embodiment" in termini di morfologia, spazi di azione e interfacce di controllo.

Inoltre, i metodi esistenti che tentano di condizionare le policy su obiettivi del compito si affidano spesso a istruzioni in linguaggio naturale. Sebbene il linguaggio trasmetta l'intento di alto livello (ad esempio, "impila le ciotole"), esso spesso fallisce nel specificare i vincoli geometrici, spaziali e di contatto precisi richiesti per un'esecuzione efficace in compiti di manipolazione ricchi di contatto. Questa sotto-specificazione può portare a policy sub-ottimali che non riescono a raggiungere gli stati terminali necessari.

Metodologia: Il Framework CORE

Gli autori propongono CORE (Common Outcome Regularities), un framework di apprendimento della policy che estrae regolarità strutturali condivise dagli stati terminali di successo nelle dimostrazioni visive prive di azione, piuttosto che tentare di trasferire azioni esplicite o fare affidamento esclusivamente sul linguaggio. CORE opera in tre fasi distinte:

1. Fase I: Apprendimento della Rappresentazione dell'Esito Terminale
   Il framework addestra un encoder dell'esito terminale ($f_\phi^z$) utilizzando dimostrazioni visive prive di azione. L'encoder è ottimizzato con un obiettivo contrastivo terminale per avvicinare le osservazioni terminali da dimostrazioni di successo dello stesso compito e allontanare esiti non terminali o non correlati. Questo è aumentato da due compiti ausiliari:

   • Regressione del Tempo al Goal ($L_{ttg}$): Incoraggia la rappresentazione a essere consapevole del progresso temporale verso l'obiettivo.
   • Classificazione Terminale ($L_{term}$): Migliora la discriminazione tra stati terminali e non terminali.
     L'obiettivo è apprendere rappresentazioni che si concentrino sulle strutture terminali condivise (configurazioni degli oggetti, relazioni spaziali) piuttosto che sui dettagli del movimento specifici della traiettoria.

2. Fase II: Costruzione del Prototipo del Goal
   Gli embedding terminali di successo vengono aggregati per formare un prototipo visivo del goal ($z_{goal}$). Per garantire la robustezza, il metodo raggruppa gli embedding terminali di successo utilizzando il K-Means e seleziona i modi dominanti (Top-K) per calcolare una condizione di goal statica a livello di compito. Questa aggregazione sopprime le osservazioni terminali rumorose o rare, producendo una rappresentazione stabile dello stato fisico finale desiderato.

3. Fase III: Iniezione del Goal Agnostica rispetto alla Backbone
   Durante l'addestramento e l'inferenza della policy, l'osservazione corrente viene codificata in un embedding dell'esito ($z_t$). Questo viene concatenato con il prototipo del goal pre-calcolato ($z_{goal}$) per formare un feature del goal globale ($g_t = [z_t; z_{goal}]$). Tale feature viene iniettata nella backbone della policy del robot (ad esempio, Diffusion Policy, MP1) tramite un operatore di condizionamento. La policy viene quindi guidata a generare chunk di azione che minimizzino la distanza tra lo stato corrente e lo stato terminale desiderato. Questo modulo è progettato per essere compatibile con varie backbone di policy, inclusi modelli basati su diffusione e su flusso.

Contributi Chiave

• Formulazione dell'Apprendimento a Livello di Esito: Il paper riformula l'apprendimento da dimostrazioni visive come l'estrazione di Common Outcome Regularities. Invece di lottare per mappare azioni esplicite attraverso diverse embodiment, CORE estrae strutture condivise direttamente dagli stati terminali di successo.
• Framework in Tre Fasi: Gli autori propongono una nuova pipeline che converte i dati visivi privi di azione in robusti goal visivi attraverso l'apprendimento della rappresentazione terminale e la costruzione di prototipi. Il design è agnostico rispetto alla backbone, permettendo un'integrazione fluida in diverse policy a valle.
• Superiorità rispetto al Condizionamento Linguistico: Il lavoro dimostra che i prototipi del goal visivo forniscono vincoli geometrici e fisici più concreti rispetto alle istruzioni testuali, particolarmente per compiti che richiedono un preciso allineamento dello stato terminale.

Risultati Sperimentali

Gli autori hanno valutato CORE su due benchmark di simulazione (Meta-World e RoboTwin 2.0) e su una configurazione di braccio robotico nel mondo reale (ARX R5).

• Meta-World: CORE ha migliorato il tasso di successo medio della backbone MP1 del +3.9% (da 81.7% a 85.6%) e della DP3 del +2.5% (da 81.5% a 84.0%). I miglioramenti sono stati più pronunciati nei compiti "Hard" e "Very Hard". Le varianti condizionate dal testo hanno mostrato guadagni trascurabili in confronto.
• RoboTwin 2.0: CORE ha prodotto miglioramenti significativi, potenziando la MP1 del +11.1% (a 79.4%) e la DP3 del +4.8% (a 82.3%). In ogni compito valutato, almeno una policy integrata con CORE ha raggiunto il miglior risultato.
• Mondo Reale: Su un robot fisico impegnato in compiti ricchi di contatto (ad esempio, manipolazione di cassetti, impilamento), CORE ha migliorato il tasso di successo della backbone MP1 del +17.0% (da 69.0% a 85.0%) e della DP3 del +17.0% (da 65.0% a 82.0%). Le baseline condizionate dal testo hanno fornito miglioramenti trascurabili nell'ambiente reale.
• Studi di Ablazione: Rimuovere le perdite ausiliarie ($L_{ttg}, L_{term}$) o l'embedding dell'esito corrente ($z_t$) ha degradato significativamente le prestazioni, confermando la necessità del design completo in tre fasi. Lo studio ha anche mostrato che l'apprendimento di un encoder terminale specializzato supera l'uso di encoder visivi general-purpose congelati (ad esempio, Uni3D).

Significato e Rivendicazioni

Il paper sostiene che la sfida centrale nell'utilizzare i video umani non sia semplicemente la disponibilità dei dati, ma l'estrazione di una supervisione che sia utilizzabile dalle policy del robot nonostante i gap di embodiment. CORE affronta questo problema spostando la rappresentazione del goal dall' "intento linguistico sotto-specificato" al "condizionamento del goal a livello di esito indotto da osservazioni di successo".

Gli autori affermano che, concentrandosi sulle Common Outcome Regularities, il framework permette ai robot di sfruttare l'abbondante dati umani privi di azione senza dover recuperare azioni esplicite o colmare direttamente i gap morfologici. I risultati suggeriscono che i prototipi del goal visivo offrono un segnale più diretto e fisicamente fondato per il completamento del compito rispetto al linguaggio, consentendo policy di manipolazione più robuste anche con dati di dimostrazione specifici per il robot limitati.