Sintesi Tecnica: Imitazione da Dimostrazioni Eterogenee tramite Modelli di Mondo con Azioni Latenti Fondate

Definizione del Problema

L'apprendimento per imitazione ha ottenuto un successo significativo nella manipolazione visuomotoria, ma la sua scalabilità è limitata dall'alto costo e dalla scarsità di dimostrazioni di alta qualità etichettate con l'azione sul robot target. Sebbene esistano abbondanti fonti di dati eterogenei (ad es. simulazioni, dispositivi portatili manuali, video umani), esse presentano tre sfide critiche:

1. Disallineamento dello Spazio delle Azioni: Diverse fonti spesso possiedono spazi di azione incompatibili o mancano completamente di etichette d'azione.
2. Variazione Visiva e di Embodiment: Le fonti di dati mostrano differenze sostanziali nei punti di vista della telecamera, nelle morfologie dei robot e nei contesti di scena che non riflettono la fisica sottostante del compito.
3. Limitazioni delle Soluzioni Esistenti: Gli approoli attuali per l'addestramento congiunto su dati eterogenei si affidano a tecniche di allineamento euristiche e progettate manualmente (ad es. perdite di trasporto ottimale, rapporti di miscelazione regolati empiricamente o tokenizer specifici) piuttosto che a un apprendimento di rappresentazioni basato su principi.

Il paper sostiene che sia necessario un approccio più rigoroso: le azioni dovrebbero essere rappresentate in base al loro effetto fisico sull'ambiente piuttosto che alla loro fonte. Due azioni che guidano un oggetto lungo la stessa traiettoria dovrebbero condividere una rappresentazione, indipendentemente dal fatto che originino da un robot reale, da una simulazione o da un dispositivo manuale.

Metodologia: Modelli di Mondo con Azioni Latenti Fondate (GLAM)

Gli autori propongono GLAM, un framework che unifica i dati eterogenei in uno spazio di azione latente condiviso e invariante rispetto alla fonte attraverso una coppia di modelli generativi accoppiati. La pipeline opera in due fasi:

Fase 1: Pre-addestramento GLAM (Modello di Mondo)

L'innovazione principale è l'apprendimento di uno spazio di azione latente condiviso ($z_t$) fondato sulla dinamica dell'ambiente. Ciò viene ottenuto attraverso due modelli generativi addestrati congiuntamente:

1. Modello Eterogeneo ($p(X, O, Z)$): Addestrato sulla miscela di dati target ($D_{tar}$) e dati ausiliari ($D_{aux}$). Poiché $D_{aux}$ manca di etichette d'azione, questo modello tratta le azioni come variabili latenti inferite esclusivamente dalle transizioni di stato.

   • Utilizza un Modello di Dinamica Inversa (IDM), $q_\phi(z_t | x_t, x_{t+1})$, per inferire le azioni latenti direttamente dalle transizioni osservate (dove $x_t$ è uno stato latente codificato dalle osservazioni).
   • Utilizza un modello di dinamica in avanti condiviso, $p_\theta(x_{t+1} | x_t, z_t)$, per predire le osservazioni future.
   • Principio: Condividendo l'IDM e la dinamica in avanti tra tutte le fonti di dati, il modello impone che le azioni latenti siano definite da come influenzano l'ambiente, garantendo l'invarianza rispetto alla fonte.

2. Modello Target ($p(S, A, Z)$): Addestrato solo sui dati target etichettati ($D_{tar}$).

   • Include un Encoder di Azione, $q_\eta(z_t | s_t, a_t)$, che inferisce le azioni latenti dalle azioni eseguibili del robot e dagli stati propriocettivi.
   • Include un termine di ricostruzione dell'azione, $\log p_\theta(a_t | z_t)$, assicurando che lo spazio latente rimanga ancorato alla specifica semantica di controllo del robot target.

Meccanismo di Allineamento:
Per legare questi due modelli, gli autori introducono un vincolo di divergenza KL asimmetrica ($C_{KL}$). Questo vincolo allinea la posteriore dell'IDM (dal modello eterogeneo) con la posteriore dell'Encoder di Azione (dal modello target) specificamente sul dataset target.

• L'asimmetria (utilizzando uno stop-gradient sull'encoder target) assicura che l'IDM assorba la semantica di controllo "privilegiata" dai dati target senza essere distorto dai segnali ambigui dei dati ausiliari.
• L'obiettivo combinato minimizza i limiti inferiori di evidenza (ELBO) negativi di entrambi i modelli più il vincolo di allineamento, creando uno spazio latente unificato dove ogni transizione può essere rietichettata con un'azione latente condivisa e consapevole del controllo.

Nota: Gli autori investigano anche una variante che utilizza maschere di segmentazione degli oggetti come osservazioni invece di frame RGB grezzi per affinare ulteriormente l'attenzione sulla dinamica degli oggetti manipolati.

Fase 2: Apprendimento del Comportamento (BC) Allineato al Modello di Mondo

Una volta pre-addestrato e congelato il modello GLAM, esso funge da ancora per l'azione latente:

1. Rietichettatura: Ogni transizione in $D_{tar}$ e $D_{aux}$ viene rietichettata con l'azione latente $z_t$ utilizzando la media della posteriore dell'IDM.
2. Addestramento della Policy: Una policy di Behavioural Cloning a valle (specificamente MIP, una policy di regressione leggera) viene addestrata per mappare le osservazioni su questi chunk di azioni latenti.
3. Esecuzione: L'output della policy (azioni latenti) viene decodificato nuovamente in azioni eseguibili del robot utilizzando il decoder di azione del modello target.

Questo approccio permette ai dati ausiliari non etichettati di servire come supervisione diretta per la policy BC, sostituendo efficacemente le costose teleoperazioni del robot target.

Contributi Chiave

1. Apprendimento di Rappresentazioni Basato su Principi: Il paper sposta il paradigma dall'allineamento euristico all'apprendimento di rappresentazioni d'azione fondate sulla predizione fisica. Le azioni sono allineate se producono la stessa transizione ambientale, indipendentemente dalla fonte.
2. Architettura GLAM: L'introduzione di un framework generativo a doppio modello (Eterogeneo + Target) collegato da un allineamento KL asimmetrico e dinamica in avanti condivisa. Ciò crea uno spazio latente che è sia invariante rispetto alla fonte (appreso da dati misti) sia consapevole del controllo (fondato sulle azioni del robot target).
3. Efficienza dei Dati: Il metodo dimostra che i dati eterogenei e non etichettati possono sostituire efficacemente le dimostrazioni del robot target, riducendo significativamente i requisiti di dati per un dispiegamento affidabile.
4. Fondamento Centrato sull'Oggetto: L'esplorazione dell'uso di maschere di oggetti come input per migliorare ulteriormente la trasferibilità concentrandosi sulla fisica dell'oggetto manipolato.

Risultati Sperimentali

Gli autori hanno valutato GLAM su cinque compiti di manipolazione: tre nel mondo reale (sollevamento, pick-and-place, knock-down) e due in simulazione (impilamento di 2 cubi e 3 cubi).

• Guadagni di Performance: Le policy allineate con GLAM hanno superato significativamente le baseline di Behavioural Cloning (MIP) e i precedenti metodi di azione latente (CLAM, LAPA).
  • Hanno ottenuto un miglioramento medio del +48% nel tasso di successo del compito in scenari con scarsità di dati.
  • Nel complesso compito bimanuale "stack-three" (che tipicamente richiede centinaia di dimostrazioni), GLAM ha raggiunto un tasso di successo del 72,7%, mentre tutte le baseline sono fallite (≤4%).
• Trasferimento Cross-Source: Esperimenti qualitativi hanno confermato che le azioni latenti inferite da fonti non etichettate (ad es. simulazioni UMI handheld) potevano essere decodificate ed eseguite con successo sul robot target (Kinova) senza alcuna etichetta d'azione, validando l'allineamento dello spazio latente.
• Efficienza dei Dati: Negli esperimenti di scaling, GLAM-O (usando maschere di oggetti) ha eguagliato le prestazioni di una policy BC standard addestrata su 500 traiettorie target utilizzando solo 100 traiettorie target aumentate con 400 traiettorie ausiliarie. Ciò suggerisce che i dati ausiliari possono sostituire i dati target su una base quasi 1:1 in termini di guadagno di performance.
• Maschere di Oggetti: L'uso di maschere di oggetti come osservazioni ha migliorato costantemente le prestazioni, in particolare in compiti complessi come "knock-down" (+25%) e "stack-three" (+16%), supportando l'ipotesi che il fondamento centrato sull'oggetto migliori il trasferimento.

Significato e Rivendicazioni

Il paper sostiene che GLAM fornisca un paradigma per l'apprendimento da dati eterogenei che supera il collo di bottiglia dei dati nell'apprendimento per imitazione. Trattando le azioni come variabili latenti fondate sulle transizioni ambientali, il metodo elimina la necessità di ricette di allineamento create a mano.

Gli autori sottolineano che GLAM:

• Unifica i dati etichettati e non etichettati in un unico spazio latente invariante rispetto alla fonte.
• Abilita l'uso diretto di dati ausiliari economici e abbondanti (come simulazioni o dati da dispositivi portatili) come supervisione per i robot target.
• Raggiunge prestazioni allo stato dell'arte in contesti di scarsità di dati senza richiedere pre-addestramento su larga scala o massicce interazioni online.

Il lavoro è presentato come un passo verso la scalabilità di policy capaci verso la "coda lunga" dei compiti reali, sfruttando fonti di dati diverse e imperfette attraverso un framework di apprendimento di rappresentazioni fondato sulla fisica e sui principi.