Grounding Bodily Awareness in Visual Representations for Efficient Policy Learning

Il paper presenta ICon, un metodo di apprendimento contrastivo che separa i token specifici dell'agente da quelli ambientali nelle rappresentazioni visive dei trasformatori, migliorando così l'efficienza e il trasferimento delle politiche di apprendimento per la manipolazione robotica.

L'essenziale

Immagina di insegnare a un robot a cucinare. Se gli dai solo una foto della cucina, il robot potrebbe confondersi: "Quella è la mia mano o è il cucchiaio? Quella è la mia spalla o è il muro?".

Il problema è che i robot, quando imparano a muoversi guardando le telecamere, spesso dimenticano di "sentire" il proprio corpo. Si concentrano troppo sull'ambiente (il tavolo, gli oggetti) e non abbastanza su se stessi (le braccia, le pinze). Questo rende l'apprendimento lento e difficile, specialmente se cambiamo il robot con un altro modello.

Gli autori di questo paper, Junlin Wang e Zhiyun Lin, hanno trovato un modo geniale per risolvere questo problema. Lo chiamano ICon (Inter-token Contrast). Ecco come funziona, spiegato con parole semplici e qualche metafora.

1. Il Problema: Il Robot che non si vede allo specchio

Immagina di avere un robot che guarda il mondo attraverso una lente speciale chiamata Vision Transformer (ViT). Questa lente divide l'immagine in tanti piccoli pezzi, come un mosaico. Ogni pezzo è un "token" (un piccolo tassello di informazione).

Il problema è che, quando il robot impara a fare un compito (come aprire un cassetto), tutti i tasselli dell'immagine si mescolano. Il tassello che rappresenta la mano del robot e quello che rappresenta il cassetto finiscono per essere trattati allo stesso modo. È come se il robot non sapesse distinguere tra "me" e "il mondo".

2. La Soluzione: ICon (Il "Separatore di Mondi")

ICon è un metodo che insegna al robot a fare una distinzione fondamentale: "Questo tassello sono io, questo tassello è l'ambiente".

Ecco come lo fanno, passo dopo passo:

• La Maschera (Il Trucco del Magico): Prima di tutto, usano un software per creare una "maschera" digitale. Immagina di colorare di rosso tutto ciò che appartiene al robot e di blu tutto il resto della stanza.
• Il Gioco delle Carte (Contrasto): Ora, prendono i tasselli dell'immagine (i token).
  • Prendono un tassello che rappresenta la mano del robot (un "query").
  • Chiedono al cervello del robot: "Quali altri tasselli sono simili a questo? (Altri pezzi della mano)". Questi sono i positivi.
  • Poi chiedono: "Quali tasselli sono diversi? (I pezzi del tavolo, del muro)". Questi sono i negativi.
  • Il sistema "spinge" via i tasselli dell'ambiente e "attira" verso di sé i tasselli del corpo. È come se il robot dicesse: "Ok, ora so esattamente dove sono le mie braccia rispetto al resto della stanza".

3. I Due Segreti per Farlo Funzare Meglio

Gli autori hanno aggiunto due trucchi intelligenti per rendere questo processo ancora più efficace:

A. Il Campionamento "Punto Più Lontano" (Farthest Point Sampling)

Immagina di dover scegliere 5 punti su un disegno di un robot per capire la sua forma.

• Metodo casuale: Potresti scegliere 5 punti tutti raggruppati sulla punta di un dito. Non capiresti la forma del braccio.
• Metodo ICon (Punto più lontano): Il sistema sceglie i punti in modo che siano il più distanti possibile l'uno dall'altro. Se scegli un punto sulla spalla, il prossimo sarà sulla punta del dito, poi sul gomito, ecc.
• L'analogia: È come se volessi descrivere la forma di un'arancia. Non guardi solo un pezzetto di buccia; ne guardi pezzi sparsi su tutta la superficie per capire che è rotonda. Questo assicura che il robot capisca bene la struttura del suo corpo, non solo un pezzetto.

B. Il Livello Multi-livello (Multi-Level Contrast)

Il cervello del robot (il Vision Transformer) ha molti strati, come le pagine di un libro.

• Gli strati bassi vedono solo linee e colori (forme semplici).
• Gli strati alti vedono concetti complessi (una mano, un oggetto).
• ICon non si ferma all'ultimo strato. Controlla anche gli strati intermedi. È come se il robot imparasse a distinguere "me" da "non me" sia mentre guarda i contorni, sia mentre capisce il significato dell'immagine. Questo rende l'apprendimento molto più solido.

4. I Risultati: Perché è fantastico?

Hanno testato questo metodo su 8 compiti diversi (aprire forni, spostare spazzatura, impilare cubi) con 3 robot diversi. Ecco cosa è successo:

1. Impara più velocemente: I robot con ICon hanno imparato a fare i compiti meglio e più velocemente rispetto a quelli senza.
2. È più stabile: Quando si addestra un robot, a volte può diventare "nervoso" e fare cose strane. ICon mantiene l'apprendimento calmo e stabile.
3. Si trasferisce facilmente: Questo è il punto forte. Se addestri un robot "Franka" e poi vuoi che impari a fare lo stesso compito con un robot "Kinova" (che ha un braccio diverso), il robot con ICon si adatta molto meglio.
   • Metafora: È come se avessi imparato a guidare un'auto sportiva. Se cambi auto con un SUV, un robot normale va in crisi. Un robot con ICon, invece, sa già che "il volante è qui e le ruote sono lì", quindi si adatta subito al nuovo veicolo.

In Sintesi

Questo paper ci dice che per insegnare a un robot a muoversi, non basta fargli guardare il mondo. Dobbiamo fargli sentire il proprio corpo attraverso gli occhi.

ICon è come un "specchio digitale" che aiuta il robot a separare chiaramente se stesso dal mondo circostante. Grazie a questo, il robot impara meglio, si adatta a nuovi corpi robotici più facilmente e non va in tilt quando le cose si complicano. È un passo avanti importante per rendere i robot più intelligenti e autonomi nella nostra vita quotidiana.

Sommario tecnico

1. Il Problema

L'apprendimento di rappresentazioni visive efficaci per la manipolazione robotica rimane una sfida fondamentale a causa della complessa dinamica corporea coinvolta nell'esecuzione delle azioni. Sebbene l'awareness del proprio corpo (propriocezione visiva) sia cruciale per la pianificazione e l'esecuzione flessibile delle azioni, estrarre informazioni relative al corpo da immagini ad alta dimensionalità è difficile, specialmente nei framework di apprendimento end-to-end.

In questi sistemi, dove gli encoder visivi e le reti di policy sono ottimizzati congiuntamente con lo stesso obiettivo, i modelli tendono a convergere verso colli di bottiglia che filtrano involontariamente segnali visivi legati al corpo dell'agente, considerandoli "rumore" o irrilevanti per il compito specifico. I metodi esistenti che tentano di risolvere questo problema attraverso la ricostruzione di maschere o osservazioni RGB (loss di ricostruzione) possono compromettere la stabilità dell'addestramento della policy.

2. Metodologia: Inter-token Contrast (ICon)

Gli autori propongono ICon (Inter-token Contrast), un metodo di apprendimento contrastivo applicato alle rappresentazioni a livello di token dei Vision Transformer (ViT). L'obiettivo è creare rappresentazioni visive centrate sull'agente che incorporino pregiudizi induttivi specifici del corpo.

I componenti chiave della metodologia sono:

• Separazione Spaziale dei Token:

  • L'immagine RGB viene divisa in patch e trasformata in una sequenza di token dal ViT.
  • Utilizzando una maschera di segmentazione binaria dell'agente (generata, ad esempio, con SAM), ogni token viene etichettato come appartenente all'agente o all'ambiente.
  • Vengono calcolate query specifiche per l'agente ($q_a$) e per l'ambiente ($q_e$) mediando le feature dei token corrispondenti.

• Loss Contrastiva Inter-token:

  • Viene applicata una loss di tipo InfoNCE. L'obiettivo è attrarre le feature dello stesso tipo (es. token dell'agente verso token dell'agente) e respingere quelle di tipo diverso (token dell'agente verso token dell'ambiente).
  • Questo forza una separazione nello spazio delle feature tra i token specifici dell'agente e quelli specifici dell'ambiente.

• Campionamento Farthest Point (FPS):

  • Per selezionare i "chiavi" (keys) da usare nella loss contrastiva, gli autori adattano l'algoritmo Farthest Point Sampling (FPS) dal dominio 3D a quello 2D.
  • A differenza del campionamento casuale, l'FPS seleziona token distribuiti spazialmente in modo uniforme, garantendo che le feature campionate catturino aspetti diversi e rappresentativi sia dell'agente che dell'ambiente, mantenendo la struttura complessiva.

• Contrasto Multi-Livello (MLC):

  • Invece di applicare la loss solo all'ultimo layer del ViT, ICon estende il contrasto a tutti i layer dell'encoder.
  • Poiché i layer superficiali catturano informazioni posizionali e quelli profondi informazioni semantiche, la loss viene pesata (con un parametro $\gamma$) per bilanciare il disaccoppiamento attraverso i diversi livelli di astrazione.

• Integrazione con la Policy:

  • ICon viene integrato come obiettivo ausiliario durante l'addestramento di una policy basata su Diffusion Policy. La loss totale è una combinazione della loss di diffusione e della loss contrastiva ICon, ponderata da un coefficiente $\lambda$.

3. Contributi Chiave

1. ICon Framework: Introduzione di un approccio contrastivo a livello di token per decouplare esplicitamente le feature dell'agente da quelle dell'ambiente all'interno di un ViT.
2. FPS in 2D: Adattamento del Farthest Point Sampling per il campionamento di chiavi in domini 2D, migliorando la diversità e la rappresentatività delle feature selezionate.
3. Architettura Multi-Livello: Progettazione di un meccanismo che fonde le loss contrastive da più layer del transformer, ottenendo un disaccoppiamento più completo.
4. Stabilità e Transfer: Dimostrazione che questo approccio migliora la stabilità dell'addestramento rispetto ai metodi basati sulla ricostruzione e facilita il trasferimento della policy tra robot con morfologie diverse.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su 8 task di manipolazione distribuiti su 3 robot diversi (Franka Panda, Kinova Gen3, KUKA IIWA) e 2 benchmark (RLBench e Robosuite).

• Performance Migliorate: ICon ha migliorato costantemente le prestazioni rispetto alle baseline (Diffusion Policy standard e varianti CNN/Transformer) in tutti i task. Ad esempio, su RLBench, ICon-Diff-C ha mostrato miglioramenti assoluti del 21.3% nel task "Open Box" e del 11.3% in "Close Microwave".
• Transferabilità (Few-Shot): ICon ha facilitato il trasferimento delle policy tra robot diversi. Le policy pre-addestrate su un robot (es. Franka) e fine-tunate su un altro (es. Kinova o IIWA) con pochi dati hanno ottenuto success rate superiori rispetto alle baseline.
• Stabilità dell'Addestramento: A differenza dei metodi basati sulla ricostruzione (es. Crossway Diffusion), che mostrano un ampio divario tra le prestazioni massime e medie (instabilità), ICon mantiene un'alta performance media durante tutto l'addestramento, indicando una maggiore robustezza.
• Ablation Study:
  • Una soglia di maschera $\beta = 0.5$ ha dimostrato di essere ottimale.
  • L'uso di FPS ha superato il campionamento casuale.
  • L'omissione del Multi-Level Contrast ha portato a un calo significativo delle prestazioni, confermando l'importanza del disaccoppiamento a più livelli.

5. Significato e Implicazioni

Il lavoro di Wang et al. offre una soluzione elegante al problema dell'estrazione di informazioni corporee nelle rappresentazioni visive robotiche.

• Efficienza: Dimostra che è possibile ottenere rappresentazioni disaccoppiate (agente vs ambiente) senza ricorrere a loss di ricostruzione che destabilizzano l'addestramento.
• Generalizzazione: L'incorporazione di "awareness corporea" nelle feature visive permette ai robot di adattarsi più rapidamente a nuove morfologie, un passo cruciale verso la robotica scalabile e versatile.
• Architettura: L'approccio è agnostico rispetto alla policy specifica (dimostrato su Diffusion Policy) e sfrutta le capacità dei ViT, rendendolo applicabile a una vasta gamma di compiti di manipolazione.

In sintesi, ICon rappresenta un avanzamento significativo nell'apprendimento per imitazione, trasformando la percezione visiva da una semplice osservazione dell'ambiente a una comprensione integrata dell'interazione tra il corpo del robot e il mondo circostante.