Riepilogo Tecnico: Steering della Policy al Tempo di Inferenza tramite Visione e Tatto (ViTaL)

Definizione del Problema

Lo steering al tempo di inferenza adatta le policy robotiche generative pre-addestrate (ad esempio, le diffusion policies) durante la distribuzione senza necessità di ri-addestramento, verificando o raffinando le azioni candidate prima dell'esecuzione. Sebbene i metodi recenti utilizzino con successo le osservazioni visive per la verifica di compiti a lungo termine, la sola visione è spesso insufficiente per la manipolazione ricca di contatto. In compiti come il pipettaggio, la pulizia o l'inserimento, il successo dipende sia dal progresso semantico globale (osservabile tramite la visione) sia da sottili interazioni fisiche locali, come la forza di contatto e la stabilità della presa (osservabili tramite il tatto).

Gli approoli attuali affrontano due sfide primarie nell'integrare queste modalità:

1. Osservabilità dipendente dalla modalità attraverso scale temporali: Gli esiti visivi richiedono spesso previsioni a lungo termine per distinguere le modalità semantiche (ad esempio, muoversi verso la tazza corretta), mentre gli esiti tattili sono locali e transitori (ad esempio, l'applicazione della forza durante una pressione), spesso oscurati nelle previsioni visive a lungo termine.
2. Modellazione del Reward Multimodale: Definire una funzione di reward unificata è difficile perché l'importanza relativa degli esiti visivi e tattili cambia attraverso le fasi del compito. Una singola funzione di reward fatica a bilanciare il progresso globale del compito con i requisiti di contatto fine (ad esempio, distinguere una presa delicata da un rilascio accidentale).

Metodologia: Framework ViTaL

Gli autori propongono ViTaL (Visuo-Tactile Latent Steering), un framework che formula la guida multimodale come un problema di ottimizzazione bi-livello. Questo approccio decompone lo steering in due stadi che si allineano con le scale temporali naturali di visione e tatto:

1. Formulazione dell'Ottimizzazione Bi-livello

L'obiettivo è selezionare una sequenza di azioni $a^*_{t:t+h}$ che massimizzi una reward condizionata al compito aderendo a un prior visivo.

• Ottimizzazione Interna (Selezione della Modalità Visiva): Il sistema campiona sequenze di azioni a lungo termine ($H$ passi) dalla policy di base. Queste vengono simulate utilizzando un modello del mondo latente visuo-tattile per prevedere stati futuri. Un verificatore visivo valuta queste previsioni in base al progresso semantico verso l'obiettivo del compito. La sequenza con la più alta reward visiva, $\bar{a}_{t:t+H}$, viene selezionata come modalità di comportamento globale.
• Ottimizzazione Esterna (Raffinamento Tattile): I primi $h$ passi della sequenza visivamente selezionata fungono da "ancora d'azione". Il sistema esegue quindi un editing della diffusione a breve termine ($h$ passi) per raffinare questa ancora. Un verificatore tattile valuta i futuri tattili previsti, e la policy viene pesata nuovamente per favorire azioni che soddisfano i vincoli di contatto locali pur rimanendo vicine al piano visivo.

2. Modello del Mondo Latente Visuo-Tattile

Per supportare lo steering basato sugli esiti, ViTaL impiega un modello del mondo latente appreso ($p_\phi$) che predice direttamente stati visivi e tattili nello spazio latente.

• Architettura: Utilizza encoder congelati (DINOv3 per la visione, AnyTouch per il tatto) per mappare le osservazioni in stati latenti ($z_v, z_\tau$). Un transformer condizionato all'azione predice ricorsivamente i futuri latenti delle giunture.
• Efficienza: Operando nello spazio latente, il modello evita il costo computazionale di decodificare immagini complete o mappe tattili per ogni azione candidata, consentendo una guida efficiente condizionata dal testo.

3. Verificatori Allineati Semanticamente

ViTaL utilizza il linguaggio come rappresentazione comune del compito per colmare il divario tra ragionamento visivo e tattile. Un Modello Visivo-Linguistico (VLM) decompone le istruzioni di alto livello in obiettivi testuali a livello di fase ($\ell^v_p, \ell^\tau_p$).

• Verificatore Visivo: Decodifica i latenti visivi predetti in immagini RGB e utilizza un modello di reward zero-shot (ROBOMETER) per valutare il progresso semantico (ad esempio, "il robot si sta muovendo verso la tazza blu?").
• Verificatore Tattile: Calcola la similarità del coseno tra l'embedding del latente tattile predetto e l'embedding testuale dell'obiettivo di contatto (ad esempio, "prendi leggermente"). Questo costituisce una reward tattile condizionata dal testo, permettendo al sistema di valutare i futuri tattili senza dover progettare manualmente funzioni di reward specifiche per il compito o decodificare immagini tattili.

4. Ottimizzazione al Tempo di Inferenza

Il processo di steering combina la selezione visiva basata sul campionamento con l'editing della diffusione per il raffinamento tattile:

• Fase Visiva: Campiona $N$ traiettorie a lungo termine, le simula nel modello del mondo e seleziona la migliore in base al verificatore visivo.
• Fase Tattile: Tratta l'ancora visiva selezionata come una condizione per l'editing della diffusione. Introduce parzialmente rumore nell'ancora e orienta il processo di denoising verso azioni con reward tattili più elevati, raffinando efficacemente l'esecuzione del contatto.

Contributi Chiave

1. Guida Multimodale Bi-livello: Un framework che utilizza la visione per la selezione della modalità semantica a lungo termine e il tatto per il raffinamento del contatto a breve termine, affrontando il disallineamento delle scale temporali.
2. Reward Tattile Condizionata dal Linguaggio: L'introduzione di un nuovo verificatore tattile che valuta i futuri tattili predetti in uno spazio latente allineato utilizzando descrizioni testuali. Ciò consente una verifica tattile scalabile e senza dimostrazioni, flessibile ai diversi fari del compito.
3. Modellazione del Mondo Latente: L'integrazione di un modello del mondo latente visuo-tattile che consente una valutazione efficiente e diretta degli esiti multimodali nello spazio latente senza decodifica.

Risultati Sperimentali

Gli autori hanno valutato ViTaL su tre compiti di manipolazione ricca di contatto nel mondo reale utilizzando un robot Franka Emika con sensori GelSight Mini: trasferimento di pipetta, pulizia e inserimento di un perno.

• Guadagni di Performance: ViTaL ha migliorato il successo complessivo del compito del 51% rispetto alla policy di base. Ha superato lo steering unimodale (solo visione o solo tatto) di almeno il 33% e ha eccelso nella fusione multimodale ingenua (semplice somma delle reward) di almeno il 20%.
• Modalità di Fallimento: Lo steering basato solo sulla visione spesso aveva successo nell'allineamento globale ma falliva a causa di errori di contatto locale (ad esempio, versare liquidi). Lo steering basato solo sul tatto migliorava il contatto ma spesso perdeva l'obiettivo globale. ViTaL ha affrontato con successo entrambi i tipi di fallimento.
• Accuratezza della Reward: I verifier proposti hanno raggiunto un'elevata accuratezza dell'ordine di preferenza (circa 85% per la visione, 81% per il tatto) confrontando i futuri predetti con quelli reali, dimostrando l'affidabilità del modello del mondo latente e dei verifier semantici.
• Efficienza: L'approccio bi-livello ha fornito un migliore compromesso tra successo e velocità di inferenza rispetto alla fusione ingenua, aggiungendo solo 0,05 secondi per passo di inferenza pur riducendo significativamente i tassi di fallimento.

Significato e Rivendicazioni

Il paper sostiene che ViTaL rappresenti un passo significativo nel rendere le policy robotiche pre-addestrate robuste per compiti ricchi di contatto senza richiedere ri-addestramento o esteso ingegneria di reward specifica per il compito. Decomponendo il problema dello steering in selezione della modalità visiva e raffinamento tattile, il metodo sfrutta i punti di forza complementari della visione (contesto globale) e del tatto (precisione locale).

Gli autori sottolineano che la loro reward tattile condizionata dal testo è la prima del suo genere per la manipolazione robotica, consentendo un ragionamento sul contatto flessibile e guidato dal linguaggio. Riconoscono i limiti, notando che la fedeltà del sistema dipende dal modello del mondo latente (dove gli errori cumulativi possono influenzare la verifica) e che gli encoder tattili sono attualmente pre-addestrati su dataset più piccoli rispetto ai moderni VLM. Tuttavia, i risultati suggeriscono che lo steering multimodale al tempo di inferenza sia una via percorribile verso una manipolazione robotica più adattabile e affidabile.