GIFT: Generalizing Intent for Flexible Test-Time Rewards

1. Il Problema: Generalizzazione dei Reward e Correlazioni Spurie

Il lavoro affronta una sfida fondamentale nell'apprendimento per rinforzo (RL) e nell'apprendimento da dimostrazioni umane: la mancata generalizzazione delle funzioni di reward in nuovi ambienti.

• Il contesto: I robot apprendono funzioni di reward dai dati di dimostrazione umana. Tuttavia, questi reward tendono spesso a "agganciarsi" a correlazioni spurie presenti nei dati di addestramento (es. imparare a "impacchettare un pennello") invece di catturare l'intento umano sottostante (es. "impacchettare forniture per l'arte").
• Il fallimento: Quando il robot incontra nuovi oggetti o layout al momento del test (test-time), le funzioni di reward apprese falliscono catastroficamente. Ad esempio, un modello basato sulla similarità visiva potrebbe scambiare uno spazzolino da denti per un pennello perché sembrano simili, mentre un modello basato sulla similarità linguistica potrebbe associare un pennello a uno spazzolino per la somiglianza lessicale. Nessuno di questi approcci cattura la vera rilevanza funzionale per l'utente (es. l'argilla da modellare è più simile a un pennello nel contesto "forniture artistiche").
• Limiti degli approcci esistenti: I metodi attuali che utilizzano similarità visiva o semantica superficiale divergono spesso da ciò che gli umani considerano realmente importante per il successo del compito.

2. Metodologia: Il Framework GIFT

Gli autori propongono GIFT (Generalizing Intent for Flexible Test-Time rewards), un framework che basa la generalizzazione del reward sull'intento di alto livello piuttosto che su segnali superficiali. Il processo si articola in due fasi principali, entrambe guidate da Modelli Linguistici (LM):

A. Inferenza dell'Intento di Alto Livello

• Input: Il sistema riceve coppie di traiettorie: dimostrazioni preferite dall'utente ($D_H$) e traiettorie di riferimento non preferite ($D_{\neg H}$, es. generate da un controller nominale).
• Processo: Un LM analizza le differenze comportamentali tra le traiettorie preferite e quelle non preferite per inferire una descrizione testuale dell'intento umano (es. "evitare liquidi vicino a dispositivi elettronici" invece di "evitare la tazza sopra il laptop").
• Output: Un'intestazione di intenti $\hat{\omega}$ che condiziona la successiva fase di allineamento.

B. Allineamento degli Stati Condizionato all'Intento

• Kernel di Similarità: Viene definita una funzione di similarità $K(s, s' | \omega)$ che valuta quanto due stati siano simili in base all'intento $\omega$, non in base a pixel o parole.
• Operatore di Allineamento ($f_{\hat{\omega}}$): Al momento del test, quando il robot incontra uno stato nuovo $s'$, l'operatore $f_{\hat{\omega}}$ mappa questo stato verso lo stato di training semanticamente equivalente in base all'intento inferito.
  • Esempio: Se l'intento è "forniture artistiche", l'argilla da modellare viene mappata al pennello usato durante l'addestramento.
• Generalizzazione del Reward: La funzione di reward $R_\theta$ appresa durante l'addestramento rimane fissa. Al momento del test, le nuove traiettorie vengono prima allineate nel dominio di training tramite $f_{\hat{\omega}}$ e poi valutate con $R_\theta$. Questo permette di riutilizzare il reward senza riaddestramento.

3. Contributi Chiave

1. Spostamento del paradigma: Passare dalla similarità basata su feature di basso livello (visive/linguistiche) alla similarità basata sull'intento funzionale.
2. Framework agnostico: GIFT è indipendente dall'algoritmo specifico di apprendimento del reward (usato IRL a massima entropia negli esperimenti) e si basa sull'allineamento degli stati come meccanismo di generalizzazione.
3. Validazione su Robot Reali: Dimostrazione della capacità di trasferimento su un robot fisico (Franka Panda 7-DoF) oltre che in simulazione.
4. Analisi dei fallimenti: Identificazione sistematica di come le similarità visive e linguistiche falliscano di fronte a "confondenti" (oggetti che sembrano simili ma non lo sono funzionalmente, o viceversa).

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su quattro compiti di manipolazione su tavolo (es. "Impacchettare zaino", "Rimuovere versamenti", "Riporre oggetti") con oltre 50 oggetti mai visti durante l'addestramento.

• Metriche:
  • Tasso di vittoria a coppie (Pairwise Win Rate): GIFT ha superato costantemente i baselines (similarità visiva DINO, similarità linguistica BERT, e LM senza intento) in tutti i compiti. I miglioramenti sono stati del 20% nei compiti complessi e del 7% in quelli più semplici.
  • F1 Score di Allineamento degli Stati: GIFT ha ottenuto un F1 superiore, riducendo significativamente i falsi positivi (allineare oggetti irrilevanti) e i falsi negativi (non allineare oggetti rilevanti).
  • Robustezza ai Confondenti: Mentre i baselines fallivano quando oggetti con nomi simili (es. spazzolino vs pennello) o aspetto simile (es. scopa vs pennello) erano presenti, GIFT ha mantenuto alta accuratezza grazie alla condizionalità sull'intento.
• Esperimenti nel Mondo Reale: Su un robot Franka Panda, GIFT ha dimostrato di poter pianificare comportamenti corretti su oggetti fisici mai visti (es. scegliere argilla da modellare invece di uno spazzolino per un compito di "forniture artistiche"), confermando la validità dell'approccio al di fuori della simulazione.

5. Significato e Implicazioni

Il lavoro di GIFT è significativo perché risolve il problema della mala specifica del reward (reward misspecification) causata da dati di addestramento limitati.

• Efficienza: Elimina la necessità di raccogliere nuovi dati o riaddestrare il robot ogni volta che l'ambiente cambia o vengono introdotti nuovi oggetti.
• Interpretabilità: L'uso di LM per inferire intenti rende il processo di generalizzazione più trasparente e allineato alla logica umana.
• Futuro: Il paper evidenzia che la qualità della generalizzazione dipende dalla capacità del LM di inferire intenti corretti e suggerisce futuri lavori per gestire l'incertezza dell'LM e gestire descrittori simbolici rumorosi nel mondo reale.

In sintesi, GIFT dimostra che ancorare la generalizzazione del reward all'intento umano di alto livello, piuttosto che alle apparenze superficiali, permette ai robot di adattarsi in modo robusto e flessibile a scenari non visti, superando i limiti delle attuali tecniche di similarità.