Masked IRL: LLM-Guided Reward Disambiguation from Demonstrations and Language

1. Il Problema

L'apprendimento delle preferenze umane da parte dei robot tramite Apprendimento per Rinforzo Inverso (IRL) basato sulle dimostrazioni soffre di un problema fondamentale: l'ill-posedness (mala definizione).

• Ambiguità delle dimostrazioni: Una singola dimostrazione può essere spiegata da molte funzioni di ricompensa diverse. Ad esempio, se un robot evita un oggetto durante una dimostrazione, potrebbe farlo perché l'oggetto è pericoloso, perché deve mantenere una traiettoria curva, o per altre ragioni non esplicitate.
• Sovradattamento (Overfitting): Con dati limitati, i modelli di ricompensa tendono a sovrapporsi a correlazioni spurie (dettagli irrilevanti dello stato) invece di catturare l'intento reale dell'utente.
• Limiti del linguaggio naturale: Sebbene le istruzioni linguistiche possano specificare cosa è importante, sono spesso ambigue o sottodeterminate (es. "Stai lontano" senza specificare da cosa). I metodi esistenti che usano il linguaggio come semplice segnale di condizionamento non riescono a risolvere efficacemente queste ambiguità né a sfruttare appieno il potenziale del linguaggio per filtrare le informazioni irrilevanti.

2. Metodologia: Masked IRL

Gli autori propongono Masked IRL, un framework che integra dimostrazioni e istruzioni linguistiche utilizzando i Large Language Models (LLM) per due scopi complementari:

A. Generazione di Maschere di Rilevanza dello Stato (State Relevance Masks)

L'idea chiave è che il linguaggio specifica cosa è importante, mentre le dimostrazioni mostrano come agire.

• Processo: Per ogni coppia (dimostrazione, istruzione), un LLM (GPT-4o) analizza il contesto e genera una maschera binaria ($m \in \{0, 1\}^d$). Questa maschera indica quali dimensioni del vettore di stato sono rilevanti per soddisfare l'istruzione e quali sono irrilevanti.
• Loss di Mascheramento (Masking Loss): Invece di azzerare esplicitamente le dimensioni irrilevanti (che renderebbe il modello fragile agli errori dell'LLM), il metodo introduce una funzione di perdita che impone l'invarianza.
  • Si aggiunge rumore casuale alle dimensioni dello stato segnate come irrilevanti ($m(j)=0$).
  • La loss penalizza qualsiasi variazione nel valore della ricompensa risultante da questo rumore.
  • Questo costringe il modello a imparare a ignorare le componenti irrilevanti dello stato, riducendo le correlazioni spurie.

B. Disambiguazione delle Istruzioni Linguistiche

Quando le istruzioni sono ambigue (es. "Stai lontano"), il sistema utilizza l'LLM per chiarirle basandosi sulle dimostrazioni.

• Processo: L'LLM riceve l'istruzione ambigua, una descrizione dell'ambiente, la traiettoria di dimostrazione e una traiettoria di riferimento (il percorso più breve).
• Ragionamento: L'LLM inferisce le istruzioni chiarite spiegando la differenza tra la dimostrazione e il percorso di riferimento (es. trasformando "Stai lontano" in "Stai lontano dal laptop" se la dimostrazione lo evita).
• Augmentation: Se sono possibili più chiarimenti, l'LLM ne genera tutti, creando un set di dati aumentato per l'addestramento.

C. Architettura del Modello

Il modello di ricompensa è condizionato dal linguaggio utilizzando un'architettura FiLM (Feature-wise Linear Modulation). Le embedding linguistiche modulano i parametri di scala e spostamento dell'input dello stato, permettendo un condizionamento strutturato ed efficiente.

3. Contributi Chiave

1. Maschere guidate dal linguaggio: Introduzione di maschere di rilevanza dello stato generate da LLM e di una nuova loss di mascheramento che migliora l'efficienza del campione nell'IRL imponendo l'invarianza alle dimensioni irrilevanti.
2. Meccanismo di disambiguazione: Sviluppo di un metodo basato su LLM che chiarisce le istruzioni ambigue utilizzando il contesto delle dimostrazioni, rendendo l'apprendimento della ricompensa robusto anche quando il linguaggio è sottodeterminato.
3. Validazione empirica: Dimostrazione di una generalizzazione robusta sia in simulazione che su un robot fisico (braccio robotico a 7 gradi di libertà), superando i metodi precedenti.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su un task di passaggio di oggetti (tazza) con un robot Franka Emika, in simulazione e nel mondo reale.

• Efficienza del Campione (Sample Efficiency): Masked IRL supera i metodi basati sul condizionamento linguistico (LC-RL) fino al 15% in termini di tasso di vittoria (win rate). Soprattutto, richiede fino a 4.7 volte meno dimostrazioni per raggiungere prestazioni comparabili.
• Robustezza all'Ambiguità: Quando le istruzioni sono ambigue, l'uso della disambiguazione guidata dall'LLM migliora significativamente le prestazioni. Masked IRL con istruzioni disambiguate ottiene un tasso di vittoria medio 21.4% superiore rispetto a LC-RL addestrato su istruzioni ambigue.
• Generalizzazione nel Mondo Reale: Su un robot fisico reale, Masked IRL mostra una varianza della ricompensa inferiore quando le dimensioni irrilevanti dello stato vengono perturbate, dimostrando una maggiore robustezza rispetto ai baselines. Inoltre, riduce il "rimpianto" (regret) delle traiettorie ottimizzate del 59.4% rispetto a LC-RL.
• Confronto Masking: La loss di mascheramento implicita proposta è più robusta dell'azzeramento esplicito delle dimensioni, specialmente quando le maschere generate dall'LLM contengono errori.

5. Significato e Implicazioni

Questo lavoro risolve una delle principali sfide nell'interazione uomo-robot: come apprendere preferenze complesse con pochi dati e istruzioni linguistiche imperfette.

• Sinergia Dati-Linguaggio: Dimostra che dimostrazioni e linguaggio non sono solo segnali separati, ma informazioni complementari che, se combinate tramite ragionamento dell'LLM, permettono di disambiguare l'intento umano.
• Riduzione del Costo di Raccolta Dati: L'aumento dell'efficienza del campione è cruciale per la robotica pratica, dove raccogliere dimostrazioni umane è costoso e dispendioso in termini di tempo.
• Sicurezza e Affidabilità: Impedendo al modello di legarsi a correlazioni spurie (es. la posizione di un oggetto irrilevante), il metodo produce comportamenti robotici più sicuri e allineati all'intento reale dell'utente, anche in scenari non visti durante l'addestramento.

In sintesi, Masked IRL rappresenta un passo avanti significativo verso robot in grado di adattarsi rapidamente e in modo sicuro alle preferenze umane, superando i limiti dell'ambiguità linguistica e della scarsità di dati.