GRAIL: Goal Recognition Alignment through Imitation Learning

1. Il Problema: Riconoscimento degli Obiettivi (Goal Recognition - GR)

Il riconoscimento degli obiettivi (GR) mira a inferire gli obiettivi sottostanti di un agente osservando il suo comportamento parziale. Sebbene fondamentale per l'allineamento AI-umano e la cooperazione multi-agente, i metodi esistenti presentano limiti significativi:

• Assunzioni irrealistiche: La maggior parte degli approcci classici (basati sulla pianificazione inversa) o recenti (basati sul Reinforcement Learning - RL) assume che l'agente osservato agisca in modo ottimale o razionale rispetto a un obiettivo predefinito.
• Fragilità: Questi modelli falliscono quando il comportamento reale è rumoroso, sub-ottimale o presenta bias sistematici (es. preferenze umane per certi percorsi anche se non sono i più brevi).
• Complessità computazionale: Molti metodi richiedono l'esecuzione di pianificatori o simulazioni di RL per ogni traiettoria osservata durante l'inferenza, creando colli di bottiglia di latenza inapplicabili in scenari interattivi in tempo reale.

L'articolo illustra un caso d'uso (Figura 1) in cui un umano sceglie sistematicamente un percorso attraverso un parco per andare al supermercato, anche se esiste un percorso alternativo della stessa lunghezza. Un riconoscitore basato sull'ottimalità non riesce a distinguere l'obiettivo (supermercato vs. lavoro) perché entrambi i percorsi appaiono equidistanti, ignorando il bias comportamentale.

2. Metodologia: GRAIL

Il paper introduce GRAIL (Goal Recognition Alignment through Imitation Learning), un framework che riformula il problema del GR come una collezione di problemi di Apprendimento per Imitazione (Imitation Learning - IL).

Concetto Chiave

Invece di imparare una funzione di valore o un piano ottimale per ogni possibile obiettivo, GRAIL impara direttamente una politica orientata all'obiettivo ($\pi_g$) per ogni candidato obiettivo $g$, partendo da dimostrazioni (traiettorie) che possono essere sub-ottimali o biasate.

Fasi del Framework

1. Apprendimento Offline (Training):

   • Per ogni obiettivo candidato $g \in G$, viene raccolta una serie di dimostrazioni $D_g$.
   • Vengono utilizzati algoritmi di IL per addestrare una politica specifica per l'obiettivo $\pi_g(a|s)$. Il paper esplora tre varianti:
     • BC-GRAIL: Behavioral Cloning (apprendimento supervisionato diretto).
     • GAIL-GRAIL: Generative Adversarial Imitation Learning (addestramento avversariale per abbinare le distribuzioni di occupazione).
     • AIRL-GRAIL: Adversarial Inverse Reinforcement Learning (recupera una funzione di reward latente e una politica).
   • Questo processo cattura le "impronte digitali" comportamentali, inclusi i bias e le imperfezioni, senza bisogno di un modello di reward esplicito o di interazione con l'ambiente durante l'inferenza.

2. Inferenza One-Shot Online:

   • Quando arriva una nuova traiettoria parziale osservata $\tau_{obs}$, il sistema non esegue pianificazioni o roll-out.
   • Calcola un punteggio di similarità per ogni politica appresa $\pi_g$ in un singolo passaggio in avanti (forward pass).
   • La funzione di punteggio utilizzata è la Negative Average MSE (Mean Squared Error) tra le azioni previste dalla politica e le azioni osservate:
     $$S_g(\tau_{obs}) = -\frac{1}{T} \sum_{t=0}^{T-1} ||\pi_g(s_t) - a_t||^2$$
   • L'obiettivo stimato $\hat{g}$ è quello che massimizza questo punteggio.

3. Contributi Chiave

• Allineamento al Comportamento Reale: GRAIL supera l'assunzione di razionalità perfetta, allineandosi direttamente ai modelli comportamentali reali (inclusi bias sistematici e sub-ottimalità) attraverso l'IL.
• Efficienza Computazionale: Elimina la necessità di chiamare pianificatori o eseguire simulazioni RL durante il test. L'inferenza è un semplice calcolo di similarità su politiche pre-addestrate, rendendo il sistema adatto a scenari a bassa latenza.
• Unificazione dei Campi: Colma il divario tra Goal Recognition, Imitation Learning e Inverse Reinforcement Learning, mostrando come l'IL possa essere riutilizzato per l'inferenza di obiettivi in un solo passaggio.
• Robustezza: Il metodo dimostra di essere robusto al rumore, alle traiettorie guidate da preferenze e al disallineamento del modello.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su due domini: MiniGrid (navigazione discreta) e PandaReach (controllo robotico continuo). I metodi sono stati confrontati con baseline RL come GRAQL (Q-Learning) e DRACO (PPO).

• Comportamento Ottimale con Bias Sistematici:

  • In scenari dove gli agenti seguono percorsi ottimali ma con preferenze costanti (es. evitare certi angoli), GRAIL ha raggiunto un F1-score vicino a 1.0 (perfetto).
  • Le baseline basate su RL (GRAQL) sono rimaste tra 0.3 e 0.5, fallendo nel distinguere gli obiettivi perché i loro modelli assumevano uniformità nell'ottimalità.

• Comportamento Sub-Ottimale:

  • In presenza di rumore e deviazioni sistematiche, GRAIL ha mostrato miglioramenti consistenti nell'F1-score (+0.1 – 0.3) rispetto alle baseline.
  • In particolare, BC-GRAIL ha eccelso, dimostrando che il semplice clonaggio comportamentale è efficace per catturare deviazioni strutturate.

• Comportamento Ottimale (Caso Base):

  • Anche in condizioni ideali (dimostrazioni perfette), GRAIL ha mantenuto prestazioni competitive o superiori alle baseline, specialmente all'aumentare della complessità (numero di obiettivi) e della copertura delle osservazioni.

• Efficienza:

  • Tempo di Training: GRAIL (specialmente BC) richiede meno tempo di addestramento rispetto alle baseline RL che necessitano di milioni di interazioni.
  • Tempo di Inferenza: GRAIL è drasticamente più veloce (pochi millisecondi per traiettoria) rispetto a DRACO, che richiede roll-out complessi.

5. Significato e Implicazioni

Il lavoro di GRAIL rappresenta un passo significativo verso modelli di interpretazione degli agenti più scalabili e robusti in ambienti incerti.

• Praticità: La capacità di inferire obiettivi in tempo reale senza pianificazione rende GRAIL ideale per l'interazione uomo-robot e la coordinazione multi-agente.
• Flessibilità: Il framework permette di scegliere il backend di IL (BC, GAIL, AIRL) in base alla disponibilità di dati e alle caratteristiche del dominio.
• Etica e Allineamento: Riconoscere gli obiettivi umani basandosi sul loro comportamento reale (inclusi i loro limiti e preferenze) piuttosto che su modelli ideali è cruciale per sistemi AI sicuri ed etici. Tuttavia, il paper sottolinea la necessità di salvaguardie per la privacy e la trasparenza nell'uso di tali sistemi.

In sintesi, GRAIL dimostra che l'imitazione del comportamento (inclusi i suoi difetti) è una strategia superiore all'ottimizzazione teorica per il riconoscimento degli obiettivi nel mondo reale.