Probabilistic Recurrent Intention Switching Model

Sintesi Tecnica: Modello Probabilistico di Commutazione delle Intenzioni Ricorrente (PRISM)

Enunciato del Problema
L'Apprendimento per Rinverso per Rinforzo (IRL) standard assume che una singola funzione di ricompensa stazionaria guidi il comportamento di un agente. Tuttavia, gli agenti reali, sia biologici (ad esempio, topi che navigano in labirinti) sia artificiali (ad esempio, robot teleoperati), commutano frequentemente tra obiettivi o strategie distinti all'interno di un singolo episodio. Gli approcci IRL multi-intenzione esistenti faticano a modellare efficacemente queste commutazioni:

• DIRL (Dynamic IRL) assume una variazione della ricompensa liscia e continua, in conflitto con le prove di commutazione discreta delle strategie e richiedendo inferenze computazionalmente costose ($T$ risoluzioni di Bellman).
• HIQL (Hierarchical Inverse Q-Learning) modella le transizioni di intenzione come una catena di Markov senza memoria, fallendo nel catturare le commutazioni dipendenti dalla storia guidate da fattori come affaticamento o sazietà. La sua inferenza scala male ($O(nK^2)$) a causa dell'algoritmo di Baum–Welch.
• SWIRL incorpora la storia tramite l'aumento dello stato, ma ciò causa un'esplosione esponenziale dello spazio degli stati ($|S|^L$), limitando le lunghezze storiche pratiche.

Di conseguenza, nessun metodo esistente scala naturalmente verso ambienti grandi e non markoviani recuperando al contempo intenzioni discrete e interpretabili.

Metodologia: PRISM
Gli autori propongono il Modello Probabilistico di Commutazione delle Intenzioni Ricorrente (PRISM), un framework che sostituisce i modelli di transizione fissi e l'aumento manuale dello stato con una rete neurale ricorrente (RNN) leggera.

1. Architettura del Modello:

   • HI-MDP (Hidden-Intention MDP): L'ambiente è modellato come un MDP con uno spazio di intenzione latente $Z = \{1, \dots, K\}$.
   • Gating Ricorrente: Una funzione parametrica $f_\theta$ (una RNN, LSTM o Transformer) mappa la storia delle osservazioni $\phi_{1:t}$ in una distribuzione di probabilità soft sulle intenzioni a ogni passo temporale. Ciò permette al modello di catturare meccanismi di commutazione complessi e dipendenti dalla storia senza un esplicito aumento dello stato.
   • Ricompense per Intenzione: Ogni intenzione $k$ è associata a una specifica funzione di ricompensa $r_k$. Si assume che la politica dell'esperto sotto l'intenzione $k$ sia una politica ottimale di Boltzmann derivata da $r_k$.

2. Inferenza e Ottimizzazione:

   • Decomposizione EM: Gli autori dimostrano che l'obiettivo Expectation-Maximization (EM) per PRISM si decompone esattamente in sottoproblemi indipendenti, non richiedendo alcuna approssimazione variazionale.
     • Passo E: Calcola la responsabilità a posteriori $P(z_t=k | \xi, \psi, \Theta)$ per ogni passo temporale. A causa della fattorizzazione del posteriore, questo passo scala linearmente come $O(nK)$ per traiettoria, un miglioramento significativo rispetto al costo $O(nK^2)$ dei metodi basati su catene di Markov.
     • Passo M:
       • Aggiornamento della Ricompensa: Ogni funzione di ricompensa $r_k$ viene aggiornata indipendentemente risolvendo un problema di Inverse Action-Value Iteration (IAVI) ponderato in forma chiusa.
       • Aggiornamento della Rete: I parametri della rete di gating $\theta$ vengono aggiornati tramite discesa del gradiente per massimizzare la verosimiglianza delle intenzioni assegnate, regolarizzati da $\ell_1$ (per incoraggiare commutazioni sparse) e divergenza KL (per incoraggiare transizioni lisce).

3. Obiettivo di Addestramento:
   La funzione di perdita combina la log-verosimiglianza negativa delle assegnazioni di intenzione con penalità di regolarità temporale per prevenire commutazioni erratiche, preservando al contempo la capacità di commutare quando necessario.

Contributi Chiave

1. Framework PRISM: Un nuovo metodo IRL multi-intenzione che utilizza una rete ricorrente per modellare le dinamiche delle intenzioni, abilitando l'apprendimento end-to-end di commutazioni dipendenti dalla storia senza aumento manuale dello stato.
2. Garanzie Teoriche: Una dimostrazione che l'obiettivo EM si decompone esattamente in sottoproblemi di ricompensa indipendenti per intenzione, risolvibili in forma chiusa tramite IAVI.
3. Efficienza Computazionale: Un passo E $O(nK)$ ottenuto tramite fattorizzazione del posteriore, evitando la complessità quadratica degli algoritmi forward-backward utilizzati negli approcci basati su Markov.
4. Prima Applicazione Robotica su Larga Scala: L'applicazione dell'IRL multi-intenzione al dataset di manipolazione robotica BridgeData V2, dimostrando la capacità del metodo di generalizzare oltre le neuroscienze.
5. Interpretabilità: Il recupero di intenzioni nominabili e temporalmente coerenti e mappe di ricompensa da dimostrazioni non etichettate attraverso tre domini distinti.

Risultati Sperimentali
PRISM è stato valutato su tre dataset di complessità crescente:

1. Frustration Gridworld (Validazione Non-Markoviana):

   • Configurazione: Un ambiente controllato in cui un agente commuta strategie basandosi su un "contatore di frustrazione" nascosto (uno stato strettamente non markoviano).
   • Risultato: PRISM ha ottenuto la log-verosimiglianza di test più alta e la differenza di valore attesa più bassa rispetto a HIQL, IAVI e MaxEnt IRL. Crucialmente, PRISM ha tracciato con successo la frustrazione cumulativa e ha commutato le intenzioni in modo netto, mentre HIQL (senza memoria) non è riuscito a catturare la natura cumulativa della commutazione.

2. Labirinto del Topo (Dati Biologici):

   • Configurazione: Dati reali di topi privati dell'acqua che navigano in un labirinto a 127 nodi.
   • Risultato: PRISM ha superato SWIRL e altri baseline nella log-verosimiglianza di test. Ha recuperato tre intenzioni distinte e interpretabili: ricerca dell'acqua, rientro alla tana e esplorazione. Le mappe di ricompensa recuperate e i confini di segmentazione erano allineati con le spinte biologiche note e gli eventi comportamentali (ad esempio, visite al distributore d'acqua).

3. BridgeData V2 (Manipolazione Robotica):

   • Configurazione: Un dataset su larga scala di compiti di manipolazione robotica teleoperati da umani con osservazioni visive ad alta dimensionalità.
   • Risultato: Senza alcuna supervisione o conoscenza preliminare delle intenzioni, PRISM ha scoperto quattro fasi di manipolazione temporalmente coerenti: Avvicinamento/Partenza, Presa, Trasporto e Inattivo. Il metodo ha ottenuto una log-verosimiglianza su dati tenuti fuori (held-out) superiore rispetto ai baseline, dimostrando che la commutazione discreta delle intenzioni è una proprietà generale del comportamento finalizzato sia negli agenti biologici che in quelli artificiali.

Significato e Affermazioni
Il paper afferma che PRISM fornisce una soluzione scalabile e teoricamente fondata per il recupero di obiettivi latenti nel comportamento sequenziale. Dimostrando che l'obiettivo EM si decompone esattamente, gli autori mostrano che la complessa commutazione dipendente dalla storia può essere modellata senza sacrificare la trattabilità computazionale del recupero della ricompensa in forma chiusa.

Il significato risiede nella dimostrazione che:

• La commutazione di obiettivi discreti è prevalente sia negli agenti biologici che in quelli artificiali.
• La commutazione dipendente dalla storia (dinamiche non markoviane) può essere appresa end-to-end senza ingegneria manuale delle feature o aumento dello stato.
• Le mappe di ricompensa recuperate offrono una lente strutturata e interpretabile per comprendere gli obiettivi latenti dietro dimostrazioni complesse, andando oltre la semplice imitazione della politica per comprendere perché un agente agisce in momenti specifici.

Gli autori riconoscono le limitazioni, inclusa l'attuale dipendenza da MDP discreti (che richiede discretizzazione per i dati visivi) e il funzionamento offline. Suggeriscono che lavori futuri potrebbero esplorare estensioni senza modello (sostituendo IAVI con inverse Q-learning senza modello) ed estensioni online per il monitoraggio delle intenzioni in tempo reale.