Sintesi Tecnica: Apprendimento Congiunto di Opzioni Neurali Gerarchiche e Modello Astratto del Mondo (AgentOWL)

1. Enunciato del Problema

Il documento affronta la sfida di permettere ad agenti decisionali di acquisire cumulativamente nuove competenze componendo quelle esistenti. Mentre il framework delle opzioni formalizza questo processo come l'apprendimento di una gerarchia di politiche (opzioni) che raggiungono obiettivi sempre più difficili, gli approcci standard di apprendimento per rinforzo (RL) gerarchico senza modello soffrono di una scarsa efficienza nel campionamento. Man mano che il numero di competenze acquisite cresce, lo spazio delle azioni effettivo si espande, rendendo l'apprendimento delle politiche sempre più dipendente dai dati e intrattabile per nuovi obiettivi.

Il problema centrale è un compromesso: apprendere rapidamente nuove competenze rispetto al numero di competenze già acquisite. I metodi standard senza modello richiedono un numero esponenzialmente maggiore di campioni man mano che l'apprendimento procede. Gli autori propongono che il RL basato su modello possa risolvere questo problema utilizzando un modello del mondo per pianificare ed escludere opzioni prima dell'esecuzione nel mondo reale. Tuttavia, gli approcci esistenti di modellazione del mondo spesso mancano dell'efficienza nei dati necessaria per apprendere dinamiche complesse da campioni limitati, oppure non forniscono le necessarie astrazioni temporali e di stato per rendere la pianificazione trattabile.

2. Metodologia: AgentOWL

Gli autori propongono AgentOWL (Option and World model Learning Agent), un sistema che apprende congiuntamente un insieme di opzioni neurali gerarchiche e un modello astratto del mondo in modo efficiente dal punto di vista del campionamento.

2.1 Modellazione Astratta del Mondo

Il sistema impiega un framework Product-of-Experts (PoE-World) per apprendere un modello del mondo che astrae sia gli stati che il tempo.

• Astrazione dello Stato: Invece di prevedere transizioni di pixel grezzi, il modello prevede futuri stati astratti definiti da predicati di obiettivo $f(s) = (g_1(s), g_2(s), \dots)$. Questo riduce la dimensionalità del compito di previsione.
• Rappresentazione Simbolica: Il modello del mondo è rappresentato come un prodotto di esperti, dove ogni esperto è un breve programma simbolico (snippet Python) generato da un Large Language Model (LLM). Questi programmi modellano meccanismi causali indipendenti.
• Prior Assioma del Frame: Per mantenere l'efficienza nel campionamento, il modello incorpora un "prior assioma del frame". Questo induce il modello a credere che un'opzione $o_i$ modifichi principalmente la sua caratteristica corrispondente $f_i$ e non modifichi altre caratteristiche $f_j$ ($j \neq i$). Ciò è implementato tramite stima della Massima A Posteriori (MAP) con priori Gaussiani, riducendo significativamente i dati necessari per apprendere le dinamiche di transizione.
• Ricostruzione: Poiché il modello astratto prevede $p(f' | s)$, un stimatore di densità a kernel (funzione di ponderazione) viene utilizzato euristica per campionare stati completi $s'$ da stati astratti $f'$, permettendo all'agente di interagire con un ambiente simulato senza apprendere un intero modello generativo parametrico.

2.2 Apprendimento Congiunto di Opzioni Gerarchiche

AgentOWL addestra iterativamente per padroneggiare una sequenza di obiettivi $\{g_1, \dots, g_n\}$ apprendendo le corrispondenti opzioni $\{o_1, \dots, o_n\}$.

• Ipotesi di Sottomissione Basata su LLM: Quando un agente deve raggiungere un nuovo obiettivo target $g$ ma manca di un'opzione diretta, un LLM viene sollecitato a ipotizzare una nuova sotto-opzione $o_{h \to g}$. L'LLM seleziona un prerequisito $h$ (un sottobiettivo precedentemente appreso) dall'insieme esistente di opzioni $\Omega$ che potrebbe servire come pietra miliare. Questa nuova opzione e il suo modello del mondo ipotetico vengono aggiunti al sistema.
• Esplorazione Basata su Modello: L'agente apprende una politica $\pi_{wm}$ all'interno del modello del mondo astratto utilizzando Deep Q-Learning (DQN). Questa politica funge da guida per l'esplorazione della politica nel mondo reale $\pi_{real}$. La politica combinata è definita come $\pi(a|s) = (1-\epsilon)\pi_{real}(a|s) + \epsilon\pi_{wm}(a|s)$. Il tasso di esplorazione $\epsilon$ viene ridotto da 1 a 0, permettendo all'agente di transitare dalla pianificazione basata su modello all'apprendimento completamente senza modello man mano che la politica nel mondo reale si stabilizza.
• Addestramento Gerarchico Stabile: Per mitigare la non stazionarietà causata dall'addestramento di opzioni di livello inferiore (che cambia l'ambiente visto dalle opzioni di livello superiore), il sistema impiega un meccanismo di stabilizzazione. I dati dagli episodi vengono aggiunti al buffer di replay per l'addestramento solo se tutte le sotto-opzioni eseguite in quell'episodio sono "stabili" (ovvero, sono state addestrate su campioni sufficienti $n > n_{threshold}$ e hanno un alto tasso di completamento dell'obiettivo $\delta > \delta_{threshold}$).

3. Contributi Chiave

1. Framework AgentOWL: Un'architettura innovativa che apprende congiuntamente opzioni neurali gerarchiche e un modello astratto del mondo, abilitando un'acquisizione di competenze efficiente dal punto di vista del campionamento.
2. Modello del Mondo Astratto con Programmi Simbolici: L'integrazione di PoE-World con programmi simbolici generati da LLM permette di apprendere dinamiche complesse e astratte temporalmente da pochissimi dati, superando la "trappola a un passo" dei modelli di basso livello.
3. Scoperta di Opzioni Guidata da LLM: Un metodo per utilizzare gli LLM per ipotizzare nuove sotto-opzioni (prerequisiti) basandosi sulle competenze esistenti, automatizzando efficacemente il curriculum di acquisizione delle competenze senza richiedere l'ingegneria manuale di sottobiettivi.
4. DQN Gerarchico Stabile: Una procedura di addestramento che stabilizza l'apprendimento di gerarchie profonde di opzioni filtrando i dati in base alla stabilità delle sotto-opzioni, affrontando il problema della non stazionarietà intrinseco nel RL gerarchico.

4. Risultati Sperimentali

Il metodo è stato valutato su tre giochi Atari centrati sugli oggetti (OCAtari) noti per la loro esplorazione difficile: Montezuma's Revenge, Pitfall e Private Eye.

• Efficienza nell'Acquisizione di Competenze: AgentOWL ha padroneggiato una frazione significativamente più alta di opzioni utilizzando meno passi nell'ambiente rispetto alle linee di base, inclusi Rainbow DQN, Goal-conditioned DQN e Hierarchical DQN (senza modello del mondo). Mentre le linee di base raggiungevano un plateau a un basso numero di competenze padroneggiate, AgentOWL ha continuato ad acquisire competenze complesse.
• Generalizzazione ad Obiettivi Difficili: L'analisi qualitativa ha mostrato che le linee di base non sono riuscite ad acquisire opzioni per obiettivi difficili (ad esempio, raggiungere stanze specifiche in Pitfall) perché non potevano scoprire le necessarie sequenze lunghe di azioni. AgentOWL ha pianificato con successo queste sequenze in modo astratto e le ha eseguite in modo gerarchico.
• Apprendimento Implicito: Gli esperimenti hanno dimostrato che AgentOWL migliora implicitamente le sotto-opzioni anche quando viene ricompensato solo per un obiettivo di livello superiore. Le sotto-opzioni utili per l'obiettivo target hanno mostrato tassi di successo aumentati, mentre quelle irrilevanti no.
• Generalizzazione Zero-Shot: In un esperimento con uno stato di partenza nuovo, AgentOWL ha potuto comporre opzioni esistenti per raggiungere obiettivi precedentemente padroneggiati senza addestramento aggiuntivo, a condizione che gli fosse fornita una singola nuova opzione per navigare dal nuovo stato di partenza allo stato di partenza originale. Le linee di base prive di modello del mondo astratto e composizione gerarchica non sono riuscite ad adattarsi in zero-shot.

5. Significato e Affermazioni

Il documento afferma che l'apprendimento delle opzioni e l'apprendimento del modello del mondo sono profondamente intrecciati. Apprendendo un modello astratto del mondo che cattura gli effetti delle opzioni, l'agente può pianificare in modo efficiente, il che a sua volta facilita la scoperta e il perfezionamento di nuove competenze.

Gli autori sottolineano che AgentOWL dimostra:

• Efficienza nel Campionamento: Raggiungere gerarchie complesse di competenze con significativamente meno dati rispetto alle linee di base senza modello.
• Generalizzazione Compositiva: La capacità di combinare competenze apprese per risolvere problemi nuovi (generalizzazione zero-shot) e di apprendere implicitamente sotto-competenze richieste per obiettivi di livello superiore.
• Scalabilità della Pianificazione: L'uso di modelli astratti ed estesi temporalmente permette la pianificazione su orizzonti lunghi che sarebbero intrattabili per modelli di basso livello.

Il documento conclude che, sebbene esistano limitazioni attuali (come la necessità di sequenze ordinate di obiettivi e input simbolici), l'approccio evidenzia una direzione promettente per costruire agenti che possono espandere cumulativamente le loro conoscenze e capacità attraverso l'interazione tra acquisizione di competenze e modellazione del mondo.