What Must Generalist Agents Remember?

Titolo del Paper: Cosa devono ricordare gli agenti generalisti?
Autori: Khurram Yamin, Namrata Deka, Maitreyi Swaroop, Albert Ting, Jeff Schneider, Bryan Wilder (Carnegie Mellon University, Georgia Institute of Technology)

Definizione del Problema

Il paper affronta una domanda fondamentale nello sviluppo di agenti generalisti di Reinforcement Learning (RL): quali informazioni interne deve memorizzare un agente per agire in modo quasi-ottimale attraverso molteplici ambienti (domini) e obiettivi diversificati?

A differenza dei lavori precedenti che assumono che all'agente venga fornito un indice o un'etichetta esplicita per il compito o il dominio corrente, questo studio analizza un contesto in cui l'agente non riceve alcun indice. L'agente osserva solo la propria traiettoria (storia stato-azione) e deve inferire l'identità latente del dominio necessaria per una selezione delle azioni competente. Gli autori inquadrano questo scenario come un POMDP (Partially Observable Markov Decision Process) a dominio latente, dove la variabile nascosta è l'indice del dominio fisso $\sigma$, il quale altera le dinamiche di transizione, mentre il meccanismo di ricompensa rimane condiviso tra i domini.

La sfida centrale è che due diversi domini possono presentare la stessa osservazione (stato) ma richiedere azioni ottimali incompatibili. Il paper si chiede: in quali condizioni la memoria è strettamente necessaria per risolvere questa ambiguità, e un'eventuale memoria sufficientemente competente permette all'agente di ricostruire le dinamiche di transizione locali dell'ambiente?

Metodologia e Quadro Teorico

Gli autori formalizzano l'interazione in tempo discreto con una famiglia di obiettivi $\Psi$ e un insieme di domini $\Sigma$. Introducono due risultati teorici primari:

1. Separazione della Rappresentazione (Teorema 1)
Il primo risultato stabilisce una condizione necessaria per la memoria. Gli autori definiscono uno scenario di "collo di bottiglia condiviso" (Assunzione 1) in cui due distinti domini richiedono insiemi disgiunti di azioni quasi-ottimali nello stesso stato $s^\dagger$, separati da un significativo gap di valore.

• Affermazione: Se un agente è uniformemente vicino all'ottimalità in tutti i goal e i domini, la sua memoria interna $M_t$ deve distinguere tra questi domini al livello del collo di bottiglia.
• Meccanismo: Il teorema dimostra che le distribuzioni di probabilità condizionale dello stato della memoria al collo di bottiglia, dato il dominio, devono avere una distanza di Variazione Totale (TV) non nulla. Nello specifico, se la politica dell'agente è $\epsilon$-vicina all'ottimalità, la distanza TV tra le distribuzioni della memoria dei due domini è limitata inferiormente da una funzione del gap di valore, della probabilità di raggiungere il collo di bottiglia e del fattore di sconto.
• Implicazione: La memoria non è solo una statistica sufficiente per il controllo ottimale (come nei classici stati di belief dei POMDP), ma è una condizione necessaria affinché le rappresentazioni apprese raggiungano una competenza uniforme quando l'identità del dominio nascosto è rilevante per l'azione.

2. Esistenza del Decoder (Teorema 2)
Il secondo risultato indaga se la memoria necessaria per la separazione sia anche sufficiente per ricostruire le dinamiche dell'ambiente.

• Configurazione: Gli autori introducono "obiettivi sonda" (una famiglia ausiliaria $\Psi_F$) che fungono da test predittivi a un singolo step. Definiscono una "memoria sufficiente per il valore" come una memoria capace di predire accuratamente i valori delle azioni ottimali per questi obiettivi sonda.
• Affermazione: Se la memoria è sufficiente per il valore per una classe di obiettivi sonda che possono distinguere i kernel di transizione locali (tramite una metrica di probabilità integrale), allora esiste un decoder in grado di ricostruire approssimativamente il kernel di transizione interventista locale $P^\sigma(\cdot | s, a)$.
• Implicazione: Uno stato di memoria che supporta la pianificazione quasi-ottimale per un ricco set di obiettivi contiene intrinsecamente informazioni sufficienti per decodificare le dinamiche locali dell'ambiente, consentendo una pianificazione approssimativa anche senza un modello del mondo esplicito fornito dall'ambiente.

Validazione Sperimentale

Gli autori validano le loro affermazioni teoriche utilizzando un ambiente personalizzato chiamato ForkWorld:

• Ambiente: Un mondo a griglia (gridworld) con un bivio a forma di T, dove un corridoio conduce a un bivio (collo di bottiglia). Il dominio è latente: nel dominio "normale", l'azione 'su' sposta verso nord e 'giù' verso sud; nel dominio "invertito", queste mappature sono invertite. L'obiettivo (raggiungere sopra o sotto) è osservabile, ma il dominio no.
• Collo di bottiglia: Al bivio, l'azione ottimale dipende interamente dal dominio nascosto. Un agente privo di memoria non può distinguere i domini ed è costretto a indovinare, limitando il successo al 50%.
• Agenti: Lo studio confronta agenti senza memoria (DQN), agenti con finestre di storia esplicite (Stacked DQN) e agenti ricorrenti (DRQN) contro baseline oracle che conoscono il dominio.

Risultati Chiave:

1. Necessità della Memoria: Gli agenti senza memoria non sono riusciti a superare la baseline del 50% (ottenendo circa il 19%), confermando che senza la memoria per separare i domini, la politica non può convergere a una soluzione stabile. Gli agenti dotati di memoria (Stacked DQN e DRQN) hanno raggiunto tassi di successo del 75–88%, chiudendo il gap con l'oracle.
2. Separazione della Rappresentazione: Una sonda lineare addestrata a predire il dominio dallo stato interno dell'agente al collo di bottiglia ha mostrato che gli agenti dotati di memoria hanno raggiunto una classificazione del dominio quasi perfetta (accuratezza >97%) nelle visite successive al bivio, mentre gli agenti senza memoria sono rimasti al livello del caso (50%). Ciò conferma empiricamente il Teorema 1.
3. Dinamiche Decodificabili: Gli autori hanno addestrato un decoder per predire lo stato successivo dalla rappresentazione della memoria dell'agente. Gli agenti dotati di memoria hanno ridotto significativamente l'errore di predizione della transizione rispetto a una baseline, mentre gli agenti senza memoria non hanno mostrato alcun miglioramento. Questo supporta il Teorema 2, dimostrando che la memoria utilizzata per la pianificazione codifica anche le dinamiche di transizione locali.

Contributi Chiave e Significato

Questo paper apporta i seguenti contributi:

1. Necessità Formale della Memoria: Fornisce una prova di controllo teorico che, per gli agenti generalisti operanti in domini latenti, la memoria non è opzionale ma una condizione necessaria per l'ottimalità uniforme quando i domini condividono osservazioni ma richiedono azioni disgiunte.
2. La Memoria come Substrato per i Modelli del Mondo: Dimostra che la stessa rappresentazione di memoria richiesta per la selezione delle azioni, se sufficientemente ricca da supportare la predizione del valore per gli obiettivi sonda, supporta intrinsecamente la decodifica delle dinamiche di transizione locali.
3. Cambio di Analisi: A differenza dei precedenti risultati su "good regulator" o RL causale che assumono che all'agente venga fornito un indice del task, questo lavoro analizza la mappatura storia-memoria, mostrando che l'agente deve imparare implicitamente a separare i domini partendo dai dati della traiettoria.

Significato:
Gli autori sostengono che questi risultati caratterizzano la memoria come il substrato che supporta la disambiguazione del dominio, la ricostruzione del modello di transizione e la pianificazione per gli agenti generalisti. Il lavoro suggerisce che la capacità di inferire il contesto latente e ricostruire le dinamiche locali non è una caratteristica architettonica da aggiungere, ma un requisito fondamentale per qualsiasi agente che operi efficacemente attraverso una famiglia di ambienti variabili. I risultati implicano che i successful agenti di RL generalisti devono codificare internamente una rappresentazione che separi i domini latenti, e che tale codifica facilita naturalmente la ricostruzione della struttura causale dell'ambiente.