CIG: Exploration via Conditional Information Gain

Riepilogo Tecnico: CIG: Esplorazione tramite Guadagno Informativo Condizionale

Enunciato del Problema
Nell'apprendimento per rinforzo (RL) con ricompense estrinseche sparse o ritardate, gli agenti devono fare affidamento sulla motivazione intrinseca per esplorare. Un'esplorazione efficace richiede l'identificazione di transizioni informative riguardo alla dinamica dell'ambiente. Tuttavia, i metodi esistenti di ricompensa intrinca affrontano un compromesso fondamentale nel modo in cui utilizzano il contesto:

• Ricompense lifelong (ad es., disaccordo dell'ensemble, errore di previsione) condizionano sul buffer di replay accumulato. Assegnano credito a ogni transizione che sondare un vuoto del modello, indipendentemente dal fatto che la traiettoria corrente abbia già esplorato quel vuoto. Ciò porta a ridondanza all'interno di una singola esecuzione (rollout) (ad es., visitare ripetutamente lo stesso corridoio incerto in un labirinto).
• Ricompense episodiche (ad es., basate sul conteggio, bonus di raggiungibilità) condizionano sul prefisso della rollout corrente. Penalizzano la ripetizione all'interno di una traiettoria ma ignorano il progresso nel corso della vita. Nel RL basato su modelli, dove le politiche ottimizzano brevi rollout "immaginati" ($T \approx 15$), il prefisso è spesso troppo breve per fornire un segnale ricco per la correzione della ridondanza.
• Metodi ibridi tentano di combinare questi segnali tramite pesi euristici o si affidano a dinamiche di Processo Gaussiano (GP), che non scalano a spazi di stati ad alta dimensionalità.
• Guadagno Informativo (IG) a livello di traiettoria offre un obiettivo fondato che condiziona simultaneamente sia sul buffer che sul prefisso. Tuttavia, il calcolo dell'IG esatto richiede la marginalizzazione su una distribuzione a posteriori dei parametri del modello, il che è intrattabile per le reti neurali profonde.

Metodologia: Guadagno Informativo Condizionale (CIG)
Gli autori derivano il Guadagno Informativo Condizionale (CIG), un surrogato trattabile per il guadagno informativo a livello di traiettoria che scala a spazi latenti ad alta dimensionalità condizionando simultaneamente sul buffer di replay e sul prefisso della rollout.

1. Formulazione: L'obiettivo è massimizzare l'informazione mutua tra i parametri del modello $w$ e una traiettoria $s_{1:T}$ dato il buffer di replay $D$: $I(w; s_{1:T} | D)$. Utilizzando la regola della catena, questo si scompone in termini per passo $I(w; s_t | s_{<t}, D)$.
2. Approssimazioni:
   • Posteriore dell'Ensemble (A1): Il posteriore $p(w|D)$ è approssimato da una distribuzione uniforme su $M$ membri dell'ensemble addestrati indipendentemente.
   • Dinamiche Markov-Gaussiane (A2): Ogni membro dell'ensemble prevede il prossimo stato latente come una Gaussiana con una covarianza aleatoria isotropa condivisa $\sigma^2 I_d$.
   • Gaussiana ad Abbinamento dei Momenti (A3): L'entropia della miscela delle previsioni dell'ensemble è limitata superiormente dall'entropia di una Gaussiana con media e covarianza corrispondenti.
3. Il Collo di Bottiglia della Saturazione del Rango: Massimizzare il log-determinante della matrice di covarianza epistemica completa $\Sigma$ (dimensione $Td \times Td$) fallisce in dimensioni elevate perché il rango della covarianza è limitato dalla dimensione dell'ensemble ($M-1$). Per valori tipici ($M=5, d=200$), una singola osservazione può saturare il segnale di ricompensa, lasciando nessun credito per i passi successivi.
4. Riduzione della Traccia (Scelta di Progettazione D1): Per risolvere il collo di bottiglia della capacità, gli autori collassano ogni blocco $d \times d$ della covarianza epistemica nella sua traccia. Ciò produce un kernel $K \in \mathbb{R}^{T \times T}$ dove $K_{jt} = \frac{1}{M} \sum_k (\delta^{(j)}_k)^\top \delta^{(t)}_k$, con $\delta$ che rappresenta la deviazione dei membri dell'ensemble dalla media. Ciò eleva la capacità effettiva da $M-1$ a $\min(T, (M-1)d)$.
5. Scomposizione per Passo: L'obiettivo della traiettoria $\tilde{J} = \log \det(K + \sigma^2 d I_T)$ è scomposto in ricompense causali per passo utilizzando la fattorizzazione di Cholesky ($L L^\top = \tilde{K}$). La ricompensa per il passo $t$ è:
   $$r_t = \log \left( K_{tt} + \sigma^2 d - k_{<t}^\top \tilde{K}_{<t}^{-1} k_{<t} \right)$$
   • Termine Lifelong ($K_{tt}$): Il classico disaccordo dell'ensemble (condizionamento sul buffer).
   • Termine di Ridondanza del Prefisso ($k_{<t}^\top \tilde{K}_{<t}^{-1} k_{<t}$): Una forma quadratica che sottrae la porzione del disaccordo al passo $t$ già spiegata dai passi precedenti nella rollout.
   • Ridge Aleatorio ($\sigma^2 d$): Un pavimento stimato a posteriori dai residui di addestramento, che impedisce alle ricompense di annullarsi a causa del rumore irriducibile.

Contributi Chiave

• Ricompensa CIG: Una ricompensa intrinseca per passo, trattabile, derivata da un surrogato log-determinante del guadagno informativo a livello di traiettoria. Condiziona simultaneamente sul buffer di replay (tramite l'ensemble addestrato) e sul prefisso della rollout (tramite la decomposizione di Cholesky).
• Analisi della Saturazione del Rango: Identificazione del collo di bottiglia della capacità nei surrogati a ensemble finito e derivazione della tecnica di riduzione della traccia per ripristinare la capacità effettiva senza richiedere la stima completa della covarianza.
• Robustezza ai Distrattori Stocastici: Il metodo filtra naturalmente il rumore stocastico dipendente dall'azione (Noisy-TV) attraverso la scala aleatoria dell'ensemble, a differenza dei metodi basati sul conteggio o sull'errore di previsione grezzo.

Risultati Sperimentali
Gli autori hanno valutato CIG su 12 compiti nei domini di controllo discreto (MiniGrid) e continuo (OGBench), incluse varianti pulite e con distrattori stocastici (Noisy-TV). La valutazione ha utilizzato un protocollo privo di ricompensa per isolare la qualità dell'esplorazione.

• Prestazioni: CIG ha superato o eguagliato tutte le linee di base (inclusi Plan2Explore, RND, ICM, APT, E3B e E3B $\times$ P2E) nella maggior parte dei compiti. Nelle statistiche aggregate (Media Inter-Quartile), CIG ha ottenuto il punteggio più alto con intervalli di confidenza non sovrapposti rispetto a tutti gli altri metodi.
• Robustezza Noisy-TV: In ambienti con distrattori stocastici dipendenti dall'azione, i metodi basati sull'errore di previsione grezzo (ICM, RND, APT) sono collassati a tassi di successo vicini allo zero. CIG e Plan2Explore (P2E) sono rimasti robusti grazie al filtraggio dell'ensemble, ma CIG ha costantemente superato P2E, dimostrando che la correzione della ridondanza del prefisso fornisce un valore aggiuntivo oltre al semplice disaccordo.
• Ablazioni: La rimozione della riduzione della traccia ha causato la saturazione immediata della ricompensa, fermando l'esplorazione. La rimozione del termine di ridondanza del prefisso ha ridotto l'efficienza del campione, confermando che la correzione previene la sovrastima dei passi correlati all'interno di una rollout.
• Entropia vs Successo: Mentre metodi come APT ed E3B hanno raggiunto un'entropia di visita degli stati più elevata, ciò non si è correlato con il successo del compito. CIG ha ottenuto un alto successo con entropia inferiore, indicando che la riduzione mirata dell'incertezza (esplorare fronti informativi) è più efficace della copertura uniforme.

Significato e Affermazioni
Il paper afferma che CIG dimostra che i segnali di esplorazione lifelong ed episodica non devono essere combinati in modo euristico. Invece, emergono congiuntamente da un singolo obiettivo informativo. La fattorizzazione di Cholesky del surrogato log-determinante produce naturalmente ricompense causali, per passo, che mantengono entrambi gli insiemi di condizionamento.

Gli autori sottolineano che CIG è robusto attraverso le strutture dei problemi: filtra il rumore irriducibile negli ambienti stocastici e fornisce ricompense strutturate in quelli deterministici. Sebbene CIG non domini ogni singolo compito (ad es., APT ha ottenuto risultati migliori su ObstructedMaze pulito), è l'unico metodo che evita il degrado in tutte le condizioni testate. Il lavoro è limitato al RL basato su modelli con rollout immaginati brevi; gli autori notano che il costo di Cholesky $O(T^3)$ e l'archiviazione del kernel $T \times T$ potrebbero diventare proibitivi per episodi model-free a lungo orizzonte, suggerendo finestre scorrevoli o approssimazioni a basso rango come lavoro futuro.