Can In-Context Learning Support Intrinsic Curiosity?

Sintesi Tecnica: L'Apprendimento In-Context può Supportare la Curiosità Intrinseca?

Enunciato del Problema
L'apprendimento automatico efficace non si basa solo sulla modellazione dei dati, ma anche sulla selezione automatizzata dei dati stessi, un processo spesso definito "curiosità intrinseca". Il gold standard teorico per la curiosità intrinseca è il Guadagno di Informazione Bayesiano (BIG - Bayesian Information Gain), che misura l'informazione attesa guadagnata su i parametri latenti di un ambiente ($\theta$) da un'osservazione. Tuttavia, calcolare il BIG è generalmente intrattabile perché richiede un'inferenza bayesiana esplicita su uno spazio di ipotesi.

Le classiche alternative, come il Learning Progress (LP - Progresso dell'Apprendimento), premiano gli agenti in base al miglioramento della capacità predittiva di un modello del mondo dopo l'acquisizione di nuovi dati. Sebbene teoricamente fondato, le implementazioni tradizionali di LP richiedono costosi cicli interni di aggiornamenti tramite discesa del gradiente sul modello del mondo per ogni passo della traiettoria. Questo collo di bottiglia computazionale rende l'LP impraticabile per modelli di sequenza su larga scala. La domanda centrale di questo lavoro è se l'In-Context Learning (ICL) — dove i modelli di sequenza agiscono come predittori ammortizzati e privi di aggiornamenti — possa servire come un modello del mondo vitale per calcolare efficientemente la curiosità intrinseca, specificamente approssimando il BIG senza aggiornamenti espliciti dei parametri.

Metodologia
Gli autori formalizzano il contesto come un Processo Decisionale di Markov Bayes-Adattivo (BAMDP) in cui una politica $\pi_\phi$ interagisce con ambienti campionati da un prior $p(\theta)$. L'obiettivo è massimizzare l'informazione mutua $I(s_t; \theta | h_t)$ (BIG) utilizzando solo gli errori di predizione di un modello di sequenza $\rho$ pre-addestrato e congelato (un in-context learner).

Gli autori propongono e analizzano tre tipi di ricompense intrinseche derivate da $\rho$:

1. Surprisal ($r_{sur}$): Il logaritmo negativo della verosimiglianza dell'osservazione, $-\log \rho(s_t | h_t)$.
2. Riduzione della Lunghezza di Descrizione ($r_{dl}$): Il miglioramento della log-verosimiglianza se la transizione corrente fosse inclusa nel contesto del modello, il che richiederebbe teoricamente un aggiornamento controfattuale della distribuzione a posteriori.
3. Somma del Miglioramento Futuro ($r_{sum}$): Una nuova ricompensa che misura la somma telescopica dei miglioramenti dell'errore di predizione per tutti i passi futuri di una traiettoria se lo stato corrente fosse osservato rispetto a quando è mascherato. È definita come:
   $$r_{sum}^t := \sum_{t'=t+1}^T [\log \rho(s_{t'} | h_{t'}) - \log \rho(s_{t'} | h_{t' \setminus t})]$$
   dove $h_{t' \setminus t}$ rappresenta la storia con $s_t$ mascherato.

L'analisi teorica è condotta per determinare se queste ricompense possano stimare in modo non distorto il BIG in BAMDP generali rispetto alla setting ristretta del Design Sperimentale Bayesiano (BED - Bayesian Experimental Design), dove le transizioni sono condizionalmente indipendenti data l'azione e i parametri latenti (es. apprendimento attivo).

Contributi Chiave

1. Limiti Teorici nei BAMDP Generali:
   Gli autori dimostrano che, per BAMपदी generali, nessuna ricompensa a orizzonte finito implementabile tramite l'interfaccia di un in-context learner può essere un estimatore non distorto del BIG.

   • Si dimostra che il Surprisal ($r_{sur}$) è distorto dall'entropia aleatoria (il problema della "TV rumorosa"), premiando il rumore imprevedibile invece di una struttura apprendibile.
   • Il Learning Progress ($r_{dl}$) non può generalmente essere implementato tramite ICL perché richiede la modifica della distribuzione a posteriori del modello, il che è al di fuori dell'interfaccia predittiva standard di un modello di sequenza congelato.
   • La Somma del Miglioramento ($r_{sum}$) è implementabile ma soffre di un bias "abduttivo" persistente (un accoppiamento tra lo stato corrente e l'osservazione successiva non spiegato da $\theta$) e di un termine residuo che svanisce solo quando la lunghezza della traiettoria $T \to \infty$.

2. Risultati Positivi nel Design Sperimentale Bayesiano (BED):
   Nelle configurazioni BED (dove $p(s_t | s_{t-1}, a_{t-1}, \theta) = p(s_t | a_{t-1}, \theta)$), gli ostacoli strutturali scompaiono:

   • Il bias abduttivo in $r_{sum}$ svanisce, rendendolo un estimatore asintoticamente non distorto del BIG quando $T \to \infty$.
   • $r_{dl}$ diventa implementabile tramite un impegno controfattuale dell'azione (riutilizzando l'azione) e converge al BIG quando $t \to \infty$, limitato da un gap di Jensen.
   • Gli autori stabiliscono che $r_{sum}$ e $r_{dl}$ forniscono rispettivamente limiti inferiori e superiori per il BIG nelle configurazioni BED.

3. Validazione Empirica:
   Gli esperimenti sono stati condotti in tre ambienti: stima della funzione di Processo Gaussiano (GP), Mastermind (codice segreto) e Alchemy (scoperta di regole).

   • Robustezza al Rumore: Nelle varianti rumorose di questi ambienti, le politiche addestrate con $r_{sur}$ hanno fallito significativamente, performando spesso peggio dei baseline casuali a causa del problema della TV rumorosa.
   • Performance: Le politiche addestrate con $r_{sum}$ e $r_{dl}$ hanno imparato con successo a ignorare il rumore aleatorio e a concentrarsi sull'incertezza epistemica, raggiungendo prestazioni paragonabili o superiori a quelle delle politiche addestrate con ricompense specifiche del compito ($r_{task}$).
   • Efficienza del Modello: Gli esperimenti hanno dimostrato che i modelli di sequenza pre-addestrati (Prior-Fitted Networks) possono efficacementmente approssimare i complessi oracoli bayesiani richiesti per queste ricompense, validando l'uso dell'ICL per la curiosità intrinseca.

Significatività e Rivendicazioni
Il documento sostiene di fornire la prima caratterizzazione teorica rigorosa della relazione tra le ricompense intrinseche basate sulla predizione e il Guadagno di Informazione Bayesiano quando si utilizzano in-context learner. Stabilisce che, sebbene l'ICL non possa replicare perfettamente il BIG in processi decisionali sequenziali generali a causa di inerenti bias e limitazioni dell'interfaccia, esso supporta con successo la curiosità intrinseca nelle configurazioni BED.

La significatività risiede nel dimostrare una via computazionalmente efficiente per la curiosità guidata dall'esplorazione che evita la necessità di costosi aggiornamenti del modello del mondo basati sul gradiente. Provando che $r_{sum}$ e $r_{dl}$ possono recuperare asintoticamente il BIG in configurazioni specifiche e rilevanti (come l'apprendimento attivo), il lavoro suggerisce che i grandi modelli di sequenza possono fungere da efficaci "modelli del mondo" per le politiche di raccolta dati, consentendo agli agenti di esplorare in modo ottimale senza definizioni di task esplicite o aggiornamenti dei parametri. Gli autori rimangono modesti, notando che estendere questo approccio ai BAMDP generali con struttura temporale rimane una sfida aperta che richiede ulteriori innovazioni architettoniche o metodologiche.