Can In-Context Learning Support Intrinsic Curiosity?

Resumo Técnico: O Aprendizado em Contexto Pode Suportar a Curiosidade Intrínseca?

Definição do Problema
O aprendizado de máquina eficaz depende não apenas da modelagem de dados, mas também da seleção automatizada de dados, um processo frequentemente denominado "curiosidade intrínseca". O padrão ouro teórico para a curiosidade intrínseca é o Ganho de Informação Bayesiana (BIG, do inglês Bayesian Information Gain), que mede o ganho esperado de informação sobre os parâmetros latentes ($\theta$) de um ambiente a partir de uma observação. No entanto, computar o BIG é geralmente intratável porque exige uma inferência Bayesiana explícita sobre um espaço de hipóteses.

Alternativas clássicas, como o Progresso de Aprendizado (LP, do inglês Learning Progress), recompensam agentes com base na melhoria da capacidade preditiva de um modelo de mundo após a aquisição de novos dados. Embora teoricamente sólidas, as implementações tradicionais de LP exigem loops internos caros de atualizações de gradiente descendente para o modelo de mundo a cada passo da trajetória. Esse gargalo computacional torna o LP impraticável para modelos de sequência de larga escala. A questão central deste trabalho é se o Aprendizado em Contexto (ICL, do inglês In-Context Learning) — onde modelos de sequência atuam como preditores amortizados e sem necessidade de atualização — pode servir como um modelo de mundo viável para computar recompensas de curiosidade intrínseca de forma eficiente, especificamente ao aproximar o BIG sem atualizações explícitas de parâmetros.

Metodologia
Os autores formalizam o cenário como um Processo de Decisão de Markov Bayesiano Adaptativo (BAMDP, do inglês Bayes-Adaptive Markov Decision Process), onde uma política $\pi_\phi$ interage com ambientes amostrados de uma priori $p(\theta)$. O objetivo é maximizar a informação mútua $I(s_t; \theta | h_t)$ (BIG) usando apenas os erros de predição de um modelo de sequência pré-treinado e congelado $\rho$ (um aprendiz em contexto).

Os autores propõem e analisam três tipos de recompensas intrínsecas derivadas de $\rho$:

1. Surpresa ($r_{sur}$): O log-negativo da verossimilhança da observação, $-\log \rho(s_t | h_t)$.
2. Redução do Comprimento de Descrição ($r_{dl}$): A melhoria na log-verossimilhança se a transição atual fosse incluída no contexto do modelo, o que teoricamente exigiria uma atualização contrafactual da posterior.
3. Melhoria Futura Somada ($r_{sum}$): Uma recompensa inovadora que mede a soma telescópica das melhorias no erro de predição para todos os passos futuros em uma trajetória se o estado atual fosse observado versus se estivesse mascarado. É definida como:
   $$r_{sum}^t := \sum_{t'=t+1}^T [\log \rho(s_{t'} | h_{t'}) - \log \rho(s_{t'} | h_{t' \setminus t})]$$
   onde $h_{t' \setminus t}$ representa o histórico com $s_t$ mascarado.

A análise teórica é conduzida para determinar se essas recompensas estimam o BIG de forma não viesada em BAMDPs gerais versus o cenário restrito de Design Experimental Bayesiano (BED, do inglês Bayesian Experimental Design), onde as transições são condicionalmente independentes dada a ação e os parâmetros latentes (ex: aprendizado ativo).

Principais Contribuições

1. Limites Teóricos em BAMDPs Gerais:
   Os autores provam que, para BAMDPs gerais, nenhuma recompensa de horizonte finito implementável via interface de um aprendiz em contexto pode ser um estimador não viesado do BIG.

   • Surpresa ($r_{sur}$) mostra-se enviesada pela entropia aleatória (o problema da "TV ruidosa"), recompensando o ruído imprevisível em vez de estrutura aprendível.
   • Progresso de Aprendizado ($r_{dl}$) geralmente não pode ser implementado via ICL porque requer a modificação da distribuição posterior do modelo, o que está fora da interface preditiva padrão de um modelo de sequência congelado.
   • Melhoria Somada ($r_{sum}$) é implementável, mas sofre de um viés "abdutivo" persistente (um acoplamento entre o estado atual e a próxima observação que não é explicado por $\theta$) e um termo residual que só desaparece quando o comprimento da trajetória $T \to \infty$.

2. Resultados Positivos em Design Experimental Bayesiano (BED):
   Em configurações BED (onde $p(s_t | s_{t-1}, a_{t-1}, \theta) = p(s_t | a_{t-1}, \theta)$), as obstruções estruturais desaparecem:

   • O viés abdutivo em $r_{sum}$ desaparece, tornando-o um estimador assintoticamente não viesado do BIG conforme $T \to \infty$.
   • $r_{dl}$ torna-se implementável via um compromisso de ação contrafactual (reutilizando a ação) e converge para o BIG conforme $t \to \infty$, limitado por um gap de Jensen.
   • Os autores estabelecem que $r_{sum}$ e $r_{dl}$ fornecem limites inferior e superior para o BIG, respectivamente, em configurações BED.

3. Validação Empírica:
   Experimentos foram realizados em três ambientes: estimativa de função de Processo Gaussiano (GP), Mastermind (quebra de código) e Alquimia (descoberta de regras).

   • Robustez ao Ruído: Em variantes ruidosas desses ambientes, políticas treinadas com $r_{sur}$ falharam significativamente, muitas vezes performando pior do que baselines aleatórios devido ao problema da TV ruidosa.
   • Desempenho: Políticas treinadas com $r_{sum}$ e $r_{dl}$ aprenderam com sucesso a ignorar o ruído aleatório e focar na incerteza epistêmica, alcançando desempenho comparável ou superior a políticas treinadas com recompensas específicas da tarefa ($r_{task}$).
   • Eficiência do Modelo: Os experimentos demonstraram que modelos de sequência pré-treinados (Redes Ajustadas a Priori) podem aproximar efetivamente os oráculos Bayesianos complexos necessários para essas recompensas, validando o uso de ICL para curiosidade intrínseca.

Significância e Alegações
O artigo afirma fornecer a primeira caracterização teórica rigorosa da relação entre recompensas intrínsecas baseadas em predição e o Ganho de Informação Bayesiana ao utilizar aprendizes em contexto. Estabelece que, embora o ICL não possa replicar perfeitamente o BIG em processos de tomada de decisão sequencial geral devido a vieses inerentes e limitações de interface, ele suporta com sucesso a curiosidade intrínseca em configurações BED.

A significância reside em demonstrar um caminho computacionalmente eficiente para a exploração baseada em curiosidade que evita a necessidade de caras atualizações de modelos de mundo baseadas em gradiente. Ao provar que $r_{sum}$ e $r_{dl}$ podem recuperar assintoticamente o BIG em configurações específicas e relevantes (como aprendizado ativo), o trabalho sugere que grandes modelos de sequência podem servir como "modelos de mundo" eficazes para políticas de coleta de dados, permitindo que agentes explorem de forma ótima sem definições de tarefas explícitas ou atualizações de parâmetros. Os autores mantêm a modéstia, observando que estender isso para BAMDPs gerais com estrutura temporal permanece um desafio aberto que requer novas inovações arquitetônicas ou metodológicas.