Can In-Context Learning Support Intrinsic Curiosity?

Resumen Técnico: ¿Puede el Aprendizaje en Contexto Soportar la Curiosidad Intrínseca?

Planteamiento del Problema
El aprendizaje automático efectivo depende no solo de modelar datos, sino también de la selección automatizada de los mismos, un proceso a menudo denominado "curiosidad intrínseca". El estándar de oro teórico para la curiosidad intrínseca es la Ganancia de Información Bayesiana (BIG, por sus siglas en inglés), que mide la información esperada ganada sobre los parámetros latentes ($\theta$) de un entorno a partir de una observación. Sin embargo, calcular la BIG es generalmente intratable porque requiere una inferencia bayesiana explícita sobre un espacio de hipótesis.

Las alternativas clásicas, como el Progreso de Aprendizaje (LP), recompensan a los agentes basándose en la mejora de la capacidad predictiva de un modelo de mundo tras adquirir nuevos datos. Aunque son teóricamente sólidas, las implementaciones tradicionales de LP requieren costosos bucles internos de actualizaciones de descenso de gradiente para el modelo de mundo por cada paso de la trayectoria. Este cuello de botella computacional hace que el LP sea poco práctico para modelos de secuencia a gran escala. La cuestión central de este trabajo es si el Aprendizaje en Contexto (ICL) —donde los modelos de secuencia actúan como predictores amortizados y sin necesidad de actualizaciones— puede servir como un modelo de mundo viable para calcular recompensas de curiosidad intrínseca de manera eficiente, específicamente aproximando la BIG sin actualizaciones de parámetros explícitas.

Metodología
Los autores formalizan el entorno como un Proceso de Decisión de Markov Adaptativo Bayesiano (BAMDP) donde una política $\pi_\phi$ interactúa con entornos muestreados de una distribución previa $p(\theta)$. El objetivo es maximizar la información mutua $I(s_t; \theta | h_t)$ (BIG) utilizando únicamente los errores de predicción de un modelo de secuencia preentrenado y congelado $\rho$ (un aprendiz en contexto).

Los autores proponen y analizan tres tipos de recompensas intrínsecas derivadas de $\rho$:

1. Sorpresa ($r_{sur}$): El logaritmo negativo de la verosimilitud de la observación, $-\log \rho(s_t | h_t)$.
2. Reducción de la Longitud de Descripción ($r_{dl}$): La mejora en la verosimilitud si la transición actual se incluyera en el contexto del modelo, lo que teóricamente requeriría una actualización contrafáctica de la distribución posterior.
3. Mejora Sumada Futura ($r_{sum}$): Una recompensa novedosa que mide la suma telescópica de las mejoras en el error de predicción para todos los pasos futuros en una trayectoria si el estado actual fuera observado frente a si estuviera enmascarado. Se define como:
   $$r_{sum}^t := \sum_{t'=t+1}^T [\log \rho(s_{t'} | h_{t'}) - \log \rho(s_{t'} | h_{t' \setminus t})]$$
   donde $h_{t' \setminus t}$ representa la historia con $s_t$ enmascarado.

Se realiza un análisis teórico para determinar si estas recompensas pueden estimar de forma imparcial la BIG en BAMDPs generales frente al entorno restringido de Diseño Experimental Bayesiano (BED), donde las transiciones son condicionalmente independientes dada la acción y los parámetros latentes (por ejemplo, aprendizaje activo).

Contribuciones Clave

1. Límites Teóricos en BAMDPs Generales:
   Los autores demuestran que, para BAMDPs generales, ninguna recompensa de horizonte finito implementable mediante la interfaz de un aprendiz en contexto puede ser un estimador imparcial de la BIG.

   • Se demuestra que la Sorpresa ($r_{sur}$) está sesgada por la entropía aleatoria (el problema de la "TV ruidosa"), recompensando el ruido impredecible en lugar de la estructura aprendible.
   • El Progreso de Aprendizaje ($r_{dl}$) generalmente no puede implementarse mediante ICL porque requiere modificar la distribución posterior del modelo, lo cual está fuera de la interfaz predictiva estándar de un modelo de secuencia congelado.
   • La Mejora Sumada ($r_{sum}$) es implementable pero sufre de un sesgo "abductivo" persistente (un acoplamiento entre el estado actual y la siguiente observación que no es explicado por $\theta$) y un término residual que solo desaparece cuando la longitud de la trayectoria $T \to \infty$.

2. Resultados Positivos en Diseño Experimental Bayesiano (BED):
   En entornos BED (donde $p(s_t | s_{t-1}, a_{t-1}, \theta) = p(s_t | a_{t-1}, \theta)$), las obstrucciones estructurales desaparecen:

   • El sesgo abductivo en $r_{sum}$ desaparece, convirtiéndolo en un estimador asintóticamente imparcial de la BIG cuando $T \to \infty$.
   • $r_{dl}$ es implementable mediante un compromiso de acción contrafáctica (reutilizando la acción) y converge a la BIG cuando $t \to \infty$, limitado por una brecha de Jensen.
   • Los autores establecen que $r_{sum}$ y $r_{dl}$ proporcionan límites inferior y superior de la BIG, respectivamente, en entornos BED.

3. Validación Empírica:
   Se realizaron experimentos en tres entornos: estimación de funciones de Procesos Gaussianos (GP), Mastermind (descifrado de códigos) y Alquimia (descubrimiento de reglas).

   • Robustez al Ruido: En variantes ruidosas de estos entornos, las políticas entrenadas con $r_{sur}$ fallaron significativamente, realizando a menudo peor que las bases aleatorias debido al problema de la TV ruidosa.
   • Rendimiento: Las políticas entrenadas con $r_{sum}$ y $r_{dl}$ aprendieron con éxito a ignorar el ruido aleatorio y centrarse en la incertidumbre epistémica, logrando un rendimiento comparable o incluso superior al de las políticas entrenadas con recompensas específicas de la tarea ($r_{task}$).
   • Eficiencia del Modelo: Los experimentos demostraron que los modelos de secuencia preentrenados (Redes Ajustadas a la Prioridad) pueden aproximar eficazmente los complejos oráculos bayesianos requeridos para estas recompensas, validando el uso de ICL para la curiosidad intrínseca.

Significado y Reivindicaciones
El artículo sostiene que proporciona la primera caracterización teórica rigurosa de la relación entre las recompensas de curiosidad basadas en la predicción y la Ganancia de Información Bayesiana cuando se utilizan aprendices en contexto. Establece que, si bien el ICL no puede replicar perfectamente la BIG en procesos de toma de decisiones secuenciales generales debido a los sesgos inherentes y las limitaciones de la interfaz, sí soporta con éxito la curiosidad intrínseca en entornos BED.

La importancia radica en demostrar una vía computacionalmente eficiente para la exploración impulsada por la curiosidad que evita la necesidad de costosas actualizaciones de gradiente de los modelos de mundo. Al demostrar que $r_{sum}$ y $r_{dl}$ pueden recuperar asintóticamente la BIG en configuros específicos y relevantes (como el aprendizaje activo), el trabajo sugiere que los grandes modelos de secuencia pueden servir como "modelos de mundo" efectivos para políticas de recolección de datos, permitiendo que los agentes exploren de manera óptima sin definiciones de tareas explícitas o actualizaciones de parámetros. Los autores mantienen la modestia, señalando que extender esto a BAMDPs generales con estructura temporal sigue siendo un desafío abierto que requiere innovaciones arquitectónicas o metodológicas adicionales.