Can In-Context Learning Support Intrinsic Curiosity?

Résumé Technique : L'apprentissage en contexte peut-il soutenir la curiosité intrinsèque ?

Énoncé du Problème
L'apprentissage automatique efficace repose non seulement sur la modélisation des données, mais aussi sur la sélection automatisée de celles-ci, un processus souvent appelé « curiosité intrinsèque ». Le standard théorique de l'or pour la curiosité intrinsèque est le Gain d'Information Bayésien (GIB), qui mesure l'information attendue acquise sur les paramètres latents ($\theta$) d'un environnement à partir d'une observation. Cependant, calculer le GIB est généralement intraitable car cela nécessite une inférence bayésienne explicite sur un espace d'hypothèses.

Les alternatives classiques, telles que la Progression de l'Apprentissage (LP), récompensent les agents en fonction de l'amélioration de la capacité prédictive d'un modèle de monde après l'acquisition de nouvelles données. Bien que théoriquement fondées, les implémentations traditionnelles de la LP nécessitent des boucles internes coûteuses de mises à jour par descente de gradient du modèle de monde pour chaque étape de trajectoire. Ce goulot d'étranglement computationnel rend la LP impraticable pour les modèles de séquences à grande échelle. La question centrale de ce travail est de savoir si l'Apprentissage en Contexte (ICL) — où les modèles de séquences agissent comme des prédicteurs amortis et sans mise à jour — peut servir de modèle de monde viable pour calculer efficacement les récompenses de curiosité intrinsèque, spécifiquement en approximant le GIB sans mise à jour explicite des paramètres.

Méthodologie
Les auteurs formalisent le cadre comme un Processus de Décision de Markov Bayes-Adaptatif (BAMDP) où une politique $\pi_\phi$ interagit avec des environnements échantillonnés à partir d'un a priori $p(\theta)$. L'objectif est de maximiser l'information mutuelle $I(s_t; \theta | h_t)$ (GIB) en utilisant uniquement les erreurs de prédiction d'un modèle de séquence pré-entraîné et gelé $\rho$ (un apprenant en contexte).

Les auteurs proposent et analysent trois types de récompenses intrinsèques dérivées de $\rho$ :

1. La Surprisal ($r_{sur}$) : La log-vraisemblance négative de l'observation, $-\log \rho(s_t | h_t)$.
2. La Réduction de la Longueur de Description ($r_{dl}$) : L'amélioration de la log-vraisemblance si la transition actuelle était incluse dans le contexte du modèle, ce qui nécessite théoriquement une mise à jour contrefactuelle de l'a posteriori.
3. La Somme des Améliorations Futures ($r_{sum}$) : Une nouvelle récompense mesurant la somme télescopique des améliorations de l'erreur de prédiction pour toutes les étapes futures d'une trajectoire si l'état actuel était observé par rapport à s'il était masqué. Elle est définie par :
   $$r_{sum}^t := \sum_{t'=t+1}^T [\log \rho(s_{t'} | h_{t'}) - \log \rho(s_{t'} | h_{t' \setminus t})]$$
   où $h_{t' \setminus t}$ représente l'historique avec $s_t$ masqué.

Une analyse théorique est menée pour déterminer si ces récompenses peuvent estimer sans biais le GIB dans des BAMDP généraux par rapport au cadre restreint de la Conception Expérimentale Bayésienne (BED), où les transitions sont conditionnellement indépendantes de l'action et des paramètres latents (par exemple, l'apprentissage actif).

Contributions Clés

1. Limites Théoriques dans les BAMDP Généraux :
   Les auteurs prouvent que pour les BAMDP généraux, aucune récompense à horizon fini implémentable via l'interface d'un apprenant en contexte ne peut être un estimateur sans biais du GIB.

   • La Surprisal ($r_{sur}$) est montrée comme étant biaisée par l'entropie aléatoire (le problème de la "télévision bruyante" ou noisy TV), récompensant le bruit imprévisible plutôt qu'une structure apprenable.
   • La Progression de l'Apprentissage ($r_{dl}$) ne peut généralement pas être implémentée via l'ICL car elle nécessite de modifier la distribution a posteriori du modèle, ce qui se situe en dehors de l'interface prédictive standard d'un modèle de séquence gelé.
   • La Somme des Améliorations ($r_{sum}$) est implémentable mais souffre d'un biais "abductif" persistant (un couplage entre l'état actuel et l'observation suivante non expliqué par $\theta$) et d'un terme résiduel qui ne s'annule que lorsque la longueur de la trajectoire $T \to \infty$.

2. Résultats Positifs dans la Conception Expérimentale Bayésienne (BED) :
   Dans les contextes BED (où $p(s_t | s_{t-1}, a_{t-1}, \theta) = p(s_t | a_{t-1}, \theta)$), les obstructions structurelles disparaissent :

   • Le biais abductif de $r_{sum}$ disparaît, faisant de celle-ci un estimateur asymptotiquement sans biais du GIB quand $T \to \infty$.
   • $r_{dl}$ devient implémentable via un engagement d'action contrefactuelle (réutilisation de l'action) et converge vers le GIB quand $t \to \infty$, bornée par un écart de Jensen.
   • Les auteurs établissent que $r_{sum}$ et $r_{dl}$ fournissent respectivement des bornes inférieures et supérieures sur le GIB dans les contextes BED.

3. Validation Empirique :
   Des expériences ont été menées dans trois environnements : l'estimation de fonction de Processus Gaussien (GP), Mastermind (codage de secrets), et Alchemy (découverte de règles).

   • Robustesse au Bruit : Dans les variantes bruitées de ces environnements, les politiques entraînées avec $r_{sur}$ ont échoué de manière significative, performant souvent moins bien que des bases aléatoires à cause du problème de la télévision bruyante.
   • Performance : Les politiques entraînées avec $r_{sum}$ et $r_{dl}$ ont appris avec succès à ignorer le bruit aléatoire pour se concentrer sur l'incertitude épistémique, atteignant des performances comparables ou supérieures aux politiques entraînées avec des récompenses spécifiques à la tâche ($r_{task}$).
   • Efficacité du Modèle : Les expériences ont démontré que les modèles de séquences pré-entraînés (Réseaux Ajustés par le Prior) peuvent effectivement approximer les oracles bayésiens complexes requis pour ces récompenses, validant l'utilisation de l'ICL pour la curiosité intrinsèque.

Signification et Revendications
Le papier affirme fournir la première caractérisation théorique rigoureuse de la relation entre les récompenses intrinsèques basées sur la prédiction et le Gain d'Information Bayésien lors de l'utilisation d'apprenants en contexte. Il établit que bien que l'ICL ne puisse pas répliquer parfaitement le GIB dans des processus de décision séquentiels généraux en raison de biais inhérents et de limitations d'interface, il soutient avec succès la curiosité intrinsèque dans les contextes BED.

La signification réside dans la démonstration d'une voie de calcul efficace vers l'exploration pilotée par la curiosité, évitant le besoin de mises à jour coûteuses par descente de gradient des modèles de monde. En prouvant que $r_{sum}$ et $r_{dl}$ peuvent récupérer asymptotiquement le GIB dans des contextes spécifiques et pertinents (comme l'apprentissage actif), ce travail suggère que les grands modèles de séquences peuvent servir de modèles de monde efficaces pour les politiques de collecte de données, permettant aux agents d'explorer de manière optimale sans définitions de tâches explicites ou mises à jour de paramètres. Les auteurs restent modestes, notant que l'extension de cela aux BAMDP généraux avec structure temporelle reste un défi ouvert nécessitant de nouvelles innovations architecturales ou méthodologiques.