Language Models Struggle to Use Representations Learned In-Context

1. Énoncé du problème

Bien que les grands modèles de langage (LM) aient démontré des capacités impressionnantes en prédiction du prochain token et en raisonnement complexe, un écart critique subsiste dans leur capacité à fonctionner comme de véritables agents artificiels adaptables. Plus précisément, l'article examine si les LM peuvent déployer de manière flexible des représentations riches et structurées de données apprises entièrement en contexte (c'est-à-dire sans mise à jour des paramètres) pour résoudre de nouvelles tâches en aval.

Des travaux antérieurs (Park et al., 2025a) ont établi que les LM peuvent encoder de nouvelles sémantiques dans leurs états cachés latents lorsqu'ils sont exposés à un contexte spécifique (par exemple, apprendre la topologie d'une marche aléatoire). Cependant, il est incertain de savoir si ces représentations sont inertes (décodables mais inutilisées) ou déployables de manière flexible (pilotant causalement les réponses à de nouvelles tâches). La question centrale est la suivante : Un LM peut-il apprendre une structure en contexte, puis utiliser activement cette structure pour résoudre une tâche différente nécessitant cette même structure ?

2. Méthodologie

Les auteurs ont conçu une série d'expériences utilisant des tâches synthétiques pour dissocier l'encodage (l'apprentissage de la représentation) du déploiement (l'utilisation de la représentation).

A. Tâche principale : Traçage de graphe et apprentissage de représentation en contexte (ICRL)

• Configuration : Les modèles sont confrontés à une séquence de tokens arbitraires générés par une marche aléatoire sur un espace d'états latents (les topologies incluent des lignes 1D et des grilles 2D de 16 ou 25 états).
• Métrique : Les auteurs utilisent l'énergie de Dirichlet (DE) et la corrélation de distance (DC) pour mesurer si les représentations des couches cachées du modèle se sont réorganisées pour refléter la topologie géométrique de l'espace d'états.
• Objectif : Confirmer que le modèle apprend avec succès la topologie dans son espace latent.

B. Expérience 1 : Prédiction du prochain token avec délai

• Objectif : Tester si la topologie apprise peut être utilisée pour prédire le prochain token après un délai.
• Conditions :
  1. Préremplie : La séquence de marche aléatoire est fournie comme partie intégrante de la réponse générée par le modèle (déploiement immédiat).
  2. Instruction : La séquence est fournie dans l'invite de l'utilisateur, obligeant le modèle à générer un token [ANSWER] puis à prédire le mot suivant après un écart (déploiement différé).
• Hypothèse : Si les représentations sont flexibles, les performances devraient être similaires dans les deux conditions. Si elles sont inertes, les performances devraient chuter considérablement dans la condition Instruction.

C. Expérience 2 : Modélisation adaptative du monde (AWM)

• Objectif : Une tâche nouvelle conçue pour forcer le modèle à utiliser la topologie apprise afin d'inférer une règle de transformation.
• Configuration :
  1. Phase 1 : Le modèle observe une marche aléatoire (apprentissage de la topologie).
  2. Phase 2 : Quelques exemples définissent une règle de mappage des états (par exemple, $s_{i,j} \to s_{i+2,j}$).
  3. Phase 3 : Le modèle doit appliquer cette règle à un état retenu.
• Défi : Comme les tokens sont arbitraires, le modèle doit se fier à la topologie apprise en contexte pour résoudre le mappage.
• Variations : Testé avec des règles « 1 étape » (règle observée dans la marche) et « 2 étapes/3 étapes » (règle non observée).

D. Expérience 3 : Modèles de raisonnement de pointe

• Sujets : Des modèles de raisonnement « de pointe » (Gemini-2.5 Pro/Flash, GPT-5) utilisant le raisonnement par Chaîne de Pensée (CoT).
• Objectif : Déterminer si des chaînes de raisonnement externalisées peuvent compenser des représentations cachées inertes.
• Analyse : Testé sur l'AWM et une tâche de « Description de structure » (demandant au modèle de décrire verbalement la topologie apprise).

3. Contributions clés

1. Introduction de la Modélisation Adaptative du Monde (AWM) : Une nouvelle tâche de référence spécifiquement conçue pour sonder le déploiement flexible des sémantiques en contexte.
2. Découplage de l'encodage et du déploiement : L'étude fournit des preuves empiriques qu'un apprentissage réussi de représentations en contexte (encodage) ne garantit pas la capacité d'utiliser ces représentations pour des tâches en aval (déploiement).
3. Analyse des modèles de raisonnement : La première évaluation systématique de savoir si les modèles de raisonnement de pointe surmontent la limitation des « représentations inertes » observée dans les modèles standards à poids ouverts.

4. Résultats clés

A. Modèles à poids ouverts (Gemma, OLMo)

• Succès de l'encodage : Les modèles ont appris avec succès la topologie dans leurs représentations latentes (les métriques DE et DC se sont améliorées avec la longueur du contexte) dans les deux conditions Instruction et Préremplie.
• Échec du déploiement :
  • Prédiction du prochain token : Les modèles ont bien performé dans la condition Préremplie mais ont considérablement peiné dans la condition Instruction (déploiement différé), malgré des représentations latentes équivalentes.
  • Tâche AWM : Les modèles n'ont pas réussi à résoudre la tâche AWM lorsqu'ils devaient inférer la topologie en contexte. La précision était proche de la ligne de base.
  • Résultat crucial : Lorsque la topologie était fournie explicitement dans l'invite (contournant la nécessité de l'apprendre en contexte), la précision a bondi à >75 %. Cela prouve que l'échec ne résidait pas dans l'induction de règles, mais dans le déploiement de la représentation apprise en contexte.
  • Dégradation de la représentation : Les représentations cachées des tokens dans les exemples à peu d'exemples (phase AWM) montraient une fidélité inférieure à la topologie par rapport à la phase de marche aléatoire, suggérant que la structure apprise n'était pas transférée de manière flexible.

B. Modèles de raisonnement de pointe (Gemini, GPT-5)

• Amélioration partielle : Les modèles de raisonnement ont surpassé les modèles à poids ouverts, en particulier sur les topologies 1D (lignes).
• Limites persistantes : Les performances se sont effondrées sur les topologies 2D (grilles).
• Mécanisme : Lorsqu'on leur demandait de décrire explicitement la topologie apprise, ces modèles ont atteint une précision « correcte mais pas parfaite ». Cela suggère que si les chaînes CoT permettent une certaine flexibilité dans le déploiement des sémantiques, le processus est imparfait et ne surmonte pas entièrement l'inertie des représentations cachées sous-jacentes.

5. Signification et implications

• Le problème de la « représentation inerte » : L'article remet en question l'hypothèse selon laquelle l'apprentissage en contexte crée un « modèle du monde » pleinement fonctionnel. Il suggère que les LM encodent souvent des structures dépendantes du contexte d'une manière qui est inerte : elles existent dans l'espace latent mais ne peuvent pas être accessibles causalement pour piloter un comportement dans de nouveaux contextes.
• Limites des architectures actuelles : Même les modèles de raisonnement les plus avancés (CoT) ne font que partiellement atténuer ce problème. Cela implique que les architectures de transformateurs actuelles, même avec un raisonnement étendu, peuvent manquer des mécanismes nécessaires à des agents véritablement adaptables capables de construire et de déployer des modèles du monde internes à la volée.
• Perspectives futures : Les auteurs suggèrent que l'atteinte d'un déploiement flexible pourrait nécessiter :
  • Des régimes d'entraînement ciblés.
  • Des interventions mécanistes pour rendre les sémantiques en contexte accessibles aux couches antérieures du modèle.
  • Des changements architecturaux favorisant le lien dynamique entre les représentations apprises et le raisonnement en aval.

En résumé, l'article démontre que si les LM excellent à enregistrer de nouvelles informations dans leur fenêtre de contexte, ils peinent actuellement à agir sur ces informations lorsque cela nécessite une application flexible et causale de la structure apprise à une tâche nouvelle.