🤖 machine learning

LatentGym: A Testbed For Cross-Task Experiential Learning With Controllable Latent Structure

Le papier introduit LatentGym, un banc d'essai contrôlable doté de structures latentes de vérité terrain qui permet l'évaluation de l'apprentissage expérientiel inter-tâches dans les systèmes agentiques en séparant l'exploration de l'exploitation, facilitant ainsi l'étude de comment et pourquoi les LLM s'adaptent à travers des tâches séquentielles.

Auteurs originaux : Daksh Mittal, Tommaso Castellani, Thomson Yen, Naimeng Ye, Fangyu Wu, Minghui Chen, Tiffany Cai, Emmanouil Koukoumidis, William Zeng, Hongseok Namkoong

Publié 2026-06-16

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Daksh Mittal, Tommaso Castellani, Thomson Yen, Naimeng Ye, Fangyu Wu, Minghui Chen, Tiffany Cai, Emmanouil Koukoumidis, William Zeng, Hongseok Namkoong

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un robot très intelligent mais légèrement rigide comment jouer à une série de jeux. Dans le monde réel, nous, les humains, sommes excellents pour « relier les points ». Si vous jouez à un jeu où la réponse est toujours l'un de trois nombres, et que vous jouez dix fois, vous réalisez rapidement : « Hé, la réponse est toujours l'un de ces trois nombres ! » Vous arrêtez de deviner au hasard et commencez à proposer ces trois nombres. Vous apprenez de l'expérience.

L'article soutient qu'aujourd'hui, les agents d'IA les plus avancés (comme ceux qui alimentent les chatbots) sont étonnamment mauvais à cela. Ils ont tendance à traiter chaque jeu comme s'il était totalement nouveau, oubliant tout ce qu'ils ont appris lors des neuf jeux précédents.

Pour prouver cela et comprendre comment le corriger, les auteurs ont construit le LatentGym.

Le terrain de jeu : LatentGym

Considérez le LatentGym non pas comme un seul jeu, mais comme une usine de création de séquences de jeux.

Le « Latent » (La règle cachée) : Dans un jeu normal, les règles sont fixes. Dans le LatimentGym, il y a une « règle secrète » qui s'applique à tous les jeux d'une séquence. Par exemple, dans un jeu de devinettes de nombres, la règle secrète pourrait être : « Le nombre est toujours soit 137, soit 793. » L'IA ne le sait pas au début ; elle doit le découvrir en jouant.
Les curseurs de contrôle : Les chercheurs peuvent ajuster la difficulté comme sur une table de mixage :
- Le Prompt (L'instruction) : Quelle part de la règle secrète disent-ils à l'IA ? (Rien ? Un indice vague ? Toute la vérité ?)
- Le Feedback (Le retour d'information) : Après un jeu, disent-ils simplement « Tu as gagné/perdu », ou révèlent-ils la réponse réelle pour que l'IA puisse apprendre ?
- L'Horizon : Combien de jeux y a-t-il dans la séquence ? (5 ? 10 ? 20 ?)

Cette configuration est cruciale car, dans la plupart des tests d'IA, si une IA échoue, vous ne savez pas pourquoi. A-t-elle manqué le motif ? A-t-elle vu le motif mais oublié de l'utiliser ? Dans le LatentGym, les chercheurs connaissent parfaitement la règle secrète, ils peuvent donc identifier précisément l'endroit où le cerveau de l'IA a court-circuité.

Le Problème : Comment l'IA échoue

Lorsque les chercheurs ont testé les meilleurs modèles d'IA (comme GPT-4o et Claude) sur ces séquences simples, ils ont découvert trois façons spécifiques dont l'IA échoue à apprendre :

Négligence de l'adaptation (Le syndrome du « Bouton Reset ») : L'IA ignore le fait qu'elle a déjà joué auparavant. Même si la réponse est toujours « Rouge », elle traite le deuxième jeu comme si c'était le premier de tous, commençant par une supposition aléatoire au lieu de vérifier « Rouge » en priorité. C'est comme un étudiant qui oublie qu'il a passé un examen de mathématiques hier et essaie de redériver la formule à partir de zéro aujourd'hui.
Rupture d'adaptation (Le syndrome du « Regard plissé ») : L'IA remarque un motif (« Attendez, les nombres diminuent ! »), mais elle ne sait pas comment utiliser cette information. Elle voit l'indice mais continue de jouer de l'ancienne façon. C'est comme voir un panneau « Sol Glissant » mais continuer à marcher normalement au lieu de ralentir.
Mauvais calibrage de l'adaptation (Le syndrome de « L'overthinker ») : Lorsque les chercheurs ont explicitement dit à l'IA la règle (« La réponse est toujours 137 ou 793 »), l'IA s'est parfois emmêlée les pinceaux et a réalisé de moins bonne performance que lorsqu'on ne lui avait rien dit. Elle essayait tellement de suivre la règle qu'elle en oubliait les mécaniques réelles du jeu. C'est comme se faire dire « Ne pense pas à un éléphant rose » et passer tout son temps à penser à des éléphants roses, en oubliant de jouer au jeu.

La Solution : Le RL Cross-Task

Les chercheurs ont tenté d'apprendre à l'IA à mieux apprendre en utilisant une méthode appelée Apprentissage par Renforcement (RL) Cross-Task.

L'ancienne méthode (RL Single-Task) : Vous entraînez l'IA sur le Jeu 1, puis le Jeu 2, puis le Jeu 3. Elle apprend à gagner au Jeu 1, puis au Jeu 2, mais elle n'apprend pas à les connecter.
La nouvelle méthode (RL Cross-Task) : Vous entraînez l'IA sur la séquence entière en une seule fois. Vous lui dites : « Ton but n'est pas seulement de gagner au Jeu 1 ; ton but est de gagner au Jeu 10 en apprenant des Jeux 1 à 9. »

Les Résultats :
Lorsqu'ils ont utilisé cette nouvelle méthode d'entraînement, l'IA a réellement appris à s'adapter.

Elle a commencé à chercher des motifs tôt dans la séquence.
Elle a commencé à utiliser ces motifs pour gagner les jeux ultérieurs plus rapidement.
Crucialement, cet apprentissage s'est généralisé. Même lorsqu'ils ont testé l'IA sur un nouveau ensemble de jeux avec une nouvelle règle cachée qu'elle n'avait jamais vue, elle était toujours meilleure pour la découvrir que l'IA entraînée de l'ancienne manière. Elle a appris une « méta-compétence » de l'apprentissage.

Un tournant surprenant : Moins d'informations, c'est mieux

L'une des découvertes les plus intéressantes concernait le feedback.

Feedback riche : Dire à l'IA la réponse exacte après chaque jeu.
Feedback parcimonieux : Dire simplement à l'IA « Tu as gagné » ou « Tu as perdu ».

Contrairement aux attentes, l'IA entraînée avec un Feedback Parcimonieux (moins d'informations) s'est avérée plus performante pour se généraliser à de nouvelles situations que celle entraînée avec un Feedback Riche. Il semble que lorsque vous donnez la réponse trop facilement à l'IA, elle devient paresseuse ou trop dépendante de cet indice spécifique. Lorsqu'elle doit découvrir les choses avec un simple signal de « victoire/défaite », elle construit une stratégie plus robuste qui fonctionne même lorsque les indices changent.

L'essentiel

L'article présente un nouveau « gymnase » (LatentGym) pour tester si les agents d'IA peuvent apprendre à partir d'une séquence de tâches liées. Ils ont découvert que les IA actuelles sont mauvaises pour cela, échouant souvent à relier les points entre les tâches. Cependant, en les entraînant sur des séquences complètes de tâches (RL Cross-Task) plutôt que sur des tâches isolées, elles peuvent acquérir une capacité générale d'adaptation. Ce cadre permet aux chercheurs de voir exactement pourquoi une IA échoue et comment y remédier, nous rapprochant d'agents qui apprennent véritablement de l'expérience.

Résumé Technique : LatentGym

Énoncé du Problème

Les cadres actuels d'entraînement et d'évaluation pour les agents de Grands Modèles de Langage (LLM) manquent de la capacité d'étudier rigoureusement l'apprentissage expérientiel inter-tâches : la capacité d'un agent à s'améliorer sur une séquence de tâches liées en déduisant et en utilisant des structures latentes partagées. Les benchmarks existants traitent souvent les tâches de manière indépendante ou reposent sur des structures implicites qui ne sont pas contrôlables par l'expérimentateur. Par conséquent, il est difficile de diagnostiquer pourquoi un agent échoue à s'adapter (par exemple, s'il a échoué à détecter la structure, échoué à l'inférer, ou échoué à agir en conséquence) ou de comparer des méthodes visant à instaurer cette capacité.

Méthodologie : LatentGym

Les auteurs introduisent LatentGym, un banc d'essai contrôlable conçu pour isoler et mesurer l'adaptation inter-tâches. Le cadre repose sur trois composantes fondamentales :

1. Environnements Contrôlables

LatentGym organise les environnements autour d'une variable latente explicite et de vérité terrain ( $z$ ) qui régit la régularité partagée à travers une séquence de $N$ tâches. Le cadre factorise chaque environnement selon cinq axes orthogonaux :

Dynamique Centrale : Le problème de décision intra-tâche (ex: devinette de nombres, bandits, escaliers de mots).
Latent : La structure de vérité terrain partagée à travers la séquence (ex: un ensemble fixe de nombres cibles, un bras optimal rotatif dans les bandits).
Type de Prompt : Contrôle la disponibilité de l'information concernant le latent (Aucune information, Indice vague, ou Information complète).
Type de Feedback : Détermine l'information post-tâche (Standard : succès/échec uniquement ; Information : résultat de vérité terrain révélé).
Horizon ( $N$ ) : Le nombre de tâches dans la séquence.
La suite comprend sept environnements construits sur des jeux textuels (Devinette de nombres, Bandits, Secrétaire, Mastermind, Escalier de mots, Wordle, Hangman), chacun possédant plusieurs configurations latentes.

2. Diagnostic : Exploration vs Exploitation

Pour aller au-delà des métriques de récompense agrégées, LatentGym introduit un mécanisme de commutation d'agent contrefactuel. À un point de commutation $K$ , l'historique recueilli par un agent « explorateur » est transmis à un agent « exploiteur ». Cela permet de séparer deux capacités distinctes :

Efficacité de l'Exploration : Si les actions de l'agent dans les premières tâches recueillent des preuves informatives sur le latent.
Efficacité de l'Exploitation : Si l'agent utilise efficacement ces preuves pour améliorer ses performances dans les tâches ultérieures.
Les métriques incluent la récompense cumulative ( $R$ ), le gain inter-tâches ( $r_N - r_1$ ), et la récompense de la tâche finale ( $r_N$ ).

3. Pipeline RL Intégré

Le cadre s'intègre à SkyRL, supportant les algorithmes standards (SFT, PPO, GRPO). Il permet le RL Inter-Tâches (Cross-Task RL), où la politique est affinée de bout en bout sur des séquences complètes de tâches liées en utilisant un objectif de récompense cumulative ( $\sum r_i$ ). Cela contraste avec le RL Mono-Tâche (Single-Task RL), qui optimise des tâches isolées.

Contributions Clés et Résultats

1. Modes de Défaillance des Modèles de Pointe

L'évaluation des modèles de pointe (GPT-4o, Claude Sonnet 4.6, Gemini 2.5 Flash) sur LatentGym révèle qu'ils échouent souvent à s'adapter, même sous des structures latentes simples. Les auteurs identifient trois modes de défaillance récurrents :

Négligence de l'Adaptation : Les modèles redémarrent systématiquement leurs stratégies (ex: recherche dichotomique) pour chaque tâche, ignorant les preuves inter-tâches même lorsque des indices sont fournis.
Rupture de l'Adaptation : Les modèles reconnaissent les motifs mais échouent à agir dessus de manière fiable, ou agissent de manières qui dégradent les performances (ex: sur-apprentissage d'un motif).
Mauvaise Calibrage de l'Adaptation : Fournir des informations explicites sur le latent peut paradoxalement dégrader les performances, car les modèles peuvent trop se conditionner sur la règle fournie et violer les contraintes opérationnelles.

2. Le RL Inter-Tâches Induit une Adaptation Générale

Les auteurs démontrent que le RL Inter-Tâches (affinement sur des séquences complètes) instaure avec succès des capacités d'adaptation inter-tâches que le RL Mono-Tâche ne parvient pas à obtenir.

Gains de Performance : Le RL Inter-Tâches surpasse significativement les modèles de base et le RL Mono-Tâche en termes de récompense cumulative, de gain inter-tâches et de récompense de la tâche finale dans tous les environnements testés.
Généralisation : Les stratégies d'adaptation apprises se généralisent aux latents hors distribution (OOD-1) et aux environnements hors distribution (OOD-2), suggérant l'acquisition d'une méta-stratégie générale plutôt que de indices spécifiques à l'environnement.
Mécanisme : L'analyse via la commutation d'agent montre que le RL Inter-Tâches améliore à la fois l'efficacité de l'exploration et de l'exploitation, bien que le facteur dominant varie selon l'environnement (ex: l'exploitation domine dans la Devinette de nombres, tandis que l'exploration domine dans Hangman).

3. Impact des Choix de Conception lors de l'Entraînement

L'étude examine comment les conditions d'entraînement affectent la généralisation :

Densité de Feedback : De manière contre-intuitive, l'entraînement avec un feedback standard (parcimonieux) transfère plus de manière robuste vers les conditions de déploiement qu'un entraînement avec un feedback riche en informations. Les modèles entraînés avec une information complète subissent des chutes de performance significatives lorsqu'ils sont évalués sous un feedback standard.
Richesse des Prompts : L'entraînement avec des indices vagues (« quelque part de l'info ») produit des modèles qui sont plus uniformément transférables entre les conditions de prompt par rapport aux modèles entraînés avec l'information complète, lesquels montrent un avantage marqué en distribution mais un faible transfert entre les prompts.

Signification

L'article positionne LatentGym comme un instrument fondamental pour l'étude principled de l'apprentissage expérientiel inter-tâches dans les agents LLM. En fournissant un laboratoire partagé et contrôlable avec des latents de vérité terrain, il permet :

Le Diagnostic : Isoler des modes de défaillance spécifiques (négligence, rupture, mauvais calibrage) que les benchmarks agrégés occultent.
Le Développement d'Algorithmes : Tester si l'entraînement sur des séquences induit des stratégies d'adaptation générales.
Des Insights de Conception : Révéler que « moins, c'est mieux » dans les données d'entraînement (feedback parcimonieux) pour une généralisation robuste.

Les auteurs concluent que LatentGym offre une base contrôlée pour concevoir des agents capables de s'adapter plus fiablement dans des contextes séquentiels, personnalisés et interactifs, dépassant la limitation actuelle qui consiste à traiter les tâches de manière isolée.