💬 NLP

OdysseyArena: Benchmarking Large Language Models For Long-Horizon, Active and Inductive Interactions

Cet article introduit OdysseyArena, un nouveau benchmark comprenant 120 tâches standardisées et des tests de stress extrêmes conçus pour évaluer la capacité des grands modèles de langage à effectuer des interactions de longue portée, actives et inductives, révélant que même les modèles de pointe peinent à découvrir de manière autonome les lois de transition latentes dans des environnements complexes.

Auteurs originaux : Hang Yan, Fangzhi Xu, Qiushi Sun, Jinyang Wu, Zixian Huang, Muye Huang, Jingyang Gong, Zichen Ding, Kanzhi Cheng, Yian Wang, Xinyu Che, Zeyi Sun, Jian Zhang, Zhangyue Yin, Haoran Luo, Ben Kao, Qika Li

Publié 2026-06-05

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Hang Yan, Fangzhi Xu, Qiushi Sun, Jinyang Wu, Zixian Huang, Muye Huang, Jingyang Gong, Zichen Ding, Kanzhi Cheng, Yian Wang, Xinyu Che, Zeyi Sun, Jian Zhang, Zhangyue Yin, Haoran Luo, Ben Kao, Qika Lin

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseignez à un robot très intelligent comment jouer à un nouveau jeu de société complexe.

L'ancienne méthode (Déductive) :
La plupart des tests actuels pour l'IA reviennent à donner le livret de règles au robot avant qu'il ne commence à jouer. Vous dites : « Voici les règles : si tu tombes sur une case rouge, recule de deux cases. Si tu fais un six, avance. » Le robot se contente de suivre ces instructions explicites. Il est doué pour suivre des ordres, mais il ne comprend pas vraiment pourquoi les règles existent ni comment les déduire si le livret de règles est manquant.

La nouvelle méthode (Inductive) :
Le papier ODYSSEYARENA soutient que l'intelligence réelle dans le monde réel ne consiste pas à suivre un livret de règles, mais à découvrir les règles pendant que l'on joue. Imaginez que vous donniez le jeu de société au robot, mais en lui cachant le livret de règles. Le robot doit déplacer les pièces, observer ce qui se passe, être confus, réessayer, et peu à peu, comprendre la logique cachée par lui-même. C'est ce qu'on appelle le « raisonnement inductif ».

Le Problème

Les chercheurs ont découvert que même les modèles d'IA les plus intelligents d'aujourd'hui sont terribles à cela. Ils sont excellents pour suivre des instructions (déduction) mais peinent à apprendre de l'expérience lorsque les règles sont cachées (induction). Ils s'enferment dans des boucles, oublient ce qu'ils ont appris ou abandonnent lorsque le jeu devient long et compliqué.

La Solution : ODYSSEYARENA

Pour tester cela, l'équipe a construit une nouvelle « salle de sport » appelée ODYSSEYARENA. Au lieu de tâches courtes et simples, ils ont créé quatre « jeux » différents qui forcent l'IA à être un détective. Ces jeux sont conçus pour être longs (des centaines d'étapes) et exigent que l'IA explore activement.

Voici les quatre jeux, expliqués avec des analogies simples :

Allumer les lumières (Le puzzle logique) :
- La configuration : Vous avez un mur d'ampoules. Certaines sont allumées, d'autres éteintes. Vous pouvez actionner un interrupteur, mais vous ne connaissez pas le câblage.
- Le défi : Actionner un interrupteur peut allumer une ampoule, mais cela peut aussi éteindre accidentellement trois autres ampoules à cause d'une connexion cachée. L'IA doit actionner des interrupteurs, observer les résultats et comprendre le schéma de câblage secret par simple essai et erreur.
- La métaphore : C'est comme essayer de réparer une guirlande de Noël emmêlée sans manuel, en devinant quelle ampoule contrôle les autres.
Trading d'IA (La Bourse) :
- La configuration : L'IA est un trader possédant un portefeuille d'actions. Chaque jour, le marché bouge en fonction de « facteurs » cachés (comme la métologie ou les actualités) que l'IA ne peut pas voir directement, seulement deviner via des indices.
- Le défi : L'IA doit observer les prix des actions et les actualités, deviner la mathématique cachée qui les relie, et prédire l'avenir pour gagner de l'argent.
- La métaphore : C'est comme essayer de prédire la météo en regardant seulement comment les gens sont habillés, sans jamais voir le ciel. Vous devez découvrir le lien entre « les gens portant des manteaux » et « la pluie ».
Répartition de l'énergie (Le réseau électrique) :
- La configuration : L'IA est un gestionnaire de centrale électrique. Elle doit équilibrer l'énergie provenant du soleil, du vent et du charbon pour maintenir une ville sous tension.
- Le défi : Le soleil et le vent sont imprévisibles et suivent des cycles cachés (comme les saisons). Si l'IA fait une erreur pendant trois jours consécutifs, tout le réseau s'effondre. Elle doit apprendre les rythmes cachés de la nature pour maintenir la lumière allumée.
- La métaphore : C'est comme essayer de maintenir un feu de camp parfaitement allumé pendant une nuit de tempête, alors que le vent change de direction chaque heure selon un motif que vous devez deviner.
Système Repo (Le réparateur de logiciels) :
- La configuration : L'IA est un programmeur informatique essayant d'installer des paquets logiciels.
- Le défi : Installer un logiciel peut en casser un autre à cause de conflits de versions cachés. L'IA doit installer, tester, casser, réparer et réinstaller, en cartographiant lentement le réseau invisible des dépendances entre les différents programmes.
- La métaphore : C'est comme essayer de construire une maison où l'achat d'une nouvelle porte pourrait accidentellement faire tomber un mur que vous avez construit hier. Vous devez comprendre le plan au fur et à mesure.

Ce qu'ils ont trouvé

Les chercheurs ont testé plus de 15 des modèles d'IA les plus intelligents au monde (incluant les meilleurs modèles commerciaux et open-source) sur ces jeux.

Le résultat : Même les meilleurs modèles ont échoué lamentablement sur les tâches à long horizon. Ils se sont enfermés dans des boucles (répétant la même erreur encore et encore), ont oublié ce qu'ils avaient appris précédemment, et n'ont pas réussi à découvrir les règles cachées.
L'écart : Lorsque les chercheurs donnaient les règles aux modèles à l'avance, les modèles réussissaient très bien. Mais lorsqu'ils devaient découvrir les règles par eux-mêmes, la performance tombait à presque zéro.
La conclusion : L'IA actuelle est comme un étudiant qui est excellent pour mémoriser un manuel, mais qui échoue complètement lorsqu'on lui demande de résoudre un problème sans le livre. Le plus grand goulot d'étranglement pour créer des agents véritablement autonomes n'est pas de les rendre plus grands ou plus rapides ; c'est de leur apprendre à apprendre de leurs propres erreurs et à découvrir des motifs cachés dans le monde.

En bref, ODYSSEYARENA est une nouvelle façon de tester l'IA qui cesse de demander « Peux-tu suivre des ordres ? » pour demander « Peux-tu comprendre comment le monde fonctionne par toi-même ? » La réponse, jusqu'à présent, est : « Pas vraiment. »

Résumé Technique : ODYSSEYARENA

Énoncé du Problème

Les évaluations actuelles des agents de modèles de langage étendu (LLM) reposent principalement sur un paradigme déductif. Dans ces configurations, les agents reçoivent des règles explicites, des objectifs statiques et, souvent, des instructions de référence ou une documentation d'API détaillée. Bien qu'efficace pour évaluer le respect des instructions et la planification à court horizon, cette approche néglige la nécessité inductive pour les agents de découvrir de manière autonome les lois de transition latentes par l'expérience. Le déploiement en conditions réelles exige que les agents sondent activement les environnements, réagissent aux retours et ajustent de manière itérative leurs actions par l'auto-amélioration sans règles pré-spécifiées. De plus, les benchmarks existants restreignent souvent les horizons d'interaction à moins de 50 étapes, échouant ainsi à capturer les défis de l'accumulation d'erreurs et la nécessité d'une cohérence stratégique sur des milliers d'étapes. Il existe un fossé critique dans l'évaluation de la capacité d'un agent à inférer des règles cachées et des dynamiques de transition à partir d'une expérience interactive en temps réel.

Méthodologie

Pour combler ces lacunes, les auteurs introduisent ODYSSEYARENA, une suite d'environnements interactifs conçus pour recentrer l'évaluation des agents sur des interactions de long horizon, actives et inductives.

Cadre Théorique

Les auteurs formalisent les environnements interactifs comme des fonctions de transition d'état génératrices : $(s_{t+1}, r_t) = T(s_t, a_t)$ , où $s_t$ est un état latent et $a_t$ une action de l'agent. La fonction de transition $T$ encode implicitement les règles de l'environnement. Les agents doivent induire la forme fonctionnelle de $T$ par une interaction stratégique. Les auteurs décomposent la dynamique de l'environnement en quatre primitives structurelles orthogonales :

Règles Symboliques Discrètes : Logique booléenne sur $N$ bits nécessitant la découverte de dépendances causales latentes.
Dynamiques Stochastiques Continues : Évolution dans un espace d'états continu gouvernée par des facteurs latents obscurcis par le bruit, nécessitant une inférence statistique.
Motifs Temporels Périodiques : Régularités cycliques nécessitant l'identification de dépendances temporelles à longue portée pour optimiser les compromis multi-objectifs.
Structures de Graphes Relationnels : Interactions non locales définies par un graphe caché $G$ , nécessitant un raisonnement relationnel sur des contraintes topologiques.

Instanciation de l'Environnement

Ces primitives sont matérialisées en quatre environnements diversifiés (Figure 2) :

Allumer les Lumières (Turn On Lights) : Instancie des règles symboliques discrètes. Les agents basculent des lumières interdépendantes pour atteindre une configuration cible. Des couplages booléens cachés dictent les changements d'état, nécessitant une exploration active pour inférer le réseau logique.
Trading IA (AI Trading) : Instancie des dynamiques stochastiques continues. Les agents gèrent un portefeuille multi-actifs où les transitions de prix sont pilotées par des facteurs de marché latents ( $z_t$ ) et une matrice de dépendance cachée ( $W$ ). Le succès nécessite de distinguer le signal du bruit pour exécuter des stratégies de trading à long horizon.
Répartition de l'Énergie (Energy Dispatch) : Instancie des motifs temporels périodiques. Les agents allouent des ressources thermiques, éoliennes, solaires et de batterie sous des contraintes de budget et de demande. Le système présente des cycles d'efficacité variables et cachés pour les sources renouvelables, exigeant que l'agent anticipe les fluctuations périodiques pour éviter l'effondrement du système.
Système de Dépôt (Repo System) : Instancie des structures de graphes relationnels. Les agents configurent un projet Python en installant/désinstallant des packages. L'environnement contient un graphe de dépendances caché où les actions induisent des effets secondaires non monotones (ex: mises à jour/rétrogradations automatiques), nécessitant un diagnostic systématique et un raisonnement relationnel.

Protocoles de Benchmark

Les auteurs établissent deux suites de benchmarking standardisées :

ODYSSEYARENA-LITE : Une suite standardisée de 120 tâches curatées (30 par environnement) optimisée pour une évaluation efficace. Les horizons d'interaction sont informatiquement tractables (ex: 120–200 étapes) mais suffisants pour nécessiter une planification à long horizon et une induction active.
ODYSSEYARENA-CHALLENGE : Une suite de test de résistance avec plus de 1 000 étapes par tâche, conçue pour sonder les limites de la persistance de l'agent, de la stabilité du raisonnement et du maintien de la stratégie sur des horizons extrêmes.

Pour garantir la reproductibilité et une comparaison équitable, tous les éléments stochastiques (ex: facteurs de marché, courbes d'efficacité) sont prédéterminés comme des séquences fixes dans les métadonnées des tâches, supprimant le caractère aléatoire au moment de l'exécution tout en préservant le défi inductif.

Contributions Clés

Nouveau Paradigme d'Évaluation : Le papier propose un passage du respect des instructions déductives à la découverte autonome, en se concentrant sur l'induction de la dynamique du monde latent par une interaction active et de long horizon.
Benchmark Fiable et Scalable : L'instanciation du paradigme inductif dans ODYSSEYARENA, fournissant ODYSSEYARENA-LITE comme suite standard pour une évaluation efficace et ODYSSEYARENA-CHALLENGE pour les tests de résistance.
Évaluations et Insights Approfondis : Une évaluation complète de plus de 15 LLM de pointe (propriétaires et open-source) qui caractérise le goulot d'étranglement inductif comme une barrière fondamentale à la découverte autonome.

Résultats Expérimentaux

Les auteurs ont évalué plus de 15 modèles, incluant Gemini 3 Pro Preview, GPT-5, DeepSeek-V3.2, ainsi que diverses séries Llama et Qwen.

Écart de Performance : Même les modèles commerciaux de pointe (ex: Gemini 3 Pro Preview) atteignent un taux de réussite maximal de 44,17 % sur ODYSSEYARENA-LITE, nettement inférieur à la performance humaine (qui atteint 81,67 % sur Turn On Lights et 100 % sur Repo System).
Inductif vs Déductif : Une découverte critique est l'asymétrie entre les capacités déductives et inductives. Lorsqu'ils sont fournis avec des règles explicites (le réglage "avec règles"), les modèles atteignent un succès quasi parfait (ex: 100 % sur Turn On Lights). Cependant, sans ces règles, la performance chute drastiquement, confirmant que le principal obstacle est la découverte de la dynamique du monde, et non la complexité de la logique de la tâche elle-même.
Modes de Défaillance : L'analyse des trajectoires d'échec (Tableau 3) révèle que les problèmes les plus fréquents sont les Limitations d'Exploration (80,85 % des échecs), où les agents convergent vers des optima locaux sans test d'hypothèse systématique, et les Contraintes de Mémoire (57,45 %), où les agents échouent à récupérer des preuves clés sur de longs historiques. L'Incapacité de Planification s'est avérée rare (4,26 %).
Limites de Mise à l'Échelle (Scaling) : Bien que les modèles plus larges surpassent généralement les plus petits, l'échec omniprésent dans les tâches nécessitant la synthèse de motifs périodiques (Energy Dispatch) suggère que l'augmentation de l'échelle seule est insuffisante pour surmonter le goulot d'étranglement inductif pour une modélisation robuste de la structure du monde.
Saturation de Long Horizon : Les courbes de taux de réussite plafonnent souvent tôt, indiquant que les budgets d'interaction étendus procurent des gains marginaux négligeables pour les modèles dépourvus d'un modèle de monde interne cohérent.

Signification

Le papier affirme que ODYSSEYARENA identifie un goulot d'étranglement critique dans la quête de la découverte autonome dans des environnements complexes. Les résultats suggèrent que les LLM actuels excellent dans la conformité déductive mais manquent de la capacité inductive pour synthétiser de manière autonome les mécaniques de l'environnement par l'expérience. Ce travail soutient que les recherches futures vers une intelligence plus agentique doivent prioriser les architectures capables de distiller les lois de transition latentes à partir de l'expérience brute, comblant ainsi le fossé entre le respect passif des règles et la découverte active. Le benchmark fournit un cadre rigoureux pour évaluer et améliorer ces capacités, allant au-delà des limites des évaluations statiques, de court horizon et déductives.