💬 NLP

Agents Explore but Agents Ignore: LLMs Lack Environmental Curiosity

Cette étude révèle que les agents basés sur les LLM manquent de « curiosité environnementale », car ils échouent systématiquement à exploiter les solutions inattendues qu'ils découvrent dans leur environnement, malgré une capacité élevée à les repérer.

Auteurs originaux : Leon Engländer, Sophia Althammer, Ahmet Üstün, Matthias Gallé, Tom Sherborne

Publié 2026-04-21

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Leon Engländer, Sophia Althammer, Ahmet Üstün, Matthias Gallé, Tom Sherborne

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Titre : "Les Agents IA : Curieux ou Indifférents ?"

Imaginez que vous envoyez un détective robotique (un agent IA) dans une ville inconnue pour résoudre un mystère complexe. Ce détective est très intelligent, il a accès à toutes les cartes, aux outils de police et à une bibliothèque immense.

L'idée reçue, c'est que si ce détective trouve une piste cruciale (par exemple, un document qui contient la solution complète du crime), il va immédiatement s'exclamer : "Aha ! C'est ça ! Je vais utiliser cette information pour résoudre l'affaire !"

La réalité, selon cette étude, est beaucoup plus décevante :
Le détective trouve la piste, la lit, la voit de ses propres yeux... et puis il l'ignore complètement. Il continue son enquête en suivant son plan initial, comme si de rien n'était, même si la réponse est littéralement sous son nez.

L'Expérience : "Le Piège à Solution"

Pour prouver cela, les chercheurs ont mis en place une expérience géniale qu'ils appellent "l'injection de solution".

C'est comme si, dans le jeu vidéo du détective, ils plaçaient un panneau géant et lumineux au milieu de la route avec écrit : "LA RÉPONSE EST ICI, LISEZ-MOI !".

Ils ont testé cela sur trois types de missions :

Terminal-Bench : Des tâches informatiques (comme un administrateur système).
SWE-Bench : De la programmation (réparer des bugs dans du code).
AppWorld : Des tâches du quotidien (gérer des emails, des notes, des calendriers).

Le résultat est sans appel :

90 % du temps, le détective trouve le panneau. Il le voit. Il le lit.
Mais dans 90 % des cas, il ne fait rien avec. Il passe à côté.
Exemple concret : Dans l'expérience "AppWorld", le détective voyait un bouton spécial dans la liste des commandes qui disait : "Cliquez ici pour avoir la solution complète". Il voyait ce bouton dans 97 % des cas, mais il ne cliquait dessus que dans 0,5 % des cas !

C'est comme si un cuisinier voyait une recette parfaite écrite sur un post-it collé sur le frigo, mais qu'il décidait de continuer à cuisiner un plat raté en ignorant le post-it.

Pourquoi font-ils ça ? (Les Causes)

Les chercheurs ont cherché à comprendre pourquoi ces robots intelligents sont si "têtus". Ils ont identifié trois facteurs principaux :

Les Outils (La boîte à outils) :
Si on donne au détective une boîte à outils trop complète (avec des outils spéciaux pour tout faire), il devient paresseux. Il utilise ses outils appris par cœur sans regarder autour de lui. S'il n'a qu'un marteau et un tournevis de base, il est obligé de regarder la pièce pour comprendre quoi faire.
- Analogie : Si vous avez un GPS qui vous dit exactement où aller, vous ne regardez plus les panneaux de signalisation.
Le Temps de Réflexion (Le cerveau) :
Plus on laisse le détective réfléchir longtemps avant d'agir, plus il a de chances de remarquer la piste. Mais même avec beaucoup de temps, il ignore souvent la solution.
La Formation (L'école) :
C'est le point le plus important. Ces détectives ont été formés sur des exemples très spécifiques. On leur a appris à suivre un chemin précis : Action -> Observation -> Nouvelle Action.
Ils n'ont jamais été entraînés à dire : "Attends, cette observation est bizarre, elle change tout mon plan !". Ils sont conditionnés à ignorer ce qui ne correspond pas à leur plan initial.

La Leçon à en tirer

Cette étude nous dit quelque chose de fondamental sur l'intelligence artificielle actuelle :

Ils sont de bons "exécutants", mais de mauvais "adaptateurs". Ils sont excellents pour suivre un plan, mais ils sont terriblement mauvais pour changer de stratégie quand l'environnement leur donne une information inattendue.
Ils ne sont pas "curieux". La curiosité, c'est cette capacité à dire : "Tiens, c'est étrange, je devrais vérifier ça". Les agents actuels ne font pas ça. Ils utilisent leur environnement pour confirmer ce qu'ils pensent déjà, pas pour remettre en question leur plan.

En résumé :
Nous avons créé des robots très intelligents qui peuvent lire des livres entiers, mais qui, une fois qu'ils ont trouvé la réponse à la question qu'ils se posaient, préfèrent continuer à chercher la réponse dans les vieux tiroirs plutôt que de l'utiliser.

Pour que l'IA devienne vraiment utile dans le monde réel (où les choses changent tout le temps), nous devons apprendre à ces agents à être curieux et à réviser leurs plans quand ils découvrent quelque chose d'important, même si cela ne correspond pas à ce qu'ils avaient prévu.

1. Problématique

Les agents basés sur les grands modèles de langage (LLM) sont supposés intégrer les observations de leur environnement dans leur processus de raisonnement. L'hypothèse sous-jacente est que la découverte d'informations pertinentes mais inattendues devrait naturellement conduire le modèle à exploiter ces découvertes pour résoudre une tâche.

Cependant, les auteurs montrent que cette hypothèse est fausse pour les agents actuels. Bien que ces agents soient capables de découvrir des informations critiques (comme une solution complète à une tâche) lors de l'exploration de l'environnement, ils échouent systématiquement à interagir avec elles ou à les utiliser pour réviser leur stratégie. Ce phénomène est défini comme un manque de curiosité environnementale : la capacité à reconnaître et à enquêter sur des observations inattendues mais pertinentes en réponse à des stimuli environnementaux.

2. Méthodologie : L'Injection de Solution

Pour évaluer quantitativement cette curiosité, les auteurs proposent une nouvelle méthode appelée Solution Injection.

Principe : Au lieu de laisser l'agent chercher la solution, les auteurs injectent directement la solution complète (le "gold solution") dans l'environnement de l'agent (par exemple, sous forme de script exécutable solution.sh ou d'un point de terminaison API documenté dans l'aide en ligne de commande).
Objectif : Créer une information "inattendue mais hautement pertinente". Si l'agent ignore une solution explicitement étiquetée comme telle, il est peu probable qu'il intègre des signaux plus subtils dans des environnements réels.
Métriques proposées :
1. discovery@k : La probabilité que l'agent découvre la solution injectée dans $k$ tentatives.
2. interaction@k : La probabilité que l'agent interagisse avec la solution découverte (lecture, exécution, appel d'API) dans $k$ tentatives.
3. pass@k : Le taux de réussite standard de la tâche.
Benchmarks utilisés : L'étude a été appliquée à trois benchmarks couvrant différents domaines :
- Terminal-Bench : Tâches en ligne de commande (manipulation de fichiers, administration système).
- SWE-Bench Verified : Résolution de problèmes d'ingénierie logicielle (édition de code).
- AppWorld : Tâches numériques quotidiennes via des appels d'API simulés (emails, notes, calendriers).

3. Résultats Clés

A. Le fossé Découverte-Interaction

Les résultats montrent un écart massif et cohérent entre la découverte et l'interaction :

Découverte élevée : Les agents découvrent les solutions injectées dans 79 % à 98 % des cas (selon le benchmark et le modèle).
Interaction faible : Une fois découverts, les agents n'interagissent avec la solution que dans 37 % à 50 % des cas sur Terminal-Bench, et moins de 7 % sur AppWorld (où un agent voit la documentation disant "retourne la solution complète" mais n'appelle l'API que dans 0,53 % des cas).
Conclusion : Le goulot d'étranglement n'est pas la capacité à trouver l'information, mais la capacité à l'intégrer dans le raisonnement pour changer de plan.

B. Facteurs influençant la curiosité (Facteurs "Test-Time")

Les auteurs ont investigué trois facteurs lors de l'inférence :

Disponibilité des outils : Paradoxalement, ajouter des outils avancés (comme un éditeur de fichiers str_replace_editor) réduit la curiosité. Les agents avec plus d'outils tendent à appliquer des schémas appris spécifiques à l'outil plutôt que d'explorer l'environnement. Restreindre l'agent à un shell Bash seul double approximativement le taux d'interaction.
Budget de raisonnement (Compute) : Augmenter le budget de raisonnement (ex: "high reasoning" vs "low reasoning") améliore significativement la curiosité (le taux d'interaction sur Terminal-Bench triple).
Prompting : Des instructions explicites demandant à l'agent d'explorer et d'enquêter sur tous les fichiers découverts avant de procéder augmentent à la fois la curiosité et la performance globale.

C. Impact de la distribution d'entraînement

L'étude a fine-tuné des modèles sur des distributions de données étroites (in-domain) vs larges :

Réduction de la curiosité par le sur-ajustement (Overfitting) : Un fine-tuning sur une distribution étroite (ex: uniquement des tâches AppWorld) améliore le pass@1 sur ce domaine spécifique mais réduit drastiquement la curiosité environnementale et la diversité des chemins explorés.
Échelle pass@k : Les modèles entraînés sur des distributions plus larges montrent une meilleure échelle pass@k (capacité à trouver une solution parmi plusieurs tentatives), car ils explorent un espace de solutions plus vaste. Le fine-tuning étroit "comprime" cet espace.

4. Contributions Principales

Définition et Benchmarking : Définition formelle de la "curiosité environnementale" et démonstration de son absence chez les agents LLM modernes, indépendamment du modèle ou de l'architecture de l'agent.
Méthode d'Injection de Solution : Introduction d'une méthode robuste pour adapter les benchmarks existants afin de mesurer spécifiquement la capacité d'adaptation aux observations inattendues.
Nouvelles Métriques : Proposition de discovery@k et interaction@k pour distinguer la découverte passive de l'exploitation active.
Analyse des Facteurs : Identification que l'optimisation des facteurs d'inférence (outils, prompts, compute) améliore la curiosité mais ne résout pas le problème fondamental, qui semble ancré dans la phase d'entraînement.

5. Signification et Implications

Fragilité des Agents Actuels : Les agents actuels fonctionnent comme des générateurs de séquences en boucle ouverte. Ils utilisent l'environnement pour récupérer des informations attendues, mais ne révisent pas leur stratégie face à des informations inattendues. Cela les rend fragiles face à des environnements qui dévient de la distribution d'entraînement.
Limites des Métriques Actuelles : Les métriques de réussite de tâche (comme pass@k) sont insuffisantes car elles récompensent aussi bien les agents qui suivent un plan rigide que ceux qui s'adaptent. Les auteurs plaident pour des métriques orientées processus (comme interaction@k).
Défis Futurs : Le papier suggère que la curiosité environnementale n'est pas simplement un problème de configuration d'inférence, mais un problème d'alignement et d'entraînement. Les méthodes actuelles de fine-tuning (SFT) et de RL semblent renforcer des comportements de "recherche ciblée" plutôt que d'encourager l'observation réflexive.
Recommandations : Pour progresser, il faut développer des paradigmes d'entraînement qui enseignent aux agents à réfléchir sur leurs observations (boucle de rétroaction : Action → Observation → Réflexion → Nouvelle Action) plutôt que de simplement exécuter un plan préétabli.

En résumé, l'article met en lumière une lacune fondamentale dans les agents LLM actuels : ils voient la solution, mais ne la "voient" pas vraiment d'un point de vue cognitif, car ils ne la considèrent pas comme pertinente pour leur plan actuel.