💬 NLP

A Behavioural and Representational Evaluation of Goal-Directedness in Language Model Agents

Cet article propose un cadre combinant les tests comportementaux avec l'analyse de l'interprétabilité pour évaluer la capacité d'orientation vers un but des agents de modèles de langage, démontrant à travers une étude de cas en univers de grille que, bien que les agents fassent preuve d'une performance robuste, leurs représentations internes de cartes spatiales et de plans d'action subissent une réorganisation non linéaire durant le raisonnement, soulignant ainsi la nécessité d'un examen introspectif au-delà de la simple observation comportementale.

Auteurs originaux : Raghu Arghal, Fade Chen, Niall Dalton, Evgenii Kortukov, Calum McNamara, Angelos Nalmpantis, Moksh Nirvaan, Gabriele Sarti, Mario Giulianelli

Publié 2026-06-01

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Raghu Arghal, Fade Chen, Niall Dalton, Evgenii Kortukov, Calum McNamara, Angelos Nalmpantis, Moksh Nirvaan, Gabriele Sarti, Mario Giulianelli

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un ami robot très intelligent qui adore résoudre des labyrinthes. Vous lui dites : « Trouve le drapeau vert ! » et il commence à se déplacer. Mais voici la grande question : le robot sait-il réellement où se trouve le drapeau et prévoit-il d'y aller, ou est-il simplement en train de deviner et de passer par chance ?

Ce document est comme une histoire de détective où les auteurs tentent de comprendre exactement comment ce robot (un agent LLM - Grand Modèle de Langage) réfléchit lorsqu'il résout un labyrinthe. Ils ne se sont pas contentés de regarder ce que le robot faisait ; ils ont aussi jeté un coup d'œil à l'intérieur de son « cerveau » pour voir ce qu'il pensait.

Voici le détail de leur enquête en utilisant des analogies simples :

1. La mise en place : Le robot dans le labyrinthe

Les chercheurs ont placé un robot (appelé GPT-OSS-20B) dans un monde de grille numérique, comme un immense échiquier.

L'objectif : Le robot doit marcher d'un point de départ vers un but.
Les obstacles : Il y a des murs qu'il ne peut pas traverser.
Le test : Ils ont rendu les labyrinthes plus difficiles en les agrandissant ou en les remplissant de plus de murs.

2. Première partie : Observer les pieds du robot (Évaluation comportementale)

D'abord, les chercheurs ont simplement observé le mouvement du robot. Ils ont comparé le chemin du robot au « chemin parfait » qu'un mathématicien humain calculerait.

Le résultat : Le robot était plutôt bon. Quand le labyrinthe était facile, il marchait droit vers l'objectif. Quand le labyrinthe devenait plus difficile (plus grand ou avec plus de murs), il faisait plus d'erreurs, mais il ne baissait pas les bras et ne errait pas de manière aléatoire. Il semblait toujours essayer d'atteindre l'objectif.
Le test du « Miroir » : Ils ont pris un labyrinthe et l'ont retourné comme une image miroir ou l'ont fait pivoter. Le robot l'a toujours résolu aussi bien. Cela a prouvé que le robot n'était pas simplement en train de mémoriser des motifs spécifiques ; il comprenait réellement le concept du labyrinthe.
Le test de la « Distraction » : Ils ont placé une « Clé » brillante dans le labyrinthe.
- Scénario A : La Clé était nécessaire pour ouvrir une porte verrouillée pour atteindre l'objectif. Le robot a compris cela parfaitement.
- Scénario B : La Clé était inutile (pas de porte). Le robot a quand même été distrait par elle ! Il s'est souvent dirigé vers la clé même s'il n'en avait pas besoin. Cela suggère que le robot a une « habitude » de penser que les clés sont importantes, même quand elles ne le sont pas.

3. Deuxième partie : Jeter un coup d'œil à l'intérieur du cerveau (Évaluation représentationnelle)

Observer les pieds ne suffit pas. Le robot pourrait marcher vers l'objectif par accident. C'est pourquoi les chercheurs ont utilisé un outil spécial appelé « sonde » pour lire les pensées internes du robot (ses signaux cérébraux numériques) sans lui demander de parler.

Ils ont observé deux moments différents :

Avant que le robot ne commence à réfléchir : Que voit-il lorsqu'il regarde la carte pour la première fois ?
2.ent Après que le robot a réfléchi : Que voit-il juste avant de décider de bouger ?

La « Carte Cognitive » (L'image mentale)
Ils ont découvert que le robot construit une carte mentale approximative et floue de la pièce.

Il sait approximativement où il se trouve et où se trouve l'objectif.
Ce n'est pas une photo haute définition parfaite ; c'est plutôt un croquis. Il sait que l'objectif est « quelque part par là », mais il peut être légèrement décalé sur les coordonnées exactes.
Découverte cruciale : Lorsque le robot commence à « raisonner » (réfléchir intensément), cette carte floue devient plus floue encore. Le robot arrête de se concentrer sur l'ensemble de la carte et commence à se concentrer intensément sur le prochain pas très précis. C'est comme un conducteur qui arrête de regarder l'autoroute entière pour se concentrer entièrement sur la voiture juste devant lui avant de prendre un virage.

Le « Plan » (La liste de tâches)
Ils ont également vérifié si le robot gardait un plan pour les prochaines étapes dans sa tête.

Avant de réfléchir : Le cerveau du robot détenait un plan à long terme (une idée globale du chemin).
Après avoir réfléchi : Le plan à long terme s'est estompé, et le cerveau est devenu très clair sur le prochain mouvement immédiat.
La leçon à retenir : Le robot ne fait pas que réagir ; il détient réellement un plan. Mais l'acte de « réfléchir » change son cerveau, passant d'un « lecteur de carte » à un « exécutant étape par étape ».

4. La grande conclusion

Les auteurs concluent que pour vraiment comprendre si un robot est « orienté vers un but » (a un objectif), on ne peut pas se contenter de regarder ce qu'il fait. Il faut aussi regarder à l'intérieur de son cerveau.

La bonne nouvelle : Le robot a un objectif. Il construit des cartes mentales et planifie des étapes pour atteindre cet objectif.
La mauvaise nouvelle : Sa carte mentale est un peu floue, et il se laisse parfois distraire par des choses qui ressemblent à des objectifs (comme une clé), même quand elles ne le sont pas.
La leçon : Si nous voulons faire confiance aux agents d'IA à l'avenir, nous devons vérifier à la fois leurs actions et leurs pensées internes pour nous assurer qu'ils essaient réellement de faire ce que nous voulons, et qu'ils ne font pas que simuler ou qu'ils ne sont pas simplement confus par des distractions.

En bref : Le robot n'est pas un marcheur sans conscience. Il a une carte, il a un plan, et il sait où il va — mais sa carte est un peu floue, et il se laisse parfois détourner par des objets brillants.

Résumé technique : Une évaluation comportementale et représentationnelle de la direction vers un but dans les agents de modèles de langage

Énoncé du problème

Comprendre les objectifs d'un agent est essentiel pour expliquer et prédire son comportement, pourtant il n'existe aucune méthodologie établie pour attribuer de manière fiable des buts aux systèmes agentiques, particulièrement aux agents de Grands Modèles de Langage (LLM). Les évaluations purement comportementales font face à des limites fondamentales : un échec constant peut refléter des contraintes de capacité plutôt qu'une absence de direction vers un but (goal-directedness) ; de même, un comportement aligné peut émerger d'objectifs internes mal alignés (convergence instrumentale). Inversement, les analyses purement internes sans ancrage comportemental peuvent échouer à capturer la manière dont les agents interagissent réellement avec leur environnement. Ce document répond au besoin d'un cadre holistique intégrant l'évaluation comportementale à des analyses d'interprétabilité des représentations internes pour caractériser comment les agents représentent et poursuivent des objectifs.

Méthodologie

Les auteurs proposent un cadre « boîte blanche » combinant l'évaluation comportementale et le sondage d'activation (activation probing), testé sur un agent GPT-OSS-20B naviguant dans un monde de grille 2D entièrement observable (environnement MiniGrid).

1. Configuration expérimentale

Environnement : L'agent opère dans des grilles de $n \times n$ ( $n \in \{7, 9, 11, 13, 15\}$ ) avec des densités d'obstacles variables ( $d \in [0, 1]$ ). La tâche consiste à naviguer d'une position de départ vers un état cible.
Observabilité : L'environnement est entièrement observable pour éliminer les facteurs de confusion liés à la mémoire, la mise à jour des croyances sous incertitude et les compromis exploration-exploitation.
Représentation des entrées : Les grilles sont converties en représentations textuelles où chaque cellule correspond à un jeton (token) unique afin d'atténuer les problèmes de tokenisation.
Référence (Baseline) : Une politique optimale ( $\pi^*$ ) est dérivée via une recherche A* avec distance de Manhattan.

2. Évaluation comportementale

Les auteurs évaluent la politique de l'agent ( $\pi_\theta$ ) par rapport à la politique optimale selon plusieurs dimensions :

Difficulté de la tâche : Les métriques incluent la précision par action, l'entropie de la politique et la divergence de Jensen-Shannon (JSD) par rapport à la politique optimale.
Transformations d'iso-difficulté : Pour tester la robustesse aux propriétés incidentes de la grille, les auteurs appliquent des transformations qui préservent la difficulté de la tâche (taille de la grille, densité d'obstacles, longueur du chemin optimal) mais altèrent la configuration : réflexion, rotation, inversion de départ/but, et transposition.
Structures de buts complexes :
- Buts instrumentaux : Tâches nécessitant des sous-buts intermédiaires (ex: ramasser une clé pour déverrouiller une porte).
- Buts implicites : Tâches contenant des objets de type « but » qui sont fonctionnellement non pertinents (ex: une clé sans porte).

3. Évaluation représentationnelle (Sondage)

Les auteurs extraient les activations du flux résiduel (residual-stream) des couches intermédiaires (7, 15, 23) à des points spécifiques : pré-raisonnement (avant que le modèle ne génère des jetons de raisonnement) et post-raisonnement (après le raisonnement, avant la sélection de l'action).

Cartes cognitives : Des sondes linéaires et MLP sont entraînées pour décoder les types de cellules (mur, ouvert, agent, but) à partir des activations, reconstruisant la « croyance » interne de l'agent sur l'état de la grille.
Décodage de plan : Un décodeur Transformer est entraîné pour prédire des séquences d'actions multi-étapes ( $T=10$ ) à partir d'un ensemble fixe d'activations en utilisant une approche de décodage en un seul passage (one-shot) pour garantir que la structure du plan est encodée dans le modèle de base et non dans le sonde.
Intervention : Des expériences préliminaires de patch d'activation (activation patching) ont été menées pour tester les liens causaux entre les représentations et les actions.

Résultats clés

Résultats comportementaux

Sensibilité à la difficulté : La précision par action diminue de manière monotone avec la taille de la grille et la densité d'obstacles, tandis que l'entropie et la JSD augmentent. La performance est robuste à la distance par rapport au but uniquement dans les grandes grilles.
Robustesse aux transformations : La performance de l'agent ne montre aucune différence statistiquement significative à travers les transformations d'iso-difficulté (réflexion, rotation, etc.), indiquant que le comportement est piloté par des informations pertinentes pour la tâche plutôt que par des biais de configuration de la grille.
Structures de buts :
- L'agent gère avec succès les buts instrumentaux (100 % de succès dans KeyDoorEnv).
- L'agent est sensible aux buts implicites : Dans KeyNoDoorEnv (où la clé est inutile), l'agent ramasse la clé dans 17 % des trajectoires, et 75 % des actions non optimales se dirigent vers la clé. Dans 2PathKeyEnv, l'agent présente un biais vers le chemin contenant une clé vestigiale, réduisant légèrement les taux de succès globaux.

Résultats représentationnels

Cartes cognitives : L'agent encode de manière non linéaire une carte spatiale grossière. Les sondes MLP atteignent environ 70 % de précision pour décoder l'identité des cellules, avec un rappel élevé pour les positions de l'agent et du but (83–99 %) mais une précision plus faible due au « flou » (attribution de labels aux cellules voisines). L'information sur les murs est moins détaillée.
Réorganisation du raisonnement :
- Pré-raisonnement : Les activations préservent des indices spatiaux plus larges et des plans à long horizon.
- Post-raisonnement : Les activations déplacent l'attention vers la sélection d'actions immédiates. La précision de la carte cognitive chute significativement (de ~75 % à ~60 %) après le raisonnement, suggérant une réorganisation des représentations s'éloignant d'une structure spatiale décodable vers un encodage spécifique à l'action.
Décodage de plan :
- Le décodage en un seul passage révèle que les activations de pré-raisonnement contiennent une structure de trajectoire à long horizon récupérable (meilleure pour les préfixes $N \ge 5$ ).
- Les activations de post-raisonnement sont supérieures pour la sélection d'actions immédiates (meilleure pour $N=1$ ).
- Un décodeur à 2 couches est le plus performant globalement, suggérant que l'information d'action immédiate est accessible à des lectures de faible capacité, tandis que la structure multi-étapes nécessite plus de capacité.
Cohérence : Une fraction substantielle d'actions sous-optimales par rapport à la grille réelle est optimale par rapport à la carte cognitive décodée (taux de récupération : 37,4 % – 88,4 %). Cela suggère que de nombreux échecs proviennent de modèles de monde internes (imparfaits) plutôt que d'un manque de direction vers un but.
Limites de l'intervention : Le patch d'activation sur une seule couche a échoué à modifier les actions. Seul le patch simultané sur toutes les couches a réussi à changer l'action prédite par le modèle, indiquant que l'information d'état pertinente pour la tâche est distribuée plutôt que localisée.

Contributions

Cadre : Propose un cadre unifié combinant l'évaluation comportementale et le sondage de représentation pour évaluer la direction vers un but.
Conception expérimentale : Introduit des perturbations contrôlées de l'environnement (transformations d'iso-difficulté) et des structures de buts multiples pour mesurer le biais et la robustesse.
Aperçu des mécanismes : Démontre que les agents LLM encodent des cartes cognitives et des plans multi-étapes, et que le raisonnement réorganise ces représentations, passant d'indices spatiaux/long terme à une sélection d'actions immédiates.
Analyse de cohérence : Montre que les déviations comportementales par rapport à l'optimalité s'alignent souvent avec les croyances internes (imparfaites) de l'agent, nécessissant un examen introspectif au-delà des mesures de performance de surface.

Signification et affirmations

Le papier soutient qu'un examen introspectif est nécessaire au-delà des évaluations comportementales pour caractériser pleinement la direction vers un but. Les auteurs affirment que :

La direction vers un but est une propriété riche découlant de l'interaction entre les croyances, la planification et la sélection d'actions.
Les métriques purement comportementales peuvent être confondues par des limitations de capacité ou des objectifs internes mal alignés produisant un comportement aligné de manière instrumentale.
Le « biais » observé envers des objets de type but mais non pertinents (clés) peut refléter un conflit entre le prompt explicite de la tâche et les associations sémantiques acquises lors du pré-entraînement (ex: une clé implique un progrès), qui ne sont pas systématiquement supprimées.
Le cadre fournit une base pour développer des approches rigoureuses de l'attribution de buts, ce qui est un prérequis pour les affirmations de sécurité concernant les systèmes d'IA autonomes.

Les auteurs restent modestes, notant que leur configuration contrôlée abstrait la complexité du monde réel et que l'établissement de liens causaux via le patch d'activation reste un défi ouvert. Ils ne prétendent pas avoir résolu le problème de l'alignement, mais plutôt avoir fourni une étape méthodologique vers la compréhension des mécanismes internes de la poursuite d'objectifs dans les agents LLM.