💻 computer science

From Actions to Understanding: Conformal Interpretability of Temporal Concepts in LLM Agents

Cet article propose un cadre d'interprétabilité conformelle pour analyser l'évolution temporelle des concepts dans les agents LLM, permettant de détecter statistiquement les échecs, d'identifier des directions latentes de réussite et d'améliorer les performances par guidage dans des environnements interactifs.

Auteurs originaux : Trilok Padhi, Ramneet Kaur, Krishiv Agarwal, Adam D. Cobb, Daniel Elenius, Manoj Acharya, Colin Samplawski, Alexander M. Berenbeim, Nathaniel D. Bastian, Susmit Jha, Anirban Roy

Publié 2026-04-23

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Trilok Padhi, Ramneet Kaur, Krishiv Agarwal, Adam D. Cobb, Daniel Elenius, Manoj Acharya, Colin Samplawski, Alexander M. Berenbeim, Nathaniel D. Bastian, Susmit Jha, Anirban Roy

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🧠 Le Problème : L'Agent qui "Hallucine" en Cours de Route

Imaginez que vous engagez un assistant très intelligent (un modèle de langage comme ceux que nous connaissons) pour accomplir une tâche complexe, comme cuisiner un gâteau ou réparer une machine.

Le problème, c'est que cet assistant est une "boîte noire". Vous lui donnez une instruction, et il commence à agir.

Au début, tout va bien : il ouvre le frigo, prend les œufs.
Mais soudain, au milieu de la tâche, il commence à dévier. Il se met à croire qu'il a déjà les œufs alors qu'il ne les a pas, ou il invente une étape qui n'existe pas (ce qu'on appelle une "hallucination").
Résultat : Il échoue à la fin.

Le pire ? Si vous regardez seulement le résultat final, vous ne savez pas à quel moment précis il a commencé à se tromper. Est-ce qu'il a raté l'étape 2 ? Ou l'étape 7 ? C'est comme regarder une voiture accidentée sans savoir si le conducteur a fait une erreur de direction au début ou s'il a perdu le contrôle à la fin.

🔍 La Solution : Une "Caméra de Surveillance" Temporelle

Les auteurs de ce papier proposent une nouvelle méthode pour regarder à l'intérieur de la tête de l'assistant à chaque seconde de son action. Ils appellent cela l'"Interprétabilité Conformelle".

Voici comment cela fonctionne, étape par étape, avec une analogie :

1. Le Score de Confiance (La "Note" à chaque étape)

Au lieu de donner une seule note à la fin de la tâche (Réussi/Échoué), le système attribue une note à chaque petite action.

Analogie : Imaginez un coach de sport qui ne vous dit pas seulement "Tu as gagné ou perdu le match", mais qui note chaque passe, chaque course, chaque saut en temps réel.

2. L'Étiquetage Sécurisé (Le "Tampon de Validation")

Comment savoir si une note est vraiment "bonne" ou "mauvaise" ? Ils utilisent une technique statistique appelée Conformal Prediction.

Analogie : C'est comme un tampon de douane très strict. Avant de dire "C'est une bonne action", le système vérifie avec une certitude mathématique que cette action ressemble bien aux actions des experts. S'il y a un doute, il ne l'étiquette pas. Cela évite de se tromper en disant "c'est bien" alors que c'est une erreur.

3. La Boussole Intérieure (Les "Probes Linéaires")

Une fois qu'ils ont étiqueté chaque étape comme "Succès" ou "Échec", ils cherchent à trouver une direction dans l'esprit du modèle.

Analogie : Imaginez que l'esprit du modèle est une grande pièce remplie de millions de points de lumière.
- Quand le modèle pense correctement, les lumières s'allument dans une direction précise (disons, vers le Nord).
- Quand il commence à halluciner, les lumières dérivent vers le Sud.
- Les chercheurs ont créé une boussole (un petit détecteur) capable de repérer instantanément si le modèle est en train de pointer vers le Nord (succès) ou le Sud (échec).

🚀 L'Expérience : Deux Mondes Virtuels

Ils ont testé cette méthode sur deux mondes virtuels :

ScienceWorld : Un laboratoire où l'agent doit faire des expériences scientifiques.
AlfWorld : Une maison virtuelle où l'agent doit ranger des objets, cuisiner, etc.

Le résultat ? La boussole fonctionne ! Ils ont pu voir exactement au moment où l'agent commençait à dévier (par exemple, à l'étape 3 ou 4). De plus, ils ont prouvé que les pensées de "succès" et de "échec" sont bien séparées géométriquement dans le cerveau du modèle.

🛠️ L'Intervention : Redresser le Cap

C'est la partie la plus cool. Une fois qu'ils savent que l'agent commence à dériver vers le "Sud" (l'échec), ils peuvent forcer le modèle à revenir vers le Nord.

Analogie : C'est comme si vous teniez le volant d'une voiture autonome. Dès que vous voyez sur l'écran qu'elle commence à dériver vers un arbre, vous donnez un petit coup de volant pour la remettre dans la bonne voie, avant qu'elle ne percute l'arbre.

Dans leurs tests, en intervenant très tôt (dès la 3ème étape), ils ont réussi à améliorer la réussite des tâches. Le modèle ne s'est plus perdu dans ses hallucinations.

💡 En Résumé

Ce papier nous dit : "Ne laissez pas l'IA agir comme une boîte noire jusqu'à la fin."

En utilisant des statistiques intelligentes et des sondes, nous pouvons :

Voir exactement quand l'IA commence à se tromper.
Comprendre la différence entre une pensée logique et une pensée hallucinée.
Intervenir en temps réel pour la corriger, rendant les agents autonomes beaucoup plus fiables et sûrs pour le futur.

C'est un pas de géant vers des assistants artificiels que nous pouvons vraiment comprendre et contrôler.

1. Problématique

Les modèles de langage (LLM) déployés en tant qu'agents autonomes dans des environnements interactifs (comme les simulateurs physiques ou les mondes virtuels) sont capables de raisonner et d'agir de manière séquentielle. Cependant, leur processus de décision interne reste une "boîte noire".

Le défi principal identifié par les auteurs est l'opacité temporelle :

Les méthodes d'interprétabilité traditionnelles (visualisation d'attributs, analyse d'activation sur des entrées statiques) échouent à capturer la dynamique temporelle des agents.
Une évaluation basée uniquement sur le succès ou l'échec final d'une tâche masque les points de divergence critiques au cours de la trajectoire. Un agent peut commencer correctement, dériver (halluciner, explorer de manière irrationnelle) à une étape intermédiaire, et échouer, ou inversement, récupérer par hasard après une erreur.
Il manque un cadre pour identifier quand et où (à quelle étape et dans quelle couche du modèle) les représentations internes de l'agent commencent à diverger vers un échec, permettant ainsi une intervention précoce.

2. Méthodologie

L'article propose un cadre d'interprétabilité basé sur la conformité temporelle (Conformal Interpretability Framework) qui transforme l'évaluation finale en une analyse temporelle fine. La méthodologie repose sur trois piliers :

A. Modélisation de la Récompense Étape par Étape (Step-Wise Reward Modeling)

Pour pallier la rareté des récompenses (souvent données uniquement à la fin), les auteurs utilisent un échantillonnage de Monte Carlo sur la politique apprise de l'agent.

À chaque étape $t$ , étant donné l'historique de la trajectoire $\tau_t$ , l'agent génère $N$ trajectoires futures complètes.
Une récompense étape par étape $r_t$ est calculée comme la moyenne des récompenses attendues de ces trajectoires futures.
Cela transforme le signal de récompense en un feedback temporel dense, reflétant la probabilité de succès future conditionnée à l'état actuel.

B. Étiquetage Statistique par Prédiction Conformale (Conformal Prediction)

Pour attribuer des labels "succès" ou "échec" aux étapes avec des garanties statistiques rigoureuses, l'article utilise la Prédiction Conformale Inductive (ICP).

Un score de non-conformité est défini : $\alpha_s = 1 - r_t$ pour le succès et $\alpha_f = r_t$ pour l'échec.
Des p-values sont calculées pour déterminer si une étape appartient à la distribution des succès ou des échecs.
Garantie : En fixant des seuils de signification $\epsilon_s$ et $\epsilon_f$ , le cadre garantit que le taux de faux négatifs (étape réussie étiquetée échec) et le taux de faux positifs (étape échec étiquetée succès) sont strictement bornés par ces seuils. Cela permet d'obtenir des étiquettes de confiance pour l'entraînement des sondes.

C. Sondage des Directions Latentes (Linear Probing)

Une fois les étapes étiquetées statistiquement, les auteurs entraînent des sondes linéaires (classificateurs linéaires) sur les représentations internes (activations résiduelles) du LLM à chaque étape et à chaque couche.

Hypothèse : Les directions correspondant au "succès" et à l'échec sont linéairement séparables dans l'espace d'activation du modèle.
L'objectif est de vérifier si une simple projection linéaire peut distinguer les états menant au succès de ceux menant à l'échec.

3. Contributions Clés

Cadre d'interprétabilité temporelle : Introduction d'une approche combinant la modélisation de récompenses Monte Carlo et la prédiction conforme pour analyser l'évolution des concepts dans les agents LLM.
Garanties statistiques : Utilisation de la prédiction conforme pour étiqueter les étapes de trajectoire avec des bornes d'erreur contrôlées, évitant ainsi les biais d'étiquetage arbitraire.
Démonstration de séparabilité linéaire : Preuve expérimentale que les notions de succès et d'échec deviennent géométriquement séparables dans les représentations internes des LLMs fine-tunés pour des tâches séquentielles.
Intervention et Pilotage (Steering) : Démonstration préliminaire que l'on peut utiliser ces directions identifiées pour "piloter" (steer) l'agent vers des états de succès pendant l'inférence, corrigeant les dérives de raisonnement (hallucinations) avant l'échec final.

4. Résultats Expérimentaux

Les expériences ont été menées sur deux environnements simulés interactifs : ScienceWorld (raisonnement scientifique) et AlfWorld (tâches ménagères), en utilisant le modèle Llama-2-7B fine-tuné avec la méthode ReAct.

Séparabilité Linéaire :
- Les sondes linéaires ont atteint des précisions très élevées (souvent >90-100% sur ScienceWorld) pour distinguer les étapes de succès et d'échec à travers différentes couches (8, 16, 24, 32) et étapes temporelles.
- Les résultats se sont généralisés aux données hors distribution (OOD), suggérant que le modèle développe une notion interne robuste de succès/échec.
- Les scores F1 sont également élevés, confirmant la robustesse de la séparation.
Comparaison des environnements :
- Les performances sont meilleures sur ScienceWorld que sur AlfWorld. Les auteurs attribuent cela à la structure de récompense plus dense de ScienceWorld (récompenses intermédiaires pour les sous-objectifs) par rapport à AlfWorld (récompense unique à la fin).
Pilotage vers le Succès (Steering) :
- En appliquant une intervention précoce (à l'étape 3) en ajoutant la direction de succès identifiée aux activations internes (via la méthode RepE), l'exactitude du modèle piloté a augmenté de 1,1 % par rapport à la ligne de base.
- Bien que ce gain soit inférieur à des méthodes coûteuses comme le Best-of-N ou le DPO, il démontre la faisabilité d'une intervention légère et ciblée basée sur l'interprétabilité.
- Des études de cas montrent que le pilotage corrige des erreurs de séquence et réduit les hallucinations (ex: chercher un objet dans un tiroir inexistant).

5. Signification et Perspectives

Ce travail marque une avancée significative vers des agents de langage autonomes dignes de confiance dans des environnements complexes :

Détection précoce de l'échec : Le cadre permet d'identifier les moments où le raisonnement de l'agent commence à dériver, bien avant que la tâche ne soit totalement échouée.
Intervention ciblée : Au lieu de réentraîner le modèle, il devient possible d'intervenir dynamiquement en temps réel pour recentrer l'agent sur une trajectoire de succès.
Fondation pour l'interprétabilité temporelle : L'article établit que les concepts dynamiques (comme le succès dans une séquence) sont encodés de manière linéaire, ouvrant la voie à des techniques de contrôle plus sophistiquées pour les agents autonomes.

Les travaux futurs visent à étendre ce cadre aux environnements multimodaux et à développer des stratégies de pilotage proactif basées sur ces retours d'information temporels interprétables.