🤖 AI

When Agents Disagree With Themselves: Behavioral Consistency as an Uncertainty Signal for LLM Agents

Cet article démontre que la variance comportementale dans les séquences d'actions des agents LLM sert de signal d'incertitude sans entraînement, permettant une classification sélective et un étalonnage sans distribution qui améliorent considérablement la précision et la fiabilité du classement du modèle sans nécessiter de données de calibration réservées.

Auteurs originaux : Aman Mehta

Publié 2026-07-16

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Aman Mehta

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La double vérification numérique : Pourquoi demander deux fois à une IA peut être préférable à une seule

Imaginez que vous essayiez de résoudre une énigme complexe, comme une devinette difficile ou un problème de mathématiques. Si vous demandez la réponse à un ami, il peut soit trouver la bonne réponse, soit deviner et se tromper. Mais et si vous pouviez poser exactement la même question à ce même ami dix fois de suite ? S'il vous donne la même réponse à chaque fois, vous vous sentirez probablement assez confiant quant à sa justesse. En revanche, s'il vous donne dix réponses différentes, vous saurez que quelque chose ne va pas : il est confus, il devine, ou la question est trop difficile pour lui.

C'est l'idée centrale derrière les Grands Modèles de Langage (LLM), qui sont les programmes informatiques ultra-intelligents alimentant les agents d'IA d'aujourd'hui. Ces agents sont comme des détectives numériques capables d'utiliser des outils (comme la recherche sur le Web ou l'écriture de code) pour résoudre des problèmes à étapes multiples. Mais, tout comme les humains, ils ne sont pas parfaits. Parfois, ils hallucinent (inventent des choses) ou s'enferment dans une boucle. Les scientifiques se demandent depuis longtemps : Comment savoir quand une IA n'est pas sûre d'elle-même sans simplement lui demander : « Es-tu sûr ? » (Car l'IA peut mentir sur son assurance). Ce document explore une astuce ingénieuse : au lieu de faire confiance à une seule réponse, nous observons comment l'IA se comporte lorsqu'elle tente la même tâche encore et encore. Si le comportement de l'IA est erratique, c'est un immense signal d'alarme indiquant que la réponse pourrait être fausse.

Quand les agents d'IA ne peuvent pas décider par eux-mêmes

Les chercheurs derrière cette étude ont décidé de tester une idée simple mais puissante : la Consistance Comportementale. Ils ont traité l'agent d'IA comme un étudiant passant un examen. Au lieu de simplement noter la réponse finale, ils ont observé comment l'étudiant résolvait le problème. Ils ont fait passer le même agent d'IA sur les mêmes questions 10 fois chacune, en utilisant différents « graines aléatoires » (ce qui revient à mélanger le jeu de cartes dont l'IA se sert pour prendre ses décisions).

Voici ce qu'ils ont découvert, et c'est assez surprenant :

1. L'IA est un penseur versatile
Même lorsque vous donnez à une IA les mêmes instructions et le même point de départ, elle ne réfléchit pas toujours de la même manière. Dans leurs tests, le fait d'exécuter le même agent 10 fois a produit entre 2,3 et 4,2 chemins différents vers la solution. Parfois, l'IA empruntait un raccourci ; d'autres fois, elle s'aventurait dans une ruelle longue et confuse. Cet « errance » n'est pas seulement un bug ; c'est un signal. Plus l'IA change d'avis sur la manière de résoudre un problème, moins elle a de chances d'obtenir la bonne réponse.

2. La consistance est un cristal de prédiction pour la précision
L'équipe a découvert un lien étroit entre la consistance de l'IA et sa justesse.

Le groupe « Stable » : Lorsque l'IA sait rester sur le même chemin (2 chemins uniques ou moins), elle obtient la bonne réponse 82 % à 87 % du temps.
Le groupe « Errant » : Lorsque l'IA part dans de nombreuses directions différentes (4 chemins uniques ou plus), sa précision chute entre 41 % et 65 %.

Cet écart était énorme. Cela signifie que si vous voyez une IA prendre un itinéraire très différent à chaque fois que vous lui posez une question, vous devriez probablement accorder moins de confiance à sa réponse.

3. La surprise de l'étape 2
Les chercheurs ont examiné de près quand l'IA commençait à être confuse. Ils ont découvert que pour certains modèles (comme Llama), les problèmes commençaient presque immédiatement. Environ 50,5 % du temps, l'IA prenait une première ou une deuxième étape différente par rapport à ses autres tentatives. C'est comme si l'IA se trouvait devant une bifurcation et ne pouvait pas décider quel chemin prendre dès le début. Pour d'autres modèles (comme Claude), ils restaient sur le même chemin beaucoup plus longtemps avant de diverger.

4. Le « Filtre » vs le « Voteur »
L'une des découvertes les plus intéressantes concernait l'utilisation de cette information.

L'approche du « Voteur » : Vous pourriez penser : « Si je demande 3 fois à l'IA et que je prends la majorité des votes, j'obtiendrai une meilleure réponse. » Le papier indique que cela fonctionne, mais un peu seulement (améliorant la précision de seulement 0 à 2 %). Pourquoi ? Parce que parfois, l'IA est sûre d'elle mais se trompe. Si elle commet une erreur au début, elle peut commettre la même erreur à chaque fois, donc le « vote » ne fait que confirmer l'erreur.
L'approche du « Filtre » : Au lieu de voter, les chercheurs ont testé une stratégie différente : Ne répondre que si l'IA est d'accord avec elle-même. Ils ont dit : « Si l'IA exécute la tâche 3 fois et que les 3 exécutions donnent exactement la même réponse, alors nous acceptons la réponse. Si elles ne sont pas d'accord, nous disons "Je ne sais pas" et nous sautons la question. »
- Ce « filtre » a fonctionné de manière incroyable. En sautant les questions incertaines, la précision de l'IA sur les questions qu'elle a réellement répondues a bondi à 87–88 %. C'est une amélioration de 6 à 14 points de pourcentage par rapport à une simple supposition unique !

5. Meilleur que de « demander » à l'IA
L'équipe a également comparé cette astuce de « consistance comportementale » à l'action de demander à l'IA : « Quel est ton niveau de confiance ? » (ce qu'on appelle la « confiance verbalisée »). Les résultats étaient clairs : les actions de l'IA étaient un bien meilleur détecteur de mensonges que ses paroles. L'IA affirmait souvent être confiante même lorsqu'elle tournait en rond. Le signal comportemental (observer si elle change d'avis) était un moyen beaucoup plus fiable de repérer une erreur.

6. Cela fonctionne partout
Pour s'assurer qu'il ne s'agissait pas d'un coup de chance pour un type de question spécifique, ils ont testé l'IA sur un type de tâche complètement différent : la correction de bugs informatiques (en utilisant un benchmark appelé SWE-bench). Même si le codage est très différent de la réponse à des questions de culture générale, la règle reste la même. L'IA la plus constante dans son comportement était aussi la plus précise. La « hiérarchie de consistance » (quels modèles étaient stables et lesquels étaient instables) est restée exactement la même à travers les deux tests.

Pourquoi cela importe

Le papier suggère que nous n'avons pas besoin de changer le cerveau de l'IA ou de lui apprendre de nouvelles choses pour la rendre plus fiable. Nous avons juste besoin de l'observer. En exécutant une tâche quelques fois et en vérifiant si l'« histoire » de l'IA reste la même, nous pouvons agir comme un éditeur intelligent. Nous pouvons choisir de faire confiance aux réponses qui sont cohérentes et ignorer celles où l'IA semble confuse.

C'est une méthode « sans entraînement » (training-free), ce qui signifie qu'elle fonctionne avec n'importe quel modèle d'IA tel quel. Elle transforme l'incertitude de l'IA en un signal utile. Au lieu de faire aveuglément confiance à une réponse unique, nous pouvons utiliser ce « contrôle de consistance » pour savoir quand dire : « Je ne suis pas sûr de celle-ci », ce qui est un grand pas en avant pour rendre les agents d'IA plus sûrs et plus dignes de confiance dans le monde réel.

En résumé : Si une IA ne peut pas décider d'un plan pour elle-même, ce n'est probablement pas le bon moment pour faire confiance à sa réponse. Mais si elle suit le même plan à chaque fois, vous pouvez parier qu'elle est sur la bonne voie.

Résumé technique : La cohérence comportementale comme signal d'incertitude pour les agents LLM

Énoncé du problème

Alors que les agents basés sur les grands modèles de langage (LLM) passent du stade de prototype à celui de systèmes de production, la compréhension de leur fiabilité devient critique. Une question fondamentale mais sous-étudiée est celle de la cohérence comportementale de ces agents : étant donné des entrées identiques, l'agent suivra-t-il le même chemin de raisonnement et parviendra-t-il à la même réponse ? L'incohérence complique le débogage, occulte la détection de l'incertitude et remet en question les méthodes d'évaluation standard des benchmarks. Bien que des travaux existants aient quantifié l'incohérence des agents (ex: $\tau$ -bench), il manque une analyse systématique pour savoir où et pourquoi la divergence se produit, et si cette variance peut servir de signal d'incertitude actionnable et sans entraînement pour la prédiction sélective et la détection de défaillances.

Méthodologie

Les auteurs présentent une étude empirique systématique de la cohérence comportementale d'agents de type ReAct à travers quatre modèles (Llama 3.1 70B, GPT-5, Claude Sonnet 4.5 et Gemini 3 Pro) et deux benchmarks (HotpotQA et SWE-bench).

Configuration expérimentale : L'étude a impliqué un total de 8 000 exécutions (200 questions HotpotQA $\times$ 4 modèles $\times$ 10 exécutions indépendantes chacune) et 1 000 exécutions sur SWE-bench (50 tâches $\times$ 5 exécutions). Les exécutions ont été effectuées à une température de 0,7 (avec des ajustements spécifiques pour Gemini) afin de garantir un échantillonnage stochastique.
Métriques : La métrique centrale est la cohérence comportementale, définie par le nombre de séquences d'actions uniques (trajectoires) générées à travers $k$ exécutions. Les métriques additionnelles incluent le ratio de variance des étapes, le point de première divergence et la justesse de la réponse (via la correspondance floue de chaînes et le score F1 des tokens).
Cadres statistiques : Le document instancie trois cadres statistiques utilisant l'accord entre les exécutions comme un signal unique, boîte noire :
1. Classification sélective : Utiliser les scores d'accord pour filtrer les entrées incertaines.
2. Calibration sans distribution : Valider les courbes risque-couverture sans ensembles de calibration de réserve.
3. Surveillance séquentielle : Analyser l'accord au niveau des étapes pour détecter la divergence précocement.
Base théorique : Les auteurs formalisent le score d'accord $s(x)$ comme la fraction des exécutions produisant la réponse majoritaire. Ils prouvent une borne de concentration de type Hoeffding (Proposition 1) montrant que le score d'accord empirique converge vers la véritable probabilité de la majorité, en supposant des exécutions indépendantes et identiquement distribuées (i.i.d.).

Contributions clés

1. Asymétrie Filtre > Agrégateur

Le papier identifie une asymétrie critique dans les agents multi-étapes par rapport au Chain-of-Thought (CoT) à tour unique. Alors que le vote majoritaire (agrégation) améliore la précision du CoT à tour unique de 5 à 17 points de pourcentage (pp), il ne produit que +0 à +2 pp pour les agents multi-étapes. Cela s'explique par le fait que les erreurs agentiques sont souvent systématiques ; une action erronée précoce engage l'agent dans une trajectoire incorrecte, résultant en des réponses « systématiquement fausses » que le vote ne peut corriger. Inversement, le filtrage basé sur le désaccord (s'abstenir lorsque les exécutions ne sont pas d'accord) génère des gains significatifs de 6 à 14 pp pour trois des quatre modèles.

2. Prédiction sélective avec validation sans distribution

Les auteurs démontrent que la cohérence comportementale fonctionne comme une fonction de sélection valide dans le cadre de classification sélective de Geifman–El-Yaniv. En répondant uniquement lorsque $k=3$ exécutions sont d'accord, le système atteint une précision de 87–88 % pour une couverture de 54–62 %. Cette approche égale les performances des baselines de conformal splitting (qui nécessitent un ensemble de calibration de réserve) sans nécessiter de données de calibration distinctes, car les $k$ exécutions utilisées pour la prédiction fournissent intrinsèquement le signal.

3. Cohérence comportementale > Confiance verbalisée

Dans une comparaison directe sur un split commun de 100 questions, la cohérence comportementale (AUROC 0,65–0,74) surpasse nettement la confiance auto-verbalisée (AUROC 0,48–0,55) en tant que détecteur de défaillance pour Claude, GPT-5 et Llama. Combiner les deux signaux n'a pas amélioré la performance par rapport à la cohérence comportementale seule. Crucialement, la cohérence comportementale ne nécessite aucun ingénierie de prompt, aucun accès aux log-probabilités, ni aucune modification du modèle.

4. Stabilité inter-benchmark et instabilité de classement

La hiérarchie de cohérence (Claude < GPT-5 < Gemini < Llama en termes de variance) est préservée exactement à travers HotpotQA (tâches de QA) et SWE-bench (tâches de codage), suggérant que la cohérence est une propriété de modèle stable et indépendante du benchmark. De plus, le papier révèle que les évaluations à exécution unique classent mal les modèles 29,3 % du temps en raison de la variance, sapant les méthodologies de benchmark standard.

5. Mécanisme de divergence

La divergence se concentre tôt dans le processus de raisonnement. Pour Llama, 50,5 % des tâches divergent dès l'étape 2, contre seulement 4–6 % pour Claude et GPT-5. La première requête de recherche détermine largement la trajectoire. De plus, la longueur du chemin est fortement corrélée à la variance comportementale ; des chemins plus longs indiquent des retours en arrière (backtracking) et des opportunités d'erreur accrues.

Résultats

Cohérence vs Justesse : Les tâches cohérentes (≤2 séquences uniques) atteignent 82–87 % de précision, tandis que les tâches incohérentes (≥4 séquences) chutent à 41–65 %. Cet écart persiste même après contrôle de la difficulté des tâches, bien que les tâches « systématiquement fausses » (où l'agent produit une réponse fausse avec assurance) fixent un plafond dur sur les gains de filtrage (5,5–10 % des tâches).
Détection de défaillance : Les métriques de cohérence (ex: nombre de séquences uniques >4) atteignent des scores AUROC de 0,62–0,78 pour la détection de défaillances, surpassant nettement les baselines aléatoires.
Calibration : Bien que la cohérence comportementale soit un signal d'incertitude utile, elle n'est pas parfaitement calibrée (l'erreur de calibration attendue varie de 0,09 à 0,17), indiquant que les niveaux d'accord ne se rapportent pas parfaitement aux probabilités de justesse.
Validation SWE-bench : La hiérarchie de cohérence se maintient à travers les tâches de codage bash non restreintes, Llama présentant la variance la plus élevée (CV 68,9 %) et Claude la plus faible (CV 17,7 %).

Signification et affirmations

Le papier affirme que la cohérence comportementale est un signal d'incertitude boîte noire et sans entraînement qui émerge naturellement de l'exécution répétée. Sa principale importance réside dans la possibilité de la prédiction sélective (s'abstenir sur les entrées incertaines) et de la détection de défaillance au runtime sans nécessiter de modification du modèle ou d'accès à l'état interne.

Les auteurs soutiennent que ce signal comble une lacune dans la fiabilité des agents : contrairement à la confiance verbalisée ou à la calibration apprise, il est robuste et ne nécessite aucun réglage fin. En traitant chaque exécution indépendante comme un membre d'un ensemble implicite, ce travail relie le comportement des agents aux cadres statistiques établis pour l'estimation de l'incertitude. Les conclusions suggèrent que pour les déploiements à enjeux élevés, s'appuyer sur des évaluations à exécution unique est insuffisant ; au contraire, surveiller l'accord entre les exécutions fournit un mécanisme fiable pour filtrer les erreurs et améliorer la confiance dans le système, au prix toutefois d'une réduction du débit (couverture). Le papier conclut que la cohérence n'est pas seulement une métrique de fiabilité, mais une propriété fondamentale qui peut être exploitée pour rendre les systèmes agentiques plus sûrs et plus prévisibles.