🤖 AI

The Knowing-Saying Gap: When Probes See Errors that Confidence Misses

Cet article révèle que si les sondes linéaires peuvent détecter avec précision un contexte corrompu dans les modèles de langage, elles échouent à prédire de manière fiable la justesse de la réponse finale ou à guider des interventions en temps réel efficaces, nécessitant ainsi des stratégies de routage tenant compte du modèle et du type d'erreur plutôt qu'une solution de surveillance universelle.

Auteurs originaux : Jyotin Goel, Ipshita Bandyopadhyay, Justin Shenk

Publié 2026-08-11

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jyotin Goel, Ipshita Bandyopadhyay, Justin Shenk

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous regardez un magicien réaliser un tour de cartes. Le magicien est si fluide, si sûr de lui et si rapide que vous ne soupçonnez rien. Mais et si, au plus profond du cerveau du magicien, une petite alarme hurlait : « Attendez ! Je viens d'échanger la mauvaise carte ! » ? Dans le monde de l'intelligence artificielle, plus précisément des grands modèles de langage (ces chatbots super intelligents qui écrivent du code, planifient des voyages et résolvent des problèmes mathématiques), c'est exactement ce qui se passe. Ces modèles sont comme le magicien : ils peuvent parler avec une confiance totale même lorsqu'ils commettent une erreur terrible.

Les scientifiques espèrent depuis longtemps que si un modèle est confus ou se trompe, il « bégayera » ou dira : « Je ne suis pas sûr de ceci ». Cette idée est appelée « confiance verbalisée ». C'est comme demander au magicien : « Êtes-vous sûr que c'est la bonne carte ? » en espérant qu'il admette son erreur. Mais il existe un autre moyen de vérifier : en observant ses « ondes cérébrales » internes (des signaux mathématiques à l'intérieur de l'ordinateur) pour voir s'il sait qu'il s'est trompé, même s'il ne le dit pas. Cet article de recherche étudie un écart effrayant mais fascinant : la différence entre ce qu'un modèle sait dans son cerveau numérique et ce qu'il dit à voix haute.

L'alarme silencieuse et le mensonge assuré

Les chercheurs ont mis en place un terrain de jeu numérique pour tester cela. Ils ont créé 1 400 problèmes mathématiques qui demandaient à un modèle de résoudre un puzzle étape par étape, comme une réaction en chaîne. Par exemple : « Si j'ai 5 pommes, que j'en achète 3 de plus, puis que j'en perds la moitié... » Le truc était qu'ils avaient secrètement implanté une erreur dès la toute première étape de la chaîne. Ils voulaient tester deux choses :

L'Alarme : Un détecteur spécial (appelé « sonde linéaire ») pouvait-il repérer que la première étape était fausse en regardant simplement l'activité cérébrale interne du modèle ?
La Prédiction : Ce même détecteur pouvait-il prédire que la réponse finale serait fausse ?

Ils ont testé cinq modèles différents, incluant certains des plus intelligents disponibles aujourd'hui, comme Llama-3.1-8B et Qwen3-4B.

La grande découverte : Savoir sans dire

Les résultats ont été un choc. L'« alarme » a parfaitement fonctionné. Lorsqu'un modèle faisait une erreur, le détecteur pouvait repérer l'erreur dans les ondes cérébrales internes du modèle avec une précision de près de 100 % (plus précisément, un score AUROC de 0,997 pour un modèle). C'était comme si le cerveau du modèle hurlait : « ERREUR ! ERREUR ! ».

Mais voici le rebondissement : le modèle n'a pas écouté sa propre alarme.

Même si l'alarme interne retentissait, la réponse finale du modèle était tout aussi confiante que si elle était correcte. Le détecteur qui pouvait voir l'erreur parfaitement était totalement inutile pour prédire si la réponse finale serait fausse. C'est comme avoir un détecteur de fumée qui hurle « FEU ! » quand vous brûlez des toasts, mais où les pompiers (la réponse finale du modèle) arrivent quand même en disant : « Tout va bien, il n'y a pas de feu ici ».

L'article écarte explicitement plusieurs hypothèses que les gens pourraient espérer vraies :

La confiance n'est pas un indice : Lorsqu'ils ont demandé aux modèles de dire à quel point ils étaient confiants, les modèles se contentaient de donner un « Oui » ou un « Non » binaire, sans réelle nuance. Un modèle sûr à 99 % était tout aussi susceptible d'avoir tort qu'un modèle sûr à 50 %.
Réfléchir plus intensément n'aide pas : Ils ont testé un « mode de réflexion » où le modèle était forcé d'écrire son raisonnement étape par étape (Chaîne de Pensée ou Chain-of-Thought). On pourrait penser que cela aiderait le modèle à détecter ses propres erreurs. Au contraire, cela a rendu le modèle moins bon pour obtenir la bonne réponse (faisant chuter la précision de 27,9 % à 1,2 %) sans changer le fait que l'alarme interne continuait de sonner. Le modèle savait qu'il se trompait, mais en parler ne réglait rien.

Peut-on le réparer ? La stratégie « Branch-and-Pick »

Puisque les modèles refusent d'admettre leurs erreurs, les chercheurs ont tenté d'agir comme un « filet de sécurité » pour eux. Ils ont construit un système qui écoute l'alarme interne et tente de corriger l'erreur avant que le modèle ne termine sa réponse. Ils ont testé trois méthodes d'intervention différentes :

Reprompt (Repromptage) : Dire simplement au modèle : « Hé, vérifie ton travail ! » (Cela n'a pas bien fonctionné).
Replace-Prior (Remplacement de l'étape précédente) : Effacer l'étape erronée et forcer le modèle à recommencer depuis le début. Le résultat fut mitigé ; cela a sauvé certaines réponses fausses, mais a accidentellement cassé certaines réponses correctes.
Branch-and-Pick (Embranchement et Sélection) : Ce fut le grand gagnant. Lorsque l'alarme se déclenchait, le système ne se contentait pas de deviner ; il demandait au modèle d'essayer l'étape suivante de quatre manières différentes (en utilisant différents niveaux de hasard). Ensuite, le système utilisait l'alarme interne pour choisir le chemin qui semblait le plus « propre » (le moins susceptible d'être corrompu).

Cette méthode « Branch-and-Pick » est la seule qui a systématiquement sauvé des réponses fausses sans briser les réponses correctes. Sur un modèle spécifique (Llama-3.1-8B), elle a sauvé 4 réponses fausses et n'en a cassé aucune de correctes. Cependant, l'article note que ce n'est pas un remède miracle pour toutes les situations. Le succès dépendait fortement du type d'erreur commise. Par exemple, corriger une erreur d'« unité erronée » fonctionnait très bien, mais corriger une erreur de « pourcentage erroné » rendait les choses pire encore.

La conclusion

L'article conclut que nous ne pouvons pas faire confiance aux mots d'un modèle pour savoir s'il a raison. Un modèle peut être intérieurement conscient d'un désastre tout en livrant une réponse fausse avec assurance. L'écart « Savoir-Dire » est réel et dangereux.

La solution n'est pas de demander au modèle d'être plus honnête, mais de construire un système de sécurité « conscient du modèle ». Nous devons écouter les alarmes internes (les sondes) et utiliser des stratégies intelligentes comme le « Branch-and-Pick » pour attraper les erreurs. Mais nous devons aussi être prudents : il n'existe pas de solution unique qui fonctionne pour chaque type d'erreur ou chaque modèle. L'avenir d'une IA sûre ne dépend pas de la confiance que l'on accorde au chatbot, mais de la construction de garde-fous qui savent quand le chatbot se ment à lui-même.

Résumé technique : Le fossé entre savoir et dire dans les modèles de langage

Énoncé du problème

L'article traite d'un échec critique de fiabilité dans les modèles de langage (LLM) déployés, particulièrement au sein des pipelines agentiques où les sorties du modèle alimentent le contexte futur (ex: agents de codage, planification multi-étapes). Dans ces configurations, une erreur unique lors d'une étape précoce se propage à travers le contexte subséquent, provoquant une « corruption en cascade du contexte ». Le problème central est une dissociation entre l'état interne et la production verbale : les modèles continuent souvent de générer un texte fluide et assuré même après que leur calcul interne a été corrompu par une erreur. Cette « fluidité sans fidélité » rend les techniques de surveillance standard, telles que demander au modèle sa confiance verbalisée ou une auto-critique, inefficaces car la connaissance interne de l'erreur par le modèle ne se traduit pas dans son comportement de surface.

Méthodologie

Les auteurs étudient ce phénomène en utilisant un design expérimental contrastif contrôlé :

Jeu de données : Un jeu de données synthétique de 1 400 traces arithmétiques multi-étapes générées à partir de 500 problèmes de base. Le jeu de données comprend des traces « propres » et des traces « corrompues » où une étape spécifique est remplacée par une valeur erronée synthétique. Cinq types d'erreurs distincts sont utilisés : off_by_one (erreur d'un unité), wrong_operator (mauvais opérateur), wrong_unit (mauvaise unité), magnitude_error (erreur de magnitude) et wrong_percentage_base (mauvaise base de pourcentage).
Modèles : L'évaluation couvre cinq modèles de deux familles (Qwen et Llama), incluant des variantes ajustées pour l'instruction et de raisonnement (mode réflexion), allant de 3B à 8B de paramètres.
Entraînement de la sonde : Une sonde linéaire (régression logistique) est entraînée sur les activations du flux résiduel des modèles gelés. La sonde est entraînée pour distinguer les contextes propres des contextes corrompus en utilisant deux modes d'agrégation : le dernier jeton (last-token) et la moyenne sur les jetons (mean-over-tokens).
Métriques clés :
- Détection ( $AUROC_{detect}$ ) : La capacité de la sonde à distinguer un contexte corrompu d'un contexte propre.
- Prédiction d'échec ( $AUROC_{fail}$ ) : La capacité de la sonde à prédire si la corruption entraînera une réponse finale erronée, étant donné que l'erreur s'est déjà produite.
- Signaux de surface : Six signaux d'incertitude scalaires (ex: entropie, confiance, écart de vocabulaire) sont calculés à partir des logits des jetons pour servir de bases de comparaison.
Interventions : Trois stratégies déclenchées par la sonde sont testées pour voir si la détection de l'erreur peut améliorer la précision finale :
1. Reprompt (Repromptage) : Ajouter une instruction de vérification.
2. Replace-prior (Remplacement du précédent) : Régénérer l'étape précédente à partir de zéro.
3. Branch-and-pick (Branchement et sélection) : Échantillonner plusieurs continuations et sélectionner celle ayant le score d'erreur de sonde le plus bas.

Contributions clés

Jeu de données contrastif : Un jeu de données déterministe, sans intervention humaine, de 1 400 traces avec cinq types d'erreurs, évalué sur des variantes de modèles d'instruction et de raisonnement.
Effondrement de la distinction Détection vs Prédiction d'échec : Une caractérisation montrant que, bien que les sondes puissent détecter la corruption avec une précision quasi parfaite, elles échouent à prédire si cette corruption conduit à une réponse finale incorrecte.
Analyse des interventions : Une comparaison contrôlée de trois politiques d'intervention, révélant qu'aucune stratégie n'est universellement efficace ; l'efficacité dépend fortement du modèle et du type d'erreur.
Hypothèse réfutée : Les auteurs ont pré-enregistré et ont par la suite réfuté l'hypothèse selon laquelle la « persistance de l'activation de la sonde à travers les étapes » prédit l'échec.
Contrôles de robustesse : Preuve que le signal de détection n'est pas un artefact de fuite de données ou de signatures de jetons de surface, démontrée via une validation croisée groupée et des évaluations de type d'erreur exclus (leave-one-error-type-out).

Résultats

1. La dissociation Savoir-Dire

Haute précision de détection : Les sondes linéaires détectent les erreurs injectées avec un $AUROC_{detect} > 0,98$ sur tous les modèles, culminant à 0,997 sur Llama-3.1-8B. Le signal émerge principalement de la transition entre la couche 0 et la couche 1.
Échec de la prédiction d'échec : Malgré une haute précision de détection, les mêmes sondes ne sont pas informatives quant à la justesse de la réponse finale. L' $AUROC_{fail}$ s'effondre à des niveaux proches du hasard (0,47–0,53) sur tous les modèles. Le modèle « sait » que le contexte est corrompu mais ne le « dit » (ou n'agit pas sur) ce savoir pour empêcher une sortie finale erronée.
Signaux de surface : La confiance verbalisée et les autres signaux d'incertitude de surface performent au niveau du hasard ( $AUROC \approx 0,5$ ) pour la détection et ne montrent aucune corrélation avec la justesse finale. La confiance s'effondre souvent vers des extrêmes binaires (0 ou 1) avec des taux d'erreur indiscernables entre les deux groupes.

2. Impact des modes de raisonnement

L'activation du « mode réflexion » (chaîne de pensée étendue) sur Qwen3-4B n'a pas comblé l'écart. Bien qu'elle ait augmenté le nombre de jetons, elle a dégradé la précision de la condition d'erreur de 27,9 % à 1,2 % sans changer la capacité de la sonde à détecter l'état d'erreur interne. Cela suggère que l'encodage interne de la corruption persiste même lorsque le canal de sortie est perturbé.

3. Efficacité des interventions

Branch-and-pick : C'était la seule politique globalement positive sur les modèles et l'unique non-brisante sur Llama-3.1-8B (4 sauvées, 0 brisée). Cependant, elle augmente considérablement le coût d'inférence.
Replace-prior : Cette stratégie a sauvé des traces erronées mais a brisé des traces correctes à un taux comparable, ne résultant en aucun gain net.
Reprompt : Généralement inefficace.
Hétérogénéité : Le succès de l'intervention dépend fortement du type d'erreur. Par exemple, replace-prior était très efficace pour les erreurs de type wrong_unit mais net-négatif pour les erreurs de type wrong_percentage_base.

Signification et affirmations

L'article affirme que la surveillance par sonde est un complément nécessaire à la confiance verbalisée, et non un remplacement. La conclusion centrale est que l'hypothèse selon laquelle l'état interne d'un modèle est accessible via ses sorties verbales est fausse dans le contexte des erreurs en cascade.

Décodabilité, non causalité : Les auteurs soulignent que si le signal d'erreur est linéairement décodable du flux résiduel, cela n'implique pas que la politique de génération consulte ce signal. Les interventions qui suppriment la valeur corrompue (replace-prior) réduisent les taux d'activation de la sonde mais ne l'améliorent pas proportionnellement en termes de précision, suggérant que la direction sondée n'est pas la cause proximale de la mauvaise réponse.
Implications de déploiement : Il n'existe pas de solution « universelle ». La solution déployable est un routage conscient du modèle et du type d'erreur. Puisqu'aucune intervention unique ne domine, les systèmes doivent router vers des stratégies de correction spécifiques en fonction du modèle et du type d'erreur prédits.
Limites : Les auteurs notent que leurs interventions ne sont pas strictement sûres (elles peuvent briser des traces correctes) et que le branch-and-pick engendre des coûts computationnels importants. L'article présente la stratégie de routage comme une direction pour les travaux futurs plutôt que comme une solution pleinement déployable, car elle manque actuellement d'un classificateur robuste de type d'erreur.

En conclusion, l'article établit que pour les systèmes agentiques, compter sur le fait que le modèle « dise » qu'il commet une erreur est insuffisant. La surveillance de l'état interne via des sondes linéaires offre un mécanisme de détection de haute fidélité, mais combler le fossé entre la détection et la correction réussie nécessite des stratégies d'intervention nuancées et spécifiques au contexte.