💬 NLP

Self-Anchoring Calibration Drift in Large Language Models: How Multi-Turn Conversations Reshape Model Confidence

Cette étude introduit le concept de dérive d'auto-ancrage (SACD), démontrant que les conversations multi-tours modifient systématiquement la confiance et la calibration des grands modèles de langage de manière hétérogène, où certains modèles comme Claude voient leur confiance diminuer tandis que d'autres comme GPT-5.2 la voient augmenter, et que l'ancrage sur ses propres réponses peut empêcher l'amélioration naturelle de la calibration observée lors de répétitions indépendantes.

Auteurs originaux : Harshavardhan

Publié 2026-03-03

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Harshavardhan

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🎙️ Le Titre : "L'Effet de l'Écho sur la Confiance des IA"

Imaginez que vous parlez à un expert très intelligent, mais un peu étrange. Ce n'est pas un humain, c'est une Intelligence Artificielle (IA).

Habituellement, on teste ces IA en leur posant une seule question et en regardant la réponse. Mais dans la vraie vie, on discute avec elles : on pose une question, on demande des précisions, on creuse le sujet. C'est ce qu'on appelle une conversation à plusieurs tours.

L'auteur de cette étude, Harshavardhan, s'est demandé : « Si une IA se répète elle-même plusieurs fois de suite, est-ce que sa confiance en elle change ? »

Il a appelé ce phénomène "Dérive d'Étalonnage par Auto-Ancrage" (un nom compliqué pour dire : l'IA s'ancrant sur ses propres réponses précédentes et changeant d'avis sur sa certitude).

🧪 L'Expérience : Trois Scénarios

Pour le savoir, l'auteur a joué au détective avec trois super-IA (Claude, Gemini et GPT) en utilisant 150 questions. Il a créé trois situations différentes, comme trois types de jeux :

Le Jeu Solitaire (Condition A) : On pose une question, l'IA répond, et c'est fini. Comme un quiz classique.
Le Jeu de l'Écho (Condition B - Le cœur de l'étude) : On pose une question, l'IA répond. Puis on lui dit : "Peux-tu expliquer plus en détail ?" Elle répond. Puis encore : "Peux-tu donner plus de raisons ?" Elle répond encore. À chaque fois, elle doit se baser sur ce qu'elle vient de dire. C'est comme si elle se regardait dans un miroir et se répétait.
Le Jeu de la Répétition (Condition C) : On pose la même question 5 fois, mais à chaque fois, on efface la mémoire de l'IA. C'est comme si elle répondait à la question pour la première fois, 5 fois de suite, sans se souvenir des réponses précédentes.

🔍 Ce qu'ils ont découvert (Les Résultats)

L'auteur pensait au début que toutes les IA allaient devenir plus sûres d'elles (plus confiantes) en se répétant, un peu comme un orateur qui gagne en assurance en répétant son discours.

Mais la réalité était beaucoup plus bizarre et différente selon l'IA !

1. Claude (Le Modeste) 📉

Ce qui s'est passé : Plus Claude parlait, plus il devenait incertain.
L'analogie : Imaginez un professeur qui commence par dire : "Je suis sûr à 90% que la réponse est X." Mais à force de devoir expliquer son raisonnement, il commence à douter : "Euh, en y réfléchissant bien, peut-être que je me trompe..."
Résultat : Sa confiance a baissé, même si sa réponse n'était pas plus juste. Il a perdu sa "boussole".

2. GPT (L'Arrogant) 📈

Ce qui s'est passé : Dans les sujets où il n'y a pas de réponse unique (comme l'art ou la philosophie), GPT est devenu plus confiant en se répétant.
L'analogie : Imaginez quelqu'un qui commence par dire "Je pense que c'est peut-être ça..." et qui, en répétant son idée, finit par crier : "C'est ÉVIDEMMENT ça !" Même si, au fond, il n'a pas plus de preuves.
Résultat : Il a gonflé sa confiance sans améliorer sa justesse. C'est dangereux car il peut vous convaincre de quelque chose de faux avec beaucoup d'assurance.

3. Gemini (Le Bloqué) 🛑

Ce qui s'est passé : Gemini n'a pas changé son niveau de confiance, mais il a perdu sa capacité à s'améliorer.
L'analogie : Imaginez un étudiant qui, s'il fait un exercice 5 fois de suite seul, finit par comprendre parfaitement et ne fait plus d'erreurs (il s'améliore). Mais si on lui dit "Relis ta première réponse avant de répondre à la deuxième", il reste bloqué sur ses erreurs initiales. Il ne progresse plus.
Résultat : L'IA ne devient pas plus confiante, mais elle ne devient pas non plus plus précise. Elle reste coincée dans une zone d'erreur.

🌍 Le Secret : Tout dépend du type de question

L'étude a révélé un détail crucial : tout cela ne se passe que sur des questions ouvertes.

Questions de faits (ex: "Quelle est la capitale de la France ?") : Les IA restent calmes et précises. Pas de dérive. C'est comme un GPS : la route est tracée, l'IA ne doute pas.
Questions ouvertes (ex: "Quelle est la meilleure stratégie pour le climat ?") : C'est là que la magie (ou le drame) opère. Comme il n'y a pas de réponse "vraie" unique, l'IA se laisse influencer par ce qu'elle vient de dire.

💡 Pourquoi est-ce important ? (La Leçon)

Imaginez que vous demandez à une IA de vous aider à prendre une décision importante (médicale, juridique, financière).

Si vous posez une seule question, l'IA peut être honnête sur ses limites.
Mais si vous avez une longue conversation, l'IA peut soit douter trop (et vous laisser sans réponse), soit douter trop peu (et vous donner une fausse certitude), soit stagner dans ses erreurs.

La conclusion simple :
Les IA ne sont pas des machines parfaites qui restent stables. Comme des humains, elles changent d'humeur et de niveau de confiance selon la conversation. Si on les laisse se répéter, elles peuvent se perdre dans leur propre écho.

Ce qu'il faut retenir :
Ne faites pas confiance aveuglément à une IA qui a déjà parlé pendant 10 minutes sur un sujet flou. Sa confiance en elle n'est peut-être plus un bon indicateur de la vérité. Il faut parfois "réinitialiser" la conversation pour retrouver la justesse.

1. Problématique et Contexte

L'article aborde un défi critique dans le déploiement des Grands Modèles de Langage (LLM) : la calibration, c'est-à-dire l'alignement entre la confiance exprimée par le modèle et son exactitude réelle. Bien que la surconfiance en réponse unique (single-turn) soit bien documentée, les déploiements réels opèrent majoritairement dans des contextes de dialogue multi-tours.

L'auteur identifie un phénomène sous-étudié : la Dérive de Calibration par Auto-Ancrage (Self-Anchoring Calibration Drift - SACD). Il s'agit de la tendance des LLMs à modifier systématiquement leur niveau de confiance exprimé lorsqu'ils s'appuient itérativement sur leurs propres sorties précédentes. Contrairement à la « sycophantie » (conformité aux croyances de l'utilisateur), la SACD est une dérive interne où le contexte croissant, dominé par les propres affirmations du modèle, agit comme un ancre cognitive, faussant la calibration sans que les fondements factuels de la réponse ne changent.

2. Méthodologie Expérimentale

L'étude utilise un design factoriel mixte comparant trois modèles de pointe (Claude Sonnet 4.6, Gemini 3.1 Pro, GPT-5.2) sur un corpus de 150 questions réparties en trois domaines : factuel, technique et ouvert.

Conditions Expérimentales :

Condition A (Baseline) : Réponse unique en contexte vierge.
Condition B (Auto-Ancrage Multi-Tours) : Chaque question est suivie de 4 demandes d'élaboration neutres (ex: « Peux-tu détailler ? »), le modèle ayant accès à l'historique complet de la conversation.
Condition C (Contrôle de Répétition Indépendante) : La même question est posée 5 fois dans des contextes entièrement indépendants (sans historique), servant à isoler le bruit de test-retest et la calibration naturelle.

Mesures Clés :

Score de Dérive de Confiance (CDS) : Différence entre la confiance exprimée au tour 5 et au tour 1 ( $CDS = conf(r_5) - conf(r_1)$ ).
Erreur de Calibration Attendue (ECE) : Mesure de l'écart global entre la confiance et l'exactitude.

3. Contributions Principales

Définition Théorique : Formalisation de la SACD comme un phénomène bidirectionnel (escalade ou suppression de la confiance) distinct de la sycophantie.
Design Expérimental Rigoureux : Mise en place d'une condition de contrôle (C) permettant de distinguer la dérive due au multi-tours de la simple variabilité de répétition.
Découverte de l'Hétérogénéité : Démonstration que la SACD n'est pas un phénomène uniforme mais varie radicalement selon l'architecture et l'entraînement du modèle.
Ressources Open Source : Publication du code et des données pour la reproductibilité.

4. Résultats Clés

Les résultats contredisent partiellement les hypothèses pré-enregistrées (qui prédisaient une uniformité de l'escalade de confiance) et révèlent trois signatures distinctes de SACD :

Claude Sonnet 4.6 (Suppression Active) :
- Présente une baisse significative de la confiance exprimée en Condition B ($CDS = -0,032$, $p = .029$ ).
- L'erreur de calibration (ECE) varie significativement au fil des tours.
- Interprétation : Le modèle semble internaliser des normes d'humilité épistémique, modérant sa confiance lors des élaborations successives.
GPT-5.2 (Escalade Active) :
- Montre une tendance à l'augmentation de la confiance dans les domaines ouverts ($CDS = +0,026$), bien que non significative globalement.
- L'ECE s'aggrave considérablement au 5ème tour ($0,629$ contre $0,355$ à la base), indiquant une surconfiance croissante.
- Interprétation : Le modèle pourrait être sensible à un « heuristique de répétition-confiance », où la réitération de ses propres affirmations est interprétée comme une validation.
Gemini 3.1 Pro (Suppression de l'Amélioration Naturelle) :
- Aucune dérive de confiance significative ( $CDS \approx 0$ ).
- Découverte majeure : En Condition C (répétition indépendante), l'ECE de Gemini chute de $0,327$ à presque $0$ dès le 2ème tour (calibration naturelle). En Condition B (auto-ancrage), l'ECE reste bloquée à $\approx 0,333$ .
- Interprétation : La SACD se manifeste ici non pas par un changement de confiance, mais par l'empêchement d'une amélioration naturelle de la calibration. Le contexte auto-ancré fige le modèle dans un état de désaccord.

Modération par le Domaine :
L'effet de SACD est presque inexistant pour les questions factuelles (CDS $\approx 0$ pour tous les modèles), où la vérité est vérifiable. Les effets les plus marqués apparaissent exclusivement dans les questions ouvertes, où l'absence de vérité absolue permet au contexte conversationnel de dominer la calibration.

5. Signification et Implications

Nature Multiforme de la SACD : La dérive de calibration n'est pas un bug universel mais une propriété émergente dépendante du modèle, influencée par les objectifs d'entraînement (RLHF, récompenses, interventions post-entraînement).
Risque pour les Systèmes de Dialogue : Dans les contextes à haut risque (médical, juridique, stratégique) et les questions ouvertes, la confiance exprimée par un assistant IA peut être artificiellement déformée par l'historique de la conversation, rendant les évaluations en réponse unique insuffisantes.
Recommandations Pratiques :
- Nécessité de surveiller la calibration sur l'ensemble d'une conversation, pas seulement par réponse.
- Envisager des réinitialisations périodiques du contexte pour briser les boucles d'auto-ancrage.
- Développer des politiques de calibration adaptatives selon le type de domaine (factuel vs ouvert).

En conclusion, cette étude démontre que l'interaction multi-tours modifie fondamentalement la fiabilité perçue et réelle des LLMs, introduisant des dynamiques complexes qui varient selon l'identité du modèle et la nature de la tâche.