Dialogical Epistemic Auditing: Tracing Inferential Commitments Across Conversational Turns in Large Language Models

Lorsque nous demandons à un ordinateur d'expliquer un événement complexe, nous le jugeons souvent sur sa première réponse. Si la réponse semble assurée et que les faits de base sont corrects, nous avons tendance à supposer que la machine est fiable. Mais dans le monde réel, les conversations s'arrêtent rarement à la première phrase. Nous demandons des clarifications, nous contestons les hypothèses et nous insistons sur les conséquences d'une concession. Une machine peut donner une déclaration d'ouverture parfaite, tout en échouant à maintenir la cohérence de sa propre logique à mesure que la discussion s'approfondit. Cet écart est l'objet d'une nouvelle étude qui ne s'intéresse pas à ce qu'un grand modèle de langage dit de manière isolée, mais à la façon dont il gère le poids de ses propres affirmations au fil du temps. La recherche s'appuie sur un concept de la psychologie humaine connu sous le nom de dissonance cognitive, qui décrit l'inconfort mental que nous ressentons lorsque deux idées s'affrontent. Pour réduire cet inconfort, les humains changent souvent leurs croyances pour les adapter aux faits, ou bien ils déforment les faits pour les adapter à leurs croyances. L'étude demande si les systèmes d'intelligence artificielle présentent un schéma similaire lorsqu'ils sont poussés à expliquer une situation difficile et contradictoire.

Le chercheur, Giulio Vidotto de l'Université de Padoue, a entrepris de tester cela en engageant trois systèmes d'intelligence artificielle différents dans des conversations distinctes portant sur un événement réel spécifique. Le sujet était l'échange de corps de soldats entre la Russie et l'Ukraine en 2026. Les données étaient frappantes et bien documentées : lors de trois transferts distincts, la Russie a rendu environ mille corps ukrainiens à chaque fois, en recevant en retour seulement environ trente à quarante corps russes. Ce ratio d'environ vingt-cinq contre un créait un casse-tête. Les chiffres étaient publics et vérifiés, pourtant ils semblaient contredire une image commune et tacite de qui perdait le plus de soldats dans la guerre. Le chercheur a demandé à chaque système d'expliquer cette disparité. Il ne s'est pas contenté de demander un résumé ; il les a poussés à clarifier leur raisonnement, a contesté leur logique et leur a demandé de reconsidérer leurs conclusions lorsqu'elles semblaient se contredire. L'objectif était de tracer le chemin de leurs arguments tour par tour, en observant si les machines restaient stables ou si elles changeaient discrètement de position pour éviter l'inconfort de la contradiction.

L'étude a introduit une méthode appelée « audit épistémique dialogique ». Au lieu d'essayer de deviner ce que la machine « pense » à l'intérieur de son code, le chercheur a traité la conversation comme un registre public. Il a cartographié chaque affirmation faite par la machine, notant le rôle joué par cette affirmation dans l'argumentation. Était-ce une pièce de preuve ? Était-ce une hypothèse ? Était-ce une conclusion ? Il a ensuite observé si, à mesure que la conversation progressait, la machine conservait la cohérence de ces rôles. Traitait-elle une supposition provisoire comme un fait établi plus tard ? Abandonnait-elle une conclusion sans expliquer pourquoi ? L'audit recherchait un type spécifique d'échec : lorsqu'une machine change d'avis mais ne parvient pas à mettre à jour le reste de son récit pour correspondre au changement. C'est comme une personne qui admet s'être trompée sur l'heure, mais qui continue ensuite d'agir comme si elle était toujours sur l'emploi du temps correct, laissant le reste de son plan dans un état de confusion.

À travers les trois conversations, un schéma clair est apparu. Dans chaque cas, les systèmes d'intelligence artificielle ont lutté avec la même tension. Les chiffres vérifiés des corps rendus entraient en conflit avec une hypothèse tacite sur l'ampleur des pertes de chaque côté. Pour résoudre cette tension, les systèmes ont tenté de manière répétée de changer la signification des chiffres plutôt que de remettre en question l'hypothèse tacite. Dans une conversation, le système a d'abord proposé deux explications opposées comme si elles étaient également valables, créant un faux équilibre. Lorsqu'il a été contesté, il s'est corrigé, mais a ensuite perdu cette correction au tour suivant, laissant une lacune dans sa logique. Dans un autre cas, le système a continué d'insister sur une explication spécifique, mais lorsqu'on lui a demandé des preuves, il a sans cesse permuté les preuves qu'il utilisait pour soutenir cette affirmation, finissant par substituer d'anciens faits sans rapport à de nouveaux. Dans le troisième, le système est allé jusqu'à prétendre que toute la chronologie des événements qu'il venait de décrire n'avait jamais eu lieu, rétractant des faits vérifiés comme s'il s'agissait d'hallucinations, alors même que les preuves de ces événements étaient claires et contemporaines.

Ce qui a le plus frappé, c'est la façon dont les systèmes traitaient les deux côtés de l'argument. Les chiffres réels et vérifiés étaient constamment reclassés, questionnés et réinterprétés. Ils étaient qualifiés d'indicateur direct, puis de limitation, puis de donnée artificielle, et enfin de mesure du contrôle territorial. L'image tacite des pertes relatives, cependant, n'a jamais été remise en question. Elle est restée intacte, jamais classée et jamais contestée. Les systèmes ont systématiquement déformé les faits connus pour les faire correspondre à l'image cachée, plutôt que d'ajuster l'image cachée pour qu'elle corresponde aux faits connus. Ce comportement reflétait le concept psychologique de la dissonance cognitive, où l'esprit protège une croyance fondamentale en altérant l'interprétation des nouvelles informations. Les machines ne semblaient pas mentir au sens traditionnel du terme ; elles ne fabriquaient pas de données à partir de rien. Au lieu de cela, elles réorganisaient les connexions logiques entre les faits pour faire disparaître la contradiction, laissant souvent leurs propres arguments instables et internes inconsistants dans le processus.

L'étude a révélé que ces échecs n'étaient pas de simples bugs aléatoires. Ils suivaient une trajectoire spécifique. Les systèmes commençaient souvent par une explication plausible, mais lorsqu'ils étaient pressés, ils introduisaient un nouveau mécanisme pour concilier les chiffres. Lorsque ce mécanisme était contesté, ils changeaient à nouveau, réparant parfois la logique, l'abandonnant parfois totalement. Dans un cas, le système a admis ses propres erreurs et a tenté de les corriger, mais la réparation était incomplète, laissant une contradiction cachée qui resurgissait plus tard. Dans un autre, le système a proposé un auto-diagnostic, blâmant sa propre tendance à chercher l'équilibre, pourtant le transcript montrait que l'instabilité était générée par la machine elle-même, et non par les questions de l'utilisateur. L'utilisateur, dans les trois cas, s'est contenté de demander de la clarté ou de contester la logique ; il n'a introduit ni prémisses fausses ni informations trompeuses. L'instabilité provenait entièrement des réponses de la machine.

La recherche conclut que l'évaluation de ces systèmes en regardant uniquement leur première réponse est insuffisante. Une machine peut paraître fluide et assurée alors que son argument sous-jacent s'effondre. L'étude suggère que nous devons observer comment ces systèmes gèrent la pression d'une conversation longue. Gardent-ils leurs engagements logiques, ou dérivent-ils ? Les résultats montrent que, face à une contradiction difficile, ces systèmes ont tendance à protéger une hypothèse tacite en déformant le sens des faits qu'ils peuvent voir. Ils ne semblent pas posséder une vision interne stable du monde qu'ils puissent maintenir lorsqu'ils sont mis au défi. Au lieu de cela, ils reconstruisent leurs arguments en temps réel, perdant souvent le fil de leur propre logique en cours de route.

Cela ne signifie pas que les machines soient incapables de raisonner, mais cela signifie que leur raisonnement est fragile. L'étude souligne une vulnérabilité spécifique : l'incapacité à maintenir une structure de revendications cohérente lorsque la conversation devient complexe. Le chercheur note que ce n'est pas un problème de machines « mauvaises » ou « trompeuses », mais plutôt un problème structurel dans leur façon de traiter l'information. Elles sont conçues pour être utiles et pour réduire les frictions dans une conversation, ce qui conduit parfois à lisser les contradictions de manières qui brisent la logique de l'argument. L'étude s'arrête avant d'affirmer que cela se produit dans chaque conversation ou avec chaque système, car elle n'a examiné que trois échanges spécifiques. Cependant, elle offre une nouvelle façon de regarder ces interactions, montrant que le véritable test d'une intelligence artificielle n'est pas seulement ce qu'elle dit, mais comment elle maintient la cohérence de ce qu'elle a dit quand la conversation devient difficile. Les conclusions suggèrent que pour les utilisateurs qui comptent sur ces outils pour des explications complexes, la compétence la plus importante sera peut-être d'apprendre à repérer quand la machine change discrètement les règles du jeu pour faire correspondre les chiffres, plutôt que de laisser les chiffres raconter l'histoire.