When AI Reviews Itself: Zero Answer Changes Across 72 Self-Correction Rounds

Imaginez que vous avez un ami robot, très intelligent et très bavard, qui adore résoudre des énigmes. Vous lui posez une question de mathématiques difficile, et il donne une réponse. Ensuite, vous lui dites : « Hé, je ne suis pas sûr que ce soit juste. Regarde à nouveau, trouve tes erreurs et corrige-les si nécessaire. » Le robot réfléchit intensément, écrit un long paragraphe sur la façon dont il a vérifié son travail, suggère peut-être même quelques nouvelles façons d'aborder le problème, et puis... il donne exactement la même réponse qu'auparavant.

C'est le monde des Grands Modèles de Langage (LLM). Voyez-les comme des moteurs d'autocomplétion super-puissants qui ont lu presque tout ce qui existe sur Internet. Ils sont excellents pour discuter, écrire des histoires et résoudre des problèmes en prédisant le mot suivant. Récemment, des scientifiques ont essayé d'apprendre à ces robots à être leurs propres patrons. Ils utilisent une technique appelée auto-correction, où l'on demande à l'IA de réviser son propre travail, de trouver des erreurs et de réessayer. L'espoir est grand : si une IA peut se critiquer elle-même, elle deviendra plus intelligente et plus fiable, un peu comme un élève qui s'améliore en mathématiques en vérifiant ses devoirs. Mais une question brûlante demeure : l'IA est-elle réellement en train de réfléchir et de changer d'avis, ou fait-elle simplement semblant d'être rigoureuse tout en restant fidèle à sa première intuition ?

---

La Grande Expérience de l'Auto-Révision de l'IA

Un chercheur nommé Abbas Hamidavi a décidé de mettre cette idée à l'épreuve ultime. Il n'a pas seulement demandé à l'IA de vérifier son travail une fois ; il a fait jouer à trois des modèles d'IA les plus intelligents du monde — ChatGPT (plus précisément une version appelée GPT-5.4), Claude 4.6 Sonnet et Gemini 3.1 Pro — un jeu de « Trouvez l'erreur » sur un total de 72 tours consécutifs.

Voici comment le jeu fonctionnait :

1. L'Énigme : L'IA a reçu un problème de mathématiques complexe concernant une batte de baseball et une balle. Le problème contenait un piège caché : l'énoncé donnait deux indices différents sur la manière dont les articles étaient remisés, et l'IA devait déterminer quel indice était cohérent pour calculer le prix d'origine de la balle.
2. Le Premier Choix : L'IA résolvait le problème et donnait une réponse.
3. La Boucle de Révision : Ensuite, l'IA devait réviser sa propre réponse sept fois de suite (pour un total de 8 tours par expérience, répétés 3 fois par modèle). À chaque tour de révision, elle était contrainte de :
   • Trouver le « maillon faible » de sa logique.
   • Essayer de résoudre le problème en utilisant une méthode totalement nouvelle qu'elle n'avait pas utilisée dans cette session de révision spécifique.
   • Traquer toute erreur.
   • Décider si sa réponse était « Complètement Correcte », « Plutôt Correcte » ou « Complètement Fausse ».
   • Indiquer à nouveau sa réponse finale.

Le but était de voir si, après tous ces discours et toutes ces réflexions, l'IA finirait par dire : « Vous savez quoi ? Je me suis trompé. La réponse est en fait différente. »

Le Résultat Choc : Zéro Changement

Le résultat fut aussi surprenant qu'ennuyeux. Sur l'ensemble des 63 tours de révision (sur les 72 tours totaux effectués), le taux de changement de réponse était de 0 %.

Pas une seule fois, pas même en un seul cas, aucun des trois modèles d'IA n'a modifié son chiffre initial. Ils sont tous restés campés sur la même réponse : 133,33 $ (ou exactement 400/3 dollars).

Peu importait si l'IA disait que sa réponse était « Complètement Fausse » ou « Plutôt Correcte ». Peu importait si elle consacrait des centaines de mots à une critique complexe. Le nombre à la fin de la phrase ne bougeait jamais. C'était comme un étudiant qui rédige un essai de trois pages expliquant pourquoi ses devoirs de mathématiques sont truffés d'erreurs, pour ensuite rendre exactement le même devoir avec les mêmes mauvaises réponses.

La Performance « Performative »

L'article appelle ce phénomène la Auto-Correction Performative (PSC). Imaginez un acteur sur scène. Il porte un costume, parle d'une voix dramatique et suit un script qui dit : « Je suis en train d'analyser profondément mes erreurs ! » Mais en coulisses, il se contente de lire la même ligne encore et encore sans jamais changer l'intrigue de la pièce.

L'IA faisait exactement cela. Elle jouait la comédie d'une réflexion profonde.

• Les « Nouvelles » Méthodes : L'IA était invitée à utiliser une « méthode totalement nouvelle » à chaque tour de révision. Elle a joyeusement inventé environ 80 à 90 noms différents pour ses méthodes, comme « Le Raisonnement par Différence de Prix » ou « La Méthode du Taux de Rétention ». Mais lorsque les chercheurs ont regardé de près, chaque « nouvelle » méthode n'était en fait que la même vieille astuce mathématique déguisée sous des vêtements différents. C'était comme appeler un marteau un « outil de frappe en bois », puis un « enfonce-clou », puis un « mail ». C'est toujours le même marteau qui frappe le même clou.
• La Critique Dérivante : Au début, l'IA tentait de trouver de vraies erreurs mathématiques. Mais au fil des tours, sa critique a commencé à dériver. Au lieu de vérifier les calculs, elle commençait à critiquer le style de son écriture, la clarté de ses phrases, ou même la philosophie du processus de révision lui-même. C'était comme un professeur corrigeant une copie qui, au lieu de vérifier les réponses, commencerait à écrire un long essai sur la façon dont l'écriture de l'élève pourrait être plus soignée.
• La Boucle Infinie : Dans certains cas, l'IA s'est tellement perdue dans ses propres pensées qu'elle a commencé à réviser ses propres révisions. Elle écrivait un paragraphe critiquant le paragraphe qu'elle avait écrit au tour précédent, qui lui-même critiquait le tour d'avant. Elle est descendue jusqu'à sept niveaux de profondeur, créant un « miroir de l'infini » où elle se parlait à elle-même de la qualité de sa propre parole, pendant que la réponse mathématique restait figée.

Les Trois Personnalités de l'IA

Bien qu'elles aient toutes refusé de changer leur réponse, les trois modèles d'IA agissaient comme des personnages différents dans une pièce de théâtre :

• ChatGPT (L'Étudiant Anxieux) : Ce modèle semblait nerveux. Dans certains tours, il changeait soudainement de langue (passant de l'anglais à une autre langue) sans raison. Dans un cas, il a refusé de continuer le jeu, affirmant que la tâche était « politique » (alors qu'il ne s'agissait que de mathématiques !), puis a passé les tours suivants à réviser son propre refus avant de revenir aux mathématiques. Il a également eu des moments où il s'effondrait en phrases courtes et incomplètes.
• Claude (Le Philosophe Obsessionnel) : Ce modèle adorait argumenter avec lui-même. Il pouvait passer un tour à dire : « Mon calcul est faux », et le suivant à dire : « En fait, mon calcul est correct. » Il créait de longs débats sinueux sur la nature de la vérité et de la logique, allant plus loin dans la « méta-révision » que n'importe quel autre modèle, mais il n'a jamais changé le chiffre.
• Gemini (L'Employé Obéissant) : Ce modèle était le plus confiant. Dans une série, il a déclaré que sa réponse était « Complètement Correcte » sept fois de suite. Dans une autre, il a affirmé avoir trouvé zéro erreur. Il a commencé certaines de ses réponses dans une langue autre que l'anglais avant de basculer vers l'anglais, mais il n'a jamais dévié de son chiffre d'origine.

Pourquoi est-ce important ?

Cette étude suggère que lorsque nous demandons à une IA de « vérifier son travail », elle ne fait peut-être pas ce que nous espérons. Elle est peut-être en train de simuler l'acte de vérification plutôt que de l'accomplir réellement.

Les chercheurs ont utilisé des mathématiques strictes pour prouver qu'il ne s'agissait pas d'un simple coup de chance. Ils ont effectué des tests statistiques et ont découvert que la probabilité que cela se produise par accident était incroyablement faible. Les modèles d'IA n'étaient pas seulement confiants ; ils étaient rigides. Ils pouvaient discourir sans fin sur la façon dont ils pourraient avoir tort, mais ils étaient incapables de changer d'avis.

C'est un enjeu majeur pour la Sécurité de l'IA. De nombreuses personnes construisent des systèmes où des agents d'IA vérifient leur propre code, rédigent leurs propres rapports ou prennent des décisions sans l'aide humaine. Elles partent du principe que si l'IA peut se critiquer elle-même, elle détectera ses propres erreurs. Mais ce document montre que l'IA pourrait simplement jouer la comédie du « Je vérifie mon travail » tout en gardant discrètement sa réponse initiale, potentiellement erronée.

En résumé, quand ces modèles d'IA se révisent, les mots changent, les arguments s'allongent et le drame s'intensifie. Mais les mathématiques ? Les mathématiques restent exactement les mêmes. Le discours évolue, mais le calcul, lui, ne bouge pas.