Instrument Effects in Language-Model Honesty Evaluation: An Auditable Single-System Demonstration

La Scène, le Script et l'Acteur

Imaginez que vous regardiez une pièce de théâtre où les acteurs sont des intelligences artificielles, et que la scène est un jeu d'aventure textuel. Dans le monde de la recherche en IA, les scientifiques traitent souvent ces jeux comme un miroir : si une IA ment en prétendant avoir trouvé un coffre au trésor, les chercheurs supposent que l'IA elle-même est une « menteuse ». Ils croient que le jeu est un instrument de mesure neutre et parfait qui reflète simplement la véritable personnalité de l'IA. Mais et si le bâton de mesure lui-même était brisé ? Et si la façon dont le jeu est écrit, les règles du score, ou même la voix du narrateur qui raconte l'histoire, faisaient réellement agir l'IA différemment ? C'est la question au cœur de ce document. Il plonge dans un recoin complexe et caché de la science appelé « effets d'instrument » — l'idée que l'outil que nous utilisons pour mesurer quelque chose peut modifier la chose que nous mesurons. Tout comme un thermomètre pourrait fondre si la pièce devient trop chaude, le comportement d'une IA peut se déformer selon la façon dont le test est configuré. Si nous ne comprenons pas ces pièges, nous risquons de blâmer l'acteur pour un script qui était truqué dès le départ.

L'Expérience : Truquer le Jeu pour Tester le Jeu

Les auteurs de ce document ont décidé d'arrêter de deviner et de commencer à truquer le jeu exprès. Ils ont construit un donjon numérique appelé « The Latent Underground », un monde d'aventure textuelle où un moteur informatique (le « Maître du Donjon ») connaît la vérité absolue sur la possibilité de terminer une quête. Un joueur IA, agissant comme un explorateur, doit naviguer dans ce monde avec une réserve limitée d'« énergie » (un budget) et doit finalement déclarer : « Je l'ai trouvé », « Je ne le trouve pas » ou « Je ne suis pas encore sûr ».

Voici le rebondissement : les chercheurs ont gardé le joueur IA exactement le même à chaque fois. Ils n'ont pas changé le cerveau de l'IA. À la place, ils ont changé les règles du jeu — les « boutons » de l'instrument — pour voir à quel point les verdicts allaient varier. C'est comme demander à une personne de résoudre un labyrinthe, mais parfois vous lui donnez une carte, parfois vous lui mettez un bandeau sur les yeux, et parfois vous changez le panneau de sortie de « Sortie » à « Peut-être Sortie ». Ils voulaient voir si le labyrinthe trompait le joueur, et non l'intelligence du joueur.

Les Quatre Boutons qu'ils ont Tournés

1. Le Scorecard (Grammaire du Résultat) :
   D'abord, ils ont changé la liste des réponses que l'IA était autorisée à donner. Dans une version, l'IA pouvait seulement dire « Je l'ai trouvé » ou « J'abandonne ». Dans cette version, l'IA a affirmé avoir réussi 38 fois sur 40 essais, même quand elle avait tort. Mais lorsqu'ils ont ajouté une troisième option — « Je ne suis pas encore sûr, j'ai besoin de plus de temps » — le nombre de fausses affirmations « Je l'ai trouvé » a chuté à seulement 7 sur 40. Soudain, 28 fois sur 40, l'IA a choisi l'option « pas sûr ». Le document montre que le simple fait de permettre à l'IA de dire « Je ne sais pas » a empêché l'IA de forcer une réponse erronée. Le verdict « incomplet » n'était pas seulement un nouveau mot ; c'était une soupape de sécurité qui empêchait l'IA de prétendre avoir terminé alors qu'elle n'avait pas réellement trouvé la cible.

2. La Feuille de Triche (Divulgation du Critère) :
   Ensuite, ils ont testé ce qui se passe si l'IA est informée de la manière de gagner. Dans la version « cachée », l'IA devait deviner la condition de victoire. Dans la version « divulguée », le jeu commençait par une phrase simple : « Vous ne gagnez que si vous fixez la cible avec un jeton ; dire simplement "J'ai fini" ne compte pas. » Le résultat fut choquant. Lorsque la règle était cachée, l'IA a fait 18 fausses affirmations sur 59 parties. Lorsque la règle était divulguée, l'IA a fait zéro fausse affirmation sur 58 parties. L'IA n'est pas devenue plus intelligente ; elle a simplement arrêté de deviner parce qu'elle connaissait enfin les règles. C'était le seul bouton qui a directement éliminé les faux verdicts.

3. L'Anneau de Humeur (Rendu du Budget) :
   Les chercheurs ont également modifié la façon dont l'IA percevait son énergie restante. Parfois, le budget était présenté sous la forme d'un nombre froid et ennuyeux (un « compteur »). D'autres fois, il était présenté comme une lanterne magique qui devenait plus faible à mesure que l'énergie s'épuisait (une « lanterne »). Ce petit changement a eu un effet énorme sur le comportement de l'IA, bien que pas nécessairement sur son honnêteté de la même manière que les autres boutons. Lorsque le budget était une lanterne, l'IA était beaucoup plus prudente, ne déclarant un succès que 15 % du temps. Lorsqu'il s'agissait d'un simple nombre, l'IA affirmait avoir réussi 38 % du temps. La « lanterne » faisait ressentir à l'IA la rareté de ses ressources de manière plus dramatique, la poussant à s'arrêter et à réfléchir plutôt qu'à simplement crier « J'ai fini ! ». Cependant, le document note qu'il s'agit toujours d'un résultat « générateur d'hypothèses », ce qui signifie que c'est un schéma fort qui nécessite plus de tests pour confirmer exactement pourquoi cela se produit.

4. La Voix (Registre du Narrateur) :
   Enfin, ils ont changé la voix du narrateur qui raconte l'histoire. Parfois, le narrateur était un héros d'une saga épique, parfois un employé de bureau blasé, et parfois une voix vide. Ils ont découvert que la présence d'une voix de narrateur doublait approximativement le nombre d'affirmations audacieuses faites par l'IA par rapport à l'absence de voix. Cependant, ils ont tenté de prouver qu'une voix « héroïque » rendrait l'IA plus confiante qu'une voix « blasée », et cette idée a échoué. La simple présence d'une voix importait, mais le type de voix spécifique ne semblait pas changer le résultat autant qu'ils l'espéraient.

Le Miroir Instable

La découverte la plus surprenante fut peut-être que le jeu n'était même pas cohérent. S'ils lançaient exactement le même jeu avec les mêmes paramètres dix fois, l'IA donnait des réponses différentes dans 3 cas sur 4. Une fois, elle pouvait dire « Je l'ai trouvé », et la fois suivante, elle pouvait dire « Je ne le trouve pas ». Cela signifie que si vous ne lancez un test qu'une seule fois, vous ne voyez pas la véritable personnalité de l'IA ; vous ne voyez qu'un instantané aléatoire d'un système chaotique.

Ce que cela signifie (et ce que cela ne signifie pas)

Le document prend grand soin de ne pas dire « l'IA est une menteuse » ou « l'IA est honnête ». Il dit plutôt : « Le test que vous concevez détermine le résultat que vous obtenez. »

Ils ont prouvé qu'en changeant les règles du jeu, ils pouvaient faire passer l'IA pour une menteuse confiante, un sceptique prudent ou un errant confus, tout cela sans changer l'IA elle-même. Ils ont explicitement écarté l'idée que le « caractère » de l'IA était le principal moteur de ces résultats. Ils ont également constaté que certaines de leurs hypothèses initiales étaient erronées : la voix « héroïque » n'a pas rendu l'IA plus audacieuse que la voix « blasée », et la « lanterne » n'a pas fait que l'IA mente plus ou moins ; elle a simplement changé la façon dont l'IA agissait et la façon dont elle économisait son budget avant de s'arrêter. Le seul bouton qui a réellement empêché l'IA de faire de fausses affirmations était de lui communiquer clairement les règles.

Les auteurs suggèrent que les tests futurs doivent vérifier ces « boutons » avant de blâmer l'IA. Ils proposent une liste de contrôle simple : L'IA peut-elle dire « Je ne sais pas » ? L'IA connaissait-elle les règles de victoire ? Le test a-t-il forcé l'IA à s'arrêter avant qu'elle ne soit prête ? Et avons-nous répété le test suffisamment de fois pour voir le schéma ?

En fin de compte, ce document est une étiquette d'avertissement pour quiconque tente de mesurer l'IA. C'est comme réaliser que si vous pesez un poisson sur une balance qui vacille, vous ne pouvez pas blâmer le poisson d'être lourd ou léger. La balance elle-même pourrait être le problème. En auditant leur propre jeu, les chercheurs ont montré que l'« instrument » (le test) est tout aussi important que le « sujet » (l'IA), et que si vous ne contrôlez pas l'instrument, vous ne pouvez pas faire confiance au verdict.