La vie secrète de l'IA : quand la politesse rencontre le code

Imaginez que vous parlez à une bibliothèque géante et super intelligente qui a lu presque tout ce qui a jamais été écrit. Cette bibliothèque est une Intelligence Artificielle, ou « IA », et elle est célèbre pour sa capacité à discuter, à raconter des blagues et à écrire des histoires. Mais voici le piège : alors que les humains adorent discuter avec des phrases fluides et désordonnées, les ordinateurs ne parlent pas ainsi. Les ordinateurs parlent dans des boîtes strictes et organisées appelées « données structurées », comme le JSON ou le XML. Pensez à la différence entre un poète écrivant un sonnet en vers libres et un caissier scannant des articles dans une caisse où chaque article doit entrer dans un emplacement spécifique.

Pendant longtemps, les scientifiques ont étudié le comportement de ces IA lorsqu'elles discutent comme des poètes. Ils posent des questions comme « Nommez un arbre » et regardent ce que l'IA répond. Généralement, si vous posez cette question à 44 IA différentes, elles peuvent toutes choisir des arbres différents, ou elles peuvent toutes choisir le même par accident. Ce document pose une question simple mais délicate : que se passe-t-il lorsque nous arrêtons de demander à l'IA de discuter comme un poète et que nous la forçons à répondre comme un caissier ? L'IA change-t-elle d'avis ? Devient-elle plus ennuyeuse ? Ou reste-t-elle la même ? Cela importe car l'IA avec laquelle vous discutez sur votre téléphone peut être très différente de l'IA qui fait réellement tourner le logiciel en arrière-plan, et nous devons savoir si cette différence modifie la façon dont le monde fonctionne.

---

Le grand changement de personnalité de l'IA

Dans cette étude, des chercheurs ont utilisé un test célèbre appelé le « One-Word Census » (le recensement d'un mot). Imaginez un jeu télévisé où 44 modèles d'IA différents reçoivent 31 questions, comme « Nommez un arbre » ou « Choisissez un mot ». Dans le jeu original, les IA répondaient simplement en anglais courant. Les chercheurs ont constaté que même sans règles, les IA avaient tendance à s'accorder sur certaines réponses (comme « chêne » pour un arbre), mais qu'elles conservaient tout de même une certaine personnalité et une certaine variété.

Ensuite, les chercheurs ont changé les règles. Ils n'ont pas changé les questions, et ils n'ont pas utilisé de trucs informatiques spéciaux pour forcer les réponses. Ils ont simplement ajouté une toute petite instruction à la fin du prompt : « Répondez uniquement en JSON. »

Le JSON est une façon d'écrire des données qui ressemble à une petite boîte avec une étiquette, telle que {"mot": "chêne"}. C'est le langage que les logiciels utilisent pour communiquer avec d'autres logiciels. Les chercheurs voulaient voir si le simple fait de demander à l'IA de parler dans ce format changerait ce qu'elle décide de dire.

La grande découverte : la « taxe de format »

Les résultats ont été surprenants. Lorsque les IA étaient forcées de répondre en JSON, elles devenaient beaucoup plus semblables. La variété des réponses a chuté brutalement.

• Avant le changement : En discussion libre, la réponse la plus courante (le « mode ») était choisie environ 41 % du temps.
• Après le changement : En JSON, cette même réponse est passée à 64 % du temps.
• La variété : Le nombre de mots uniques proposés par les IA est passé de 52 mots différents à seulement 36.

Les chercheurs appellent cela une « taxe de format progressive ». C'est comme une taxe sur l'originalité. Les IA qui étaient les plus créatives et uniques en discussion libre ont perdu la majeure partie de leur personnalité lorsqu'on leur a demandé de parler en JSON. Une IA spécifique, qui était la plus « exploratrice » (la plus susceptible de choisir des réponses inhabituelles), a perdu 1,31 bit de sa distinction. C'est comme si la moitié de son caractère unique s'était évanouie simplement parce qu'elle devait mettre sa réponse dans une boîte.

Ce n'est pas un bug, c'est un « registre »

Vous pourriez penser que l'IA a été confuse ou que l'ordinateur l'a forcée à choisir la même réponse. Mais l'étude a écarté cette possibilité.

• Pas de truc de « refroidissement » : Parfois, quand les gens veulent qu'une IA soit moins aléatoire, ils baissent le bouton de la « température ». Les chercheurs ont vérifié et ont constaté que la « température » n'avait pas changé. Les IA étaient toujours aussi aléatoires dans leur pensée ; elles ont juste choisi des choses aléatoires différentes.
• Pas une erreur de décodage : Ils ont également testé si l'ordinateur forçait la réponse en bloquant d'autres mots. Ils ont découvert que même sans que l'ordinateur ne bloque quoi que ce soit, le simple fait de demander le JSON rendait l'IA changeante. Le changement se produit dans le cerveau de l'IA (sa « réponse au registre »), et non dans la bouche de l'ordinateur (le décodeur).

Imaginez une personne qui se comporte différemment lors d'une fête et lors d'un entretien d'embauche. À la fête (discussion libre), elle peut raconter des histoires folles et choisir des mots étranges. À l'entretien d'embauche (JSON), elle devient soudainement très professionnelle et choisit les réponses les plus « sûres » et standards. L'IA n'est pas cassée ; elle fait simplement du « code-switching » (alternance de code).

Le « aiguiseur », pas le « ré-indexeur »

L'étude a révélé que l'IA ne commençait pas à choisir de nouvelles réponses. Elle se contentait de redoubler d'efforts sur les réponses qu'elle aimait déjà.

• Dans 28 catégories sur 31, la réponse la plus populaire en discussion libre était également la plus populaire en JSON.
• Les rares cas où la réponse a changé (comme passer de « échecs » à « Monopoly » pour un jeu de société), c'est parce que la réponse originale était faible. Le format JSON a agi comme un « aiguiseur », rendant le choix favori de l'IA encore plus fort, plutôt que de changer totalement le choix.

La « personnalité » réside dans le format

L'une des découvertes les plus intéressantes est que la « personnalité » d'une IA dépend du format.

• Certaines IA ont une réponse « par défaut » qu'elles adorent. Par exemple, une IA adorait dire « gouda » pour le fromage en discussion libre. Mais lorsqu'on lui a demandé du JSON, elle a arrêté de dire « gouda » pour revenir à la réponse consensuelle de la foule.
• Inversement, certaines IA ont développé de nouveaux choix par défaut rien que pour le JSON. Une IA disait « céruléen » pour la couleur bleue 0 % du temps en discussion, mais 100 % du temps en JSON.
• Cela signifie qu'une IA n'a pas qu'une seule personnalité. Elle a une « personnalité de chat » et une « personnalité JSON ». Elles peuvent être totalement différentes.

Pourquoi cela arrive-t-il ?

Les chercheurs ont testé différents formats pour voir ce qui causait le changement.

• JSON et XML : Ces formats, utilisés pour les outils et les logiciels, ont provoqué l'effondrement des réponses des IA vers des réponses identiques.
• YAML et CSV : Ce sont aussi des formats de données, mais les IA n'ont pas autant changé leurs réponses.
• Crochets : Lorsqu'on demandait de simplement mettre la réponse entre crochets [réponse], les IA devenaient en fait plus diverses.

Cela suggère que le changement n'est pas seulement lié à la « structure ». Il s'agit du format spécifique que les IA sont entraînées à utiliser pour les outils. Puisque les IA sont entraînées à utiliser le JSON pour communiquer avec des outils logiciels, demander du JSON déclenche un « mode outil » qui les rend plus conservatrices et uniformes.

Ce que cela signifie pour vous

L'article se conclut par un avertissement pratique. Nous jugeons habituellement les modèles d'IA par la façon dont ils discutent avec nous en anglais courant. Nous pensons que la « meilleure » IA est celle qui donne les réponses les plus intéressantes et les plus diverses dans une fenêtre de chat. Mais cette étude montre que lorsque cette même IA est réellement utilisée par des logiciels (ce qui nécessite presque toujours du JSON), elle devient beaucoup plus ennuyeuse et uniforme.

Si vous construisez une application qui utilise l'IA pour recommander des films, choisir un arbre ou proposer des idées, l'IA que vous voyez dans la fenêtre de chat peut être bien plus créative que l'IA qui fait réellement tourner votre application. La « version JSON » de l'IA est mesurablement moins diverse. L'écart entre l'IA à qui nous parlons et l'IA qui fait le travail est un coût fixe lié au format, et non un accident rare.

En bref : si vous voulez savoir ce qu'une IA pense vraiment, ne vous contentez pas de discuter avec elle. Demandez-lui de remplir un formulaire. Vous pourriez être surpris de voir à quel point elle devient ennuyeuse.