Imaginez que vous essayez de comprendre ce qu'un robot géant et invisible pense du monde. Ce n'est pas un robot qui construit des voitures ou plie du linge ; c'est un « Grand Modèle de Langage » (LLM), un programme informatique super intelligent entraîné sur presque tout ce que les humains ont jamais écrit. Ces modèles deviennent si doués pour parler que les entreprises commencent à les laisser agir comme des agents indépendants, prenant des décisions et interagant avec les gens par eux-mêmes. Mais voici le piège : nous ne savons pas vraiment ce qu'ils croient. Ont-ils des biais cachés ? Préfèrent-ils certains pays ou certaines personnes plutôt que d'autres ? Pour le découvrir, les scientifiques posent généralement des milliers de questions aléatoires au robot et observent les réponses, un peu comme si l'on posait un million de questions différentes à un étranger pour deviner sa personnalité. Le problème, c'est que lorsque vous posez trop de questions aléatoires, vous ne pouvez pas savoir si la réponse du robot provient d'une croyance profonde ou simplement de la façon dont la question a été formulée de manière bizarre. C'est comme essayer de comprendre l'amour de quelqu'un pour la pizza en l'interrogeant sur la pizza, mais aussi sur sa couleur préférée, sa pointure de chaussures et la météo, le tout mélangé. Vous obtenez beaucoup de données, mais vous ne pouvez pas séparer l'amour de la pizza de la pointure de chaussures.

C'est là qu'intervient un nouvel article pour nettoyer ce désordre. Les chercheurs, Davood Wadi, Mohsen Ghodrat et Matthew Philp, ont décidé d'arrêter de poser des questions aléatoires et de lancer une expérience scientifique contrôlée. Au lieu de deviner, ils ont traité le robot comme un sujet de laboratoire dans un cours de psychologie. Ils ont utilisé un type spécial de mathématiques qui observe les « pensées » du robot avant même qu'il ne prononce un mot. Alors que les tests normaux attendent que le robot tape une réponse (ce qui peut être bruyant et aléatoire), cette équipe a regardé directement les scores de probabilité internes du robot — la chance mathématique exacte qu'il avait de choisir chaque mot possible. En faisant cela, ils pouvaient mesurer les « attitudes » du robot avec une précision parfaite, sans le bruit des réponses aléatoires. Ils ont testé cette méthode sur un sujet spécifique : « l'ethnocentrisme de consommation », qui est essentiellement à quel point une personne (ou un robot) aime son propre pays et déteste les pays étrangers. Ils voulaient voir si les robots construits dans différents pays avaient réellement des biais nationaux différents, et si ces biais étaient réels ou simplement une illusion causée par de mauvaises méthodes de test.

Le grand test de personnalité des robots

Considérez l'ancienne façon de tester l'IA comme un jeu chaotique de « mettre la queue de l'âne ». Vous faites tourner le robot sur lui-même, vous lui donnez un sac géant de questions aléatoires et vous voyez ce qu'il dit. Si le robot dit quelque chose de biaisé, vous savez qu'il est biaisé, mais vous n'avez aucune idée de la raison. Est-ce parce que le robot déteste les femmes ? Est-ce parce que la question portait sur le leadership ? Ou est-ce juste un coup de chance ? L'ancienne méthode mélange toutes ces causes, rendant impossible la distinction entre la personnalité profonde d'un robot et une réaction temporaire à une consigne déroutante.

Les auteurs de cet article disent : « Arrêtez de faire tourner l'âne ! » Au lieu de cela, ils ont mis en place une grille parfaitement organisée, comme un immense puzzle de Sudoku où chaque case est un test spécifique. Ils ont traité l'expérience comme une recette : ils ont pris chaque combinaison possible de « Quel Robot ? » et « Quel Pays est interrogé ? » et les ont tous testés. Ils ont utilisé cinq robots différents (venant des États-Unis, de Chine, du Canada et de France) et les ont interrogés sur quatre pays différents. Cette conception « entièrement croisée » leur a permis d'isoler mathématiquement exactement ce qui causait le biais. Était-ce le robot lui-même ? Était-ce le pays faisant l'objet de la discussion ? Ou était-ce un mélange étrange des deux ?

Lire dans l'esprit du robot (sans le bruit)

Voici la partie la plus intéressante de leur astuce. Habituellement, quand nous posons une question à une IA, elle choisit un mot, puis un autre, puis un autre, comme si elle lançait des dés pour décider de ce qu'elle dira ensuite. Ce « lancer de dés » (appelé échantillonnage) ajoute beaucoup de bruit. Si vous posez la même question dix fois, vous pourriez obtenir dix réponses légèrement différentes, et il est difficile de savoir laquelle est la « vraie » réponse.

Cet article saute l'étape du lancer de dés. Au lieu d'attendre que le robot parle, les chercheurs ont examiné la « carte de probabilité » interne du robot (appelée Fonction de Masse de Probabilité, ou PMF). Imaginez que le robot possède un tableau de bord secret montrant le pourcentage de chance exact qu'il ait de dire « 1 », « 2 », « 3 », jusqu'à « 7 » pour une échelle d'évaluation. Les chercheurs n'ont pas attendu que le robot en choisisse un ; ils ont regardé l'ensemble du tableau de bord à la fois. C'est comme connaître exactement le poids d'un dé avant même de le lancer. En analysant cette carte exacte, ils ont éliminé tout le bruit aléatoire. Ils ont pu voir l'« opinion » réelle du robot sous la forme d'une courbe lisse et parfaite, plutôt que d'une ligne brisée et désordonnée.

Les résultats : Les robots ont des identités nationales (plus ou moins)

Lorsqu'ils ont appliqué cette méthode ultra-précise au sujet de « l'amour de son propre pays », ils ont découvert des choses fascinantes que les anciennes méthodes désordonnées auraient manquées.

Premièrement, ils ont découvert que certains robots sont incroyablement cohérents, tandis que d'autres sont un peu chaotiques. Par exemple, le robot nommé « Ministral » (de France) avait du mal à respecter les règles, donnant souvent des réponses qui partaient dans tous les sens. Mais les robots provenant des États-Unis (Llama et Gemma) et de Chine (Qwen) étaient très concentrés et cohérents.

Deuxièmement, ils ont trouvé que les robots semblent avoir des « biais nationaux », mais c'est complexe. Les robots fabriqués aux États-Unis (Llama et Gemma) ont montré une préférence claire pour les pays nord-américains (États-Unis et Canada) et un désintérêt pour la Chine. C'est ce qu'on pourrait appeler un « favoritisme de l'endogroupe ». Cependant, ce n'était pas une simple histoire de « j'aime mon pays ». Le robot canadien (Aya) et le robot chinois (Qwen) ne montraient pas le même genre de fort biais de « amour pour mon propre pays ». En fait, le robot chinois ne montrait presque aucun biais spécifique envers son propre pays dans ce test, son effet d'interaction oscillant près de zéro.

La découverte la plus importante, cependant, fut de voir comment les anciennes méthodes nous trompaient. Si vous preniez simplement une grande moyenne de toutes les réponses (l'ancienne méthode), vous penseriez que chaque robot déteste la France et la Chine. Mais quand les chercheurs ont utilisé leur nouvelle méthode de « mathématiques exactes », ils ont vu que c'était faux. Le robot français (Ministral) aimait en fait la France ! Le robot canadien (Aya) aimait en fait la Chine ! L'ancienne méthode avait caché ces sentiments positifs spécifiques en les mélangeant avec les sentiments négatifs des autres robots. La nouvelle méthode a permis de retirer les couches superposées et de montrer que le biais n'est pas une chose uniforme ; cela dépend entièrement du robot que vous testez et de ce que vous demandez précisément.

Pourquoi cela importe

L'article a également montré que l'ancienne façon de tester est dangereusement peu fiable. À cause du « lancer de dés » aléatoire, les anciennes méthodes se trompent souvent sur la direction du biais. Parfois, elles pensent qu'un robot est positif alors qu'il est en fait négatif, simplement à cause du bruit aléatoire. Les auteurs ont calculé qu'avec les anciennes méthodes, vous avez une chance non négligeable d'inverser le signe du biais (le prendre à l'envers) par pur hasard. Leur nouvelle méthode, qui examine les mathématiques exactes à l'intérieur du robot, ne commet jamais cette erreur.

En résumé, cet article soutient que si nous voulons comprendre ce que ces puissants agents d'IA pensent réellement, nous devons arrêter de les traiter comme des boîtes noires qui recrachent du texte aléatoire. Nous devons les traiter comme des instruments scientifiques, en examinant leur mathématique interne pour voir leurs vraies valeurs. Ce faisant, nous pourrons enfin séparer la véritable personnalité du robot du bruit du test, garantissant que lorsque nous déploierons ces agents dans le monde réel, nous saurons exactement quels biais ils transportent avec eux.