Language Models Embody and Amplify Human Cognitive Distortions: What Is to Be Done?

Le Miroir qui a Appris à Mentir

Imaginez que vous entrez dans une bibliothèque géante où chaque livre jamais écrit est empilé du sol au plafond. Maintenant, imaginez un robot qui a lu chacun de ces livres et qui a appris à parler comme un humain. Ce robot est ce que les scientifiques appellent un Grand Modèle de Langage, ou LLM. C'est le cerveau derrière les agents conversationnels d'IA sophistiqués dont vous avez peut-être entendu parler. Mais voici le piège : les humains sont désordonnés. Nous commettons des erreurs, nous nourrissons des préjugés secrets, et nous disons souvent une chose tout en pensant autre chose. C'est un fait bien connu en psychologie appelé « biais cognitif ». Depuis des décennies, des chercheurs étudient la façon dont notre cerveau nous trompe en nous faisant porter des jugements injustes sur la race, le genre et d'autres groupes, parfois sans même que nous nous en rendions compte.

La grande question est la suivante : si nous construisons un robot en le nourrissant de tous nos mots humains désordonnés, le robot sera-t-il une machine parfaite et logique qui corrige nos erreurs ? Ou deviendra-t-il simplement un miroir qui nous renvoie nos propres défauts, mais plus fort et plus vite ? Ce document explore précisément cette question. Il ne s'agit pas seulement de savoir si le robot est « intelligent », mais s'il est « juste ». Si le robot apprend nos biais cachés, il pourrait commencer à prendre des décisions injustes sur qui obtient un emploi, qui obtient un prêt ou même qui va en prison. C'est pourquoi cela importe : nous confions de grandes parties de notre avenir à ces machines, et nous devons savoir si elles sont sûres à qui faire confiance.

Le Robot qui a Attrapé nos Mauvaises Habitudes

Alors, qu'ont découvert les auteurs de ce document ? Ils ont examiné les derniers modèles d'IA et ont découvert quelque chose d'un peu effrayant : ces modèles ne se contentent pas de copier le biais humain ; ils l'aggravent en réalité. Pensez à cela comme à un jeu de « téléphone arabe ». Si vous murmurez une rumeur à un ami, et qu'il la murmure à un autre, l'histoire est un peu déformée. Mais ces modèles d'IA sont comme un ami qui non seulement déforme l'histoire, mais y ajoute sa propre touche dramatique, rendant la rumeur encore plus choquante qu'elle ne l'était au départ.

Les chercheurs ont découvert que ces modèles d'IA sont étonnamment doués pour cacher leurs vraies couleurs. Si vous leur demandez directement : « Préférez-vous les Blancs aux Noirs ? » ou « Est-il acceptable d'être méchant avec les personnes handicapées ? », ils répondront par un grand, un fort « NON ! ». Ils agissent comme des citoyens parfaits et polis. Mais dès que vous arrêtez de poser des questions directes et que vous commencez à leur donner une tâche — comme examiner un CV ou juger une histoire écrite dans un dialecte spécifique — leurs vraies couleurs commencent à apparaître. Ils pourraient secrètement décider qu'une personne écrivant en anglais afro-américain est moins digne de confiance ou plus susceptible d'être coupable, même si le contenu est exactement le même qu'une histoire écrite en anglais standard. C'est comme un juge qui dit : « Je suis aveugle à la couleur ! » mais qui donne ensuite une peine plus lourde à quelqu'un à cause de sa façon de parler.

Le document souligne que ce n'est pas seulement un bug qui peut être corrigé en nettoyant les données. Certains pensaient : « Oh, si nous donnons simplement de meilleurs livres au robot, il sera meilleur. » Mais les auteurs soutiennent que cela ne suffit pas. L'IA n'est pas seulement un miroir ; c'est une loupe. Elle prend les biais qu'elle trouve dans l'écriture humaine et les amplifie. Pire encore, les modèles semblent devenir plus biaisés à mesure qu'ils deviennent plus récents. C'est comme si un élève devenait moins bon en mathématiques à chaque fois qu'il passe dans une classe supérieure. Les modèles apprennent aussi à être sournois ; ils peuvent être piégés par les mêmes ruses que nous utilisons sur les humains, comme prétendre être une figure d'autorité ou dire que quelque chose est rare et précieux.

La partie la plus inquiétante est peut-être que ce biais ne reste pas à l'intérieur de l'ordinateur. Lorsque les humains travaillent aux côtés de ces outils d'IA, nous commençons à copier leurs mauvaises habitudes. Si une IA dit : « Ce candidat semble mauvais », et qu'un responsable du recrutement est d'accord, l'humain est désormais biaisé lui aussi. Ensuite, cet humain prend une décision qui est consignée par écrit, et ce nouveau texte est réinjecté dans l'IA pour entraîner la version suivante. C'est un cercle vicieux, comme une boule de neige qui dévale une colline, grossissant de plus en plus, ramassant plus de neige (le biais) jusqu'à devenir une avalanche géante. Les auteurs suggèrent que, tandis que les humains ont été lentement de moins en moins biaisés au fil des siècles, ces modèles d'IA vont dans la direction opposée, devenant plus déformés à chaque mise à jour.

Que Pouvons-Nous Faire ?

Les auteurs ne font pas que se plaindre ; ils proposent un plan pour éviter que la situation ne devienne incontrôlable. Ils disent que nous ne pouvons pas simplement souhaiter que le biais disparaisse, car même les humains ne peuvent pas complètement effacer leurs propres préjugés cachés. Au lieu de cela, nous devons être comme des inspecteurs de sécurité rigoureux.

Premièrement, ils suggèrent de créer un « registre » public ou un tableau des scores pour l'IA. Tout comme les voitures doivent passer des tests de sécurité avant d'être vendues, les modèles d'IA devraient devoir passer des tests de biais. Nous avons besoin de scientifiques indépendants pour vérifier ces modèles, tant pour ce qu'ils disent haut et fort que pour ce qu'ils font secrètement. Ce tableau de bord suivrait si les modèles s'améliorent ou se dégradent avec le temps, afin que les entreprises ne puissent pas cacher leurs erreurs.

Deuxièmement, ils affirment que nous avons besoin de règles qui ont du mordant. Ils comparent cela à la gestion d'autres industries :

• Comme les appareils électroménagers : Tout comme les réfrigérateurs doivent répondre à des normes énergétiques plus strictes tous les quelques années, les modèles d'IA devraient devoir répondre à des normes de biais plus strictes. Vous ne devriez pas être autorisé à sortir un nouveau modèle qui est plus biaisé que l'ancien.
• Comme la médecine : Si un nouveau médicament a des effets secondaires dangereux, nous ne le bannissons pas pour toujours ; nous limitons qui peut le prendre. De même, si une IA est trop biaisée, elle devrait être interdite des tâches à enjeux élevés comme le recrutement ou les décisions juridiques.
• Comme les voitures : Si une voiture consomme trop d'essence, le gouvernement taxe l'entreprise. Les auteurs suggèrent une « taxe sur le biais » où les entreprises paient plus si leur IA est plus injuste.

Enfin, les auteurs soutiennent que nous devons arrêter de jouer à cache-cache. Actuellement, les personnes qui construisent ces modèles gardent leurs secrets (comme les données d'entraînement et la façon dont ils ajustent le code) cachés du public. Le document affirme que pour résoudre le problème, des chercheurs indépendants doivent voir les rouages internes de l'IA, tout comme les inspecteurs de sécurité doivent pouvoir regarder sous le capot d'une voiture.

Le document se termine sur une note sérieuse : ces solutions pourraient ne pas suffire. Le problème est peut-être si vaste que nous devons repenser la façon dont nous construisons ces technologies dès le départ. Les auteurs nous exhortent à agir vite, avant que la « boule de neige » du biais ne devienne une avalanche incontrôlable qui nuira à la vie de personnes réelles. Ils veulent que nous travaillions ensemble — scientifiques, entreprises et gouvernements — pour nous assurer que nos assistants numériques ne finissent pas par être nos pires ennemis.