Nous croyons souvent que notre jugement sur l'art, l'écriture ou la musique dépend entièrement de ce qui se trouve sous nos yeux ou à nos oreilles. Nous supposons que si une histoire est bien racontée ou qu'un poème est émouvant, nous reconnaîtrons sa qualité quel que soit son auteur. Cette idée est depuis longtemps un pilier de la théorie littéraire, suggérant que le texte lui-même devrait être la seule chose qui importe. Cependant, des décennies de recherche psychologique ont montré que notre cerveau ne fonctionne pas ainsi. Lorsque nous lisons ou écoutons, nous utilisons constamment des indices sur la source pour guider notre interprétation. Si nous savons qu'un écrit provient d'un poète célèbre, nous avons tendance à le trouver plus profond et plus significatif que si l'on nous dit que ces mêmes mots proviennent d'un programme informatique. Il ne s'agit pas seulement d'une question de snobisme ; c'est une manière fondamentale dont notre esprit traite l'information, en s'appuyant sur la réputation du créateur pour nous aider à comprendre l'œuvre.

Alors que l'intelligence artificielle devient capable d'écrire des histoires, des poèmes et des essais qui sonnent remarquablement humains, une nouvelle question émerge. Ce biais envers les créateurs humains persiste-t-il lorsque l'œuvre est générée par une machine ? Et peut-être plus surprenant encore, les machines partagent-elles elles-mêmes ce biais ? Comme les systèmes d'IA sont de plus en plus utilisés pour noter des dissertations d'étudiants, juger des concours de création littéraire et classer la qualité de différents modèles, ils deviennent effectivement les critiques. Si ces juges numériques sont entraînés sur des données humaines, ils pourraient avoir absorbé nos propres préjugés sur ce qui constitue la « vraie » créativité. Comprendre si ces systèmes se contentent de mimer le biais humain ou s'ils l'amplifient est crucial, car cela détermine la confiance que nous accorderons aux outils qui commencent à façonner notre paysage culturel.

Des chercheurs de l'Université de Princeton ont entrepris de tester ces questions à travers une expérience contrôlée qui opposait des lecteurs humains à des modèles d'intelligence artificielle. Ils ont choisi un ensemble de matériaux uniques pour garantir une comparaison équitable : trente versions différentes d'un même récit simple, écrit à l'origine par l'auteur français Raymond Queneau en 1947. L'œuvre de Queneau, connue sous le nom d'Exercices de style, prend une anecdote banale concernant un homme dans un bus et la réécrit de quatre-vingt-dix-neuf manières différentes, allant d'une séquence onirique à un document juridique ou à une conversation de rue en argot. Les chercheurs ont pris trente de ces versions écrites par des humains et ont demandé à un puissant modèle d'IA de générer ses propres versions de ces trente styles. Le résultat fut un ensemble de récits appariés : un écrit par un humain, l'autre par une machine, les deux tentant de capturer exactement le même objectif stylistique.

L'expérience impliquait deux groupes de juges distincts. Le premier groupe était composé de 556 participants humains. Le second groupe était constitué de treize modèles d'IA différents, incluant certains des systèmes les plus avancés de l'époque. Les deux groupes devaient examiner des paires de ces récits et décider lequel correspondait le mieux au style demandé, tel que « dialecte cockney » ou « science-fiction ». Pour voir à quel point l'étiquette de l'auteur importait, les chercheurs ont fait passer le test sous trois conditions différentes. Dans la première condition, les juges voyaient les récits sans aucun nom, simplement étiquetés « A » et « B ». Dans la deuxième, ils voyaient les étiquettes correctes : un récit était identifié comme écrit par Queneau, l'autre comme généré par une IA. Dans la troisième, les étiquettes étaient délibérément inversées, de sorte que le récit écrit par l'IA était présenté comme humain, et le récit humain comme IA.

Les résultats ont révélé un schéma clair et puissant. Lorsque les juges humains ne savaient pas qui avait écrit les récits, ils préféraient en fait les versions générées par l'IA légèrement plus souvent que les versions humaines, suggérant que l'écriture de la machine était de haute qualité. Cependant, dès que les étiquettes étaient révélées, leurs préférences changeaient radicalement. Lorsqu'on leur disait qu'un récit avait été écrit par un humain, ils le jugeaient plus haut. Lorsqu'on leur disait que ce même récit avait été écrit par une machine, ils le jugeaient plus bas. Ce changement était significatif : les juges humains montraient un biais d'environ treize points de pourcentage en faveur du contenu étiqueté comme humain. Ils étaient prêts à ignorer les défauts de l'écriture humaine et à y trouver de la valeur, tout en appliquant des normes plus strictes à l'écriture de la machine.

Les juges IA, cependant, montraient une version encore plus forte de ce même biais. Lorsque les modèles d'IA évaluaient les récits sans étiquettes, ils étaient neutres, choisissant les versions humaines et machines de manière presque égale. Mais une fois les étiquettes introduites, leur comportement changeait radicalement. Lorsqu'un modèle d'IA voyait un récit étiqueté comme « écrit par un humain », il était beaucoup plus susceptible de le choisir comme la meilleure version. Lorsqu'il voyait ce même récit étiqueté comme « généré par une IA », il le rejetait. L'ampleur de ce changement était massive : les modèles d'IA montraient un biais de trente-quatre points de pourcentage, soit deux fois et demie plus fort que le biais montré par les juges humains. Cela suggère que les systèmes d'IA n'ont pas seulement appris à écrire comme les humains, mais qu'ils ont aussi appris à juger comme les humains, absorbant l'hypothèse culturelle selon laquelle la créativité humaine est supérieure à la créativité de la machine.

Les chercheurs ont approfondi l'analyse pour comprendre comment ce biais fonctionnait. Ils ont découvert que les étiquettes ne changeaient pas seulement le score final ; elles changeaient le raisonnement derrière la décision. Lorsqu'un même récit était étiqueté comme humain, les juges IA en louaient les caractéristiques comme étant « authentiques » et « créatives ». Lorsque ce même récit était étiqueté comme IA, les juges critiquaient ces mêmes caractéristiques comme étant « exagérées », « formulaires » ou « manquant de profondeur ». Dans un test spécifique impliquant un récit qui transgressait une règle stricte (une contrainte où la lettre « e » était interdite), les juges humains s'en tenaient à la règle et rejetaient la version qui échouait, quel que soit l'étiquette. Les juges IA, cependant, étaient beaucoup plus indulgents lorsqu'ils croyaient qu'un humain avait écrit la version défectueuse, inventant souvent des raisons pour excuser l'erreur. À l'inverse, ils étaient durs envers la version machine pour la même erreur.

Ce phénomène n'était pas limité à un seul type d'IA ou à un seul style d'écriture. Les chercheurs ont testé le biais à travers une large gamme de différents modèles d'IA agissant à la fois comme créateurs et comme juges. Peu importe l'IA qui créait le récit, et peu importe l'IA qui jugeait, le schéma se maintenait : le contenu étiqueté comme humain était systématiquement préféré au contenu étiqué comme IA. Le biais apparaissait dans tous les styles testés, de la poésie à l'écriture technique, et persistait même lorsque les chercheurs essayaient de rendre les étiquettes plus neutres ou même favorables à l'IA. L'effet était robuste, apparaissant à travers tous les modèles testés.

L'étude conclut que l'« halo de l'auteur humain » est une force puissante qui façonne la manière dont les humains et les machines évaluent le travail créatif. Ce n'est pas seulement une excentricité humaine ; c'est un biais qui a été appris et amplifié par les systèmes d'intelligence artificielle que nous construisons. Ces systèmes, entraînés sur de vastes quantités de textes et de commentaires humains, ont intériorisé l'idée que l'origine humaine est une marque de qualité. En conséquence, ils ont tendance à dévaluer leur propre production lorsque sa source est révélée, créant un cycle où la machine juge son propre travail comme inférieur simplement parce qu'elle sait qu'il a été fabriqué par une machine. Cette conclusion suggère que, à mesure que nous nous appuyons davantage sur l'IA pour évaluer l'art et l'écriture, nous devons être conscients que ces systèmes ne sont pas des arbitres neutres. Ils portent les mêmes hypothèses culturelles que leurs créateurs humains et, dans certains cas, ils appliquent ces hypothèses avec une intensité encore plus grande.