Language Models Agree With Each Other, Not With Readers

La chambre d'écho des IA vs Le lecteur silencieux

Imaginez que vous soyez dans une pièce remplie de personnes essayant de deviner le sujet d'un livre mystérieux et invisible. Si vous demandez à un groupe d'humains de lire une page et de surligner les phrases les plus importantes, vous obtiendrez un chaos désordonné et magnifique. Une personne surlignera une blague drôle, une autre marquera un fait triste, et une troisième entourera un mot dont elle aime la sonorité. Ils lisent tous pour leurs propres raisons, sans instructions, sans prix, et sans que personne ne leur dise ce que signifie « important ». C'est ainsi que fonctionne la lecture réelle : elle est personnelle, désordonnée et pleine de désaccords.

Maintenant, imaginez que vous remplaciez ces humains par une flotte d'ordinateurs super intelligents, tous entraînés sur la même immense bibliothèque d'Internet. Vous leur posez exactement la même question : « Quelles phrases de cette histoire sont importantes ? » Vous pourriez vous attendre à ce qu'ils soient aussi désordonnés que les humains, ou peut-être même plus divers car ce sont des machines différentes. Mais voici le rebondissement : ces ordinateurs commencent à se ressembler exactement. Ils choisissent tous les mêmes phrases, avec un niveau d'accord qu'aucun groupe d'humains n'atteint jamais. Cet article de recherche étudie ce phénomène étrange. Il demande : ces modèles d'IA sont-ils simplement en train de se copier les uns les autres, ou ont-ils tous décidé d'une manière unique et « correcte » de lire ? Et s'ils sont si d'accord entre eux, sont-ils d'accord avec nous ?

L'expérience : Une bataille de surlignage

Pour trouver la réponse, les chercheurs ont mis en place un jeu unique. Ils n'ont pas engagé de personnes pour jouer les sujets de test ni ne les ont payées pour suivre des règles. Au lieu de cela, ils ont observé une véritable plateforme sociale où des milliers de gens ordinaires avaient surligné du texte sur 120 articles web pour leurs propres raisons personnelles — peut-être pour se souvenir d'un fait, citer un ami, ou simplement parce qu'une phrase leur semblait juste. Crucialement, ces lecteurs ne pouvaient pas voir les surlignages des autres ; ils lisaient en isolation totale.

Ensuite, les chercheurs ont demandé à 18 modèles d'IA différents (provenant de grandes entreprises comme OpenAI, Google et Anthropic, allant de petits modèles à des modèles « frontières » super puissants) de lire les mêmes 120 articles et de sélectionner les 20 % de phrases qui semblaient les plus importantes. Ils ont comparé à quel point les IA étaient d'accord entre elles par rapport à l'accord entre les vrais humains.

La grande découverte : Les IA sont de meilleures amies (mais pas avec vous)

Les résultats ont été saisissants. Lorsque deux modèles d'IA différents lisaient le même article, ils étaient d'accord sur les phrases importantes environ 2,3 fois plus que deux lecteurs humains aléatoires.

Pour mettre cela en perspective :

• Deux humains lisant la même page peuvent partager environ 4,1 phrases surlignées sur un ensemble typique de 14.
• Deux modèles d'IA lisant cette même page partageaient environ 8,7 phrases.
• Encore plus choquant : les deux modèles d'IA les plus puissants de sociétés rivales (GPT-5.4 et Claude Opus 5) étaient d'accord entre eux 5,1 fois plus que deux humains. En fait, ils étaient d'accord presque autant qu'un seul humain l'est avec lui-même lorsqu'il lit le même texte deux fois !

L'article appelle cela la « convergence ». Cela signifie que les IA marchent toutes au pas, choisissant les mêmes « meilleures » phrases, tandis que les humains marchent dans des directions différentes.

Ce que ce n'est PAS (Éliminer les mauvaises explications)

Les chercheurs ont été très prudents pour s'assurer qu'il ne s'agissait pas d'un piège. Ils ont testé et éliminé plusieurs raisons évidentes pour lesquelles les IA pourraient être si d'accord :

• Ce n'est pas parce qu'elles appartiennent à la même entreprise : Des modèles de laboratoires et de pays totalement différents étaient tout aussi d'accord que des modèles de la même entreprise.
• Ce n'est pas parce qu'elles sont « déterministes » (robotiques) : Même lorsqu'une même IA était interrogée exactement de la même manière deux fois, elle ne choisissait pas toujours les mêmes phrases (elle n'était d'accord avec elle-même qu'environ 27 % du temps !). Mais lorsqu'elle interagissait avec une autre IA, elles étaient beaucoup plus d'accord.
• Ce n'est pas à cause de la formulation de la consigne : Changer légèrement les mots de l'instruction n'a pas empêché cet accord.
• Ce n'est pas parce qu'elles copient une réponse « correcte » : La tâche n'avait pas de bonne ou de mauvaise réponse. Les IA choisissaient simplement ce qu'elles jugeaient important.

Le mystère du « registre » : Aiment-elles des mots différents ?

On pourrait supposer que les IA sont si d'accord parce qu'elles adorent toutes les longues phrases scientifiques et sophistiquées, alors que les humains aiment les phrases courtes et émotionnelles. Les chercheurs ont vérifié cela en examinant 11 caractéristiques différentes des phrases (comme la longueur, la ponctuation et les types de mots).

Ils ont découvert que lorsqu'ils appariaient les phrases par longueur et par position, il n'y avait aucune différence. Les IA et les humains choisissaient des phrases qui se ressemblaient exactement en surface. Les IA ne choisissaient pas des « mots de robot » ; elles choisissaient les mêmes types de mots que les humains, mais un ensemble de phrases complètement différent. La distance entre ce que les IA choisissent et ce que les humains choisissent augmente, mais ce n'est pas parce qu'elles parlent des langues différentes.

Le plafond : Les IA manquent de place pour être humaines

Voici la partie la plus intéressante de l'histoire. Les chercheurs ont demandé : « À mesure que l'IA devient plus intelligente, commence-t-elle à être plus en accord avec les humains ? »

La réponse est oui, mais seulement jusqu'à un certain point.

• Les modèles plus récents et plus intelligents sont plus en accord avec les humains que les anciens modèles moins performants.
• Cependant, ils atteignent un « plafond ». Même la meilleure IA de l'étude n'a atteint qu'environ 84 % du niveau d'accord qu'un « consensus de la foule » parfait (l'opinion moyenne de nombreux humains) pouvait atteindre.
• Pendant ce temps, l'accord entre deux IA continue de grimper, dépassant le plafond humain et allant bien plus haut.

C'est comme si les IA apprenaient à lire comme les humains, mais qu'elles apprenaient aussi à lire comme entre elles encore plus vite. Elles deviennent si douées pour imiter un lecteur « idéal » qu'elles laissent les vrais humains derrière elles.

Le problème de la procédure : Un combat équitable ?

L'article admet également une particularité dans la façon dont le jeu a été joué. Lorsqu'un humain surligne du texte, il peut marquer 20 phrases, mais les chercheurs ne l'ont laissé garder que les 14 meilleures (une sélection aléatoire de ses meilleurs choix). L'IA, cependant, était forcée de choisir ses 14 meilleures phrases. Cela donnait un avantage injuste à l'IA, comme un joueur de basket qui aurait le droit de choisir ses 14 meilleurs tirs alors que l'humain doit choisir 14 tirs au hasard parmi 20.

Lorsque les chercheurs ont fait jouer l'IA selon les règles de l'humain (en choisissant aléatoirement parmi ses meilleurs choix), l'écart entre l'accord de l'IA et celui de l'humain a diminué de moitié. Mais même dans ce cas, les IA étaient toujours nettement plus d'accord entre elles que les humains. L'écart n'a pas disparu ; il s'est juste réduit.

La conclusion

L'article conclut que les modèles de langage ne sont pas seulement des outils qui nous aident à lire ; ils deviennent un nouveau type de lecteur entièrement nouveau. Ils convergent vers une manière de comprendre le texte, partagée et interne, qui est beaucoup plus uniforme que la façon dont les vrais gens lisent. Bien qu'ils deviennent meilleurs pour nous comprendre, ils deviennent encore meilleurs pour se comprendre entre eux. Le résultat est un monde où les modèles d'IA pourraient être plus d'accord avec une IA rivale d'une autre entreprise qu'avec la personne qui lit le texte. C'est une chambre d'écho puissante et légèrement inquiétante où les machines fredonnent toutes le même air, tandis que les humains chantent toujours leurs propres chansons uniques.