Dans le monde de l'intelligence artificielle, un nombre croissant de systèmes sont conçus pour travailler en équipe. Au lieu de s'appuyer sur un seul programme informatique pour résoudre un problème, ces systèmes engendrent plusieurs agents numériques, chacun chargé de lire des documents, d'analyser des données ou de former une opinion. La logique derrière cette approche est intuitive : si un expert est bon, une douzaine le sera davantage. En rassemblant de nombreux rapports différents et en les combinant, le système espère parvenir à une conclusion plus précise et plus assurée que ce qu'un agent seul pourrait accomplir. Cette méthode repose sur un principe fondamental du raisonnement humain : lorsque plusieurs personnes sont d'accord, c'est qu'elles puisent probablement dans des sources d'information différentes. Si trois analystes prédisent indépendamment qu'une entreprise va faire faillite, c'est généralement parce qu'ils ont chacun trouvé des preuves distinctes et convaincantes. Cependant, une nouvelle étude remet en question la validité de cette logique lorsque les « analystes » sont des intelligences artificielles. La recherche étudie une vulnérabilité spécifique où un système peut être trompé en lui faisant croire qu'il a recueilli une vaste quantité de preuves indépendantes, alors qu'en réalité, il n'a entendu que la même histoire répétée par des voix différentes.

Le cœur de ce problème réside dans la différence entre le nombre de rapports qu'un système reçoit et le nombre de faits originaux sur lesquels ces rapports sont basés. Imaginez une pièce remplie de personnes essayant de deviner le poids d'un éléphant. S'ils regardent tous le même éléphant, leurs suppositions sont des observations indépendantes de la même réalité. Mais s'ils regardent tous une seule photographie de cet éléphant, et décrivent ensuite ce qu'ils voient, ils ne regardent pas l'animal lui-même ; ils regardent une copie d'une copie. Dans le domaine numérique, un orchestrateur d'IA peut facilement prendre un élément de preuve, le transmettre à un agent, prendre la production de cet agent, la transmettre à un second, et ainsi de suite. Chaque étape crée un nouveau rapport, une nouvelle voix et un nouvel argument. Pour un système qui se contente de compter les voix, cela ressemble à une accumulation massive de soutien. Mais pour un système qui comprend le flux d'information, il ne s'agit que d'un seul élément de preuve résonnant dans un couloir. Les chercheurs appellent ce phénomène un problème de « Sybil épistémique ». Tout comme une « attaque Sybil » en sécurité informatique implique qu'une personne prétende être plusieurs pour manipuler un vote, une Sybil épistémique implique qu'un seul élément de preuve prétende être de multiples faits indépendants.

Pour tester la dangerosité de cette confusion, les chercheurs ont construit une expérience contrôlée utilisant un grand modèle de langage, un type d'IA qui génère du texte semblable à celui de l'humain. Ils ont créé un scénario fictif impliquant les registres financiers d'une entreprise. L'état réel des revenus de l'entreprise était caché, mais les agents d'IA ont reçu un document contenant les chiffres bruts. Les chercheurs ont ensuite demandé à l'IA d'extraire des chiffres spécifiques de ce document et de calculer le revenu total. Ils ont effectué cette tâche des milliers de fois, en manipulant deux variables clés : le nombre de rapports que le système recevait et le nombre de documents originaux sur lesquels ces rapports étaient basés. Dans un premier ensemble de tests, ils ont gardé le document original fixe tout en demandant à l'IA de générer de plus en plus de rapports à partir de celui-ci. Ils ont créé un rapport, puis deux, puis quatre, et finalement jusqu'à trente-deux rapports différents, tous dérivés de cette source unique. Ils ont ensuite comparé les performances d'un système « standard », qui supposait que chaque rapport était indépendant, par rapport à un système « conscient de la provenance » qui savait que tous les rapports provenaient de la même racine.

Les résultats ont été frappants. Lorsque le système standard recevait trente-deux rapports provenant tous du même document unique, il devenait excessivement sûr de lui. Il croyait avoir trente-deux preuves indépendantes, de sorte qu'il réduisait l'intervalle de ses réponses possibles à un intervalle extrêmement étroit et précis. En réalité, parce que les trente-deux rapports n'étaient que des variations d'une seule et même source, le système n'était pas plus certain que s'il n'avait lu le document qu'une seule fois. L'étude a mesuré cela en vérifiant la fréquence à laquelle l'intervalle prédit par le système contenait la réponse réelle. Avec un seul rapport, le système était correct 94 % du temps. Mais à mesure que le nombre de rapports issus de cette source unique passait à trente-deux, la précision du système chutait drastiquement. Il n'était correct que 26 % du temps. Le système n'était pas devenu plus intelligent ; il s'était simplement convaincu qu'il en savait plus qu'il ne le savait réellement, car il avait compté la même voix trente-deux fois.

Les chercheurs ont ensuite inversé l'expérience pour voir ce qui se passerait s'ils ajoutaient réellement de nouvelles preuves. Ils ont maintenu le nombre de rapports fixe à seize, mais ont augmenté le nombre de documents originaux que les agents lisaient. Lorsque les seize rapports provenaient de seize sources différentes et indépendantes, la confiance du système standard correspondait à sa précision. L'écart entre les deux systèmes avait disparu. Cela a prouvé que le problème n'était pas le nombre de rapports en soi, mais la relation cachée entre eux. Le système a échoué uniquement lorsqu'il a confondu la répétition avec l'indépendance. L'étude a également révélé une seconde couche de complexité. Même lorsque les agents lisaient le même document, ils ne produisaient pas des erreurs identiques. Comme ils étaient tous alimentés par le même modèle d'IA sous-jacent, ils avaient tendance à commettre des erreurs similaires. Si un agent lisait mal un chiffre, les autres avaient de fortes chances de le lire mal de la même manière. Cette « erreur corrélée » signifiait que même avec un système sophistiqué sachant que les rapports provenaient de la même source, le système surestimait encore légèrement sa précision. Le modèle partagé agissait comme un angle mort partagé, limitant la quantité d'informations pouvant être tirées de la lecture répétée du même document.

Peut-être la partie la plus révélatrice de l'étude concernait un test sur la capacité des systèmes à détecter ce problème par eux-mêmes. De nombreuses défenses d'IA actuelles tentent de repérer les informations dupliquées en examinant la similitude textuelle des rapports. Si deux rapports se ressemblent, le système suppose qu'ils provons de la même source et en ignore un. Les chercheurs ont testé cela en créant un scénario où ils pouvaient modifier la façon dont l'IA rédigeait ses rapports sans changer les faits rapportés. Ils ont pris des rapports provenant de la même source mais ont forcé l'IA à utiliser un vocabulaire et des structures de phrases totalement différents. Ils ont également pris des rapports de sources différentes et les ont forcés à utiliser le même vocabulaire. Un système reposant sur la similitude textuelle a été facilement trompé. Il a regroupé les rapports aux styles différents provenant de la même source comme s'ils étaient indépendants, et il a regroupé les rapports aux styles similaires provenant de sources différentes comme s'ils étaient des doublons. Le jugement du système sur la preuve était entièrement dicté par le style d'écriture, et non par l'historique de l'origine de l'information. L'étude a montré que le changement de style d'écriture avait un impact massif sur la façon dont le système regroupait les rapports, tandis que le changement du nombre réel de sources originales n'avait presque aucun effet sur la perception du système.

Ces conclusions suggèrent que la voie vers un travail d'équipe fiable de l'IA ne consiste pas simplement à rassembler plus de voix ou à construire des filtres plus intelligents pour repérer les doublons. Les chercheurs soutiennent que la solution nécessite un système qui comprenne la lignée de son information. Il doit savoir non seulement ce qu'un agent a dit, mais aussi d'où cet agent a tiré son information. Si un système peut suivre la « généalogie » d'un rapport — en remontant jusqu'au document ou au capteur original qui a lancé la chaîne — il peut peser correctement la preuve. Il peut comprendre que trente-deux rapports provenant d'une seule source valent bien moins qu'un rapport provenant de trente-deux sources. Sans cette capacité à voir les connexions cachées entre les agents, un système d'IA est vulnérable à une forme d'auto-tromperie, où il fabrique un faux sentiment de certitude simplement en se parlant à lui-même de multiples façons. L'étude conclut que pour que l'intelligence collective fonctionne, le système doit donner la priorité à l'origine de la preuve plutôt qu'au nombre de rapporteurs, garantissant ainsi que la confiance repose sur un fondement de découverte véritablement indépendante plutôt que sur l'écho d'une idée unique.