Grokipedia vs Wikipedia: An LLM-Based Audit of Political Neutrality along Ideologies
Un audit à grande échelle comparant Grokipedia et Wikipédia révèle que le contenu généré par l'IA, Grokipedia, est jugé moins neutre que Wikipédia par plusieurs juges IA, Grokipedia présentant un biais en faveur des politiciens économiquement de droite tout en pénalisant les politiciens socialement libéraux, tandis que Wikipédia montre la tendance opposée.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez l'internet comme une immense et animée bibliothèque où tout le monde est invité à écrire des livres. Pendant des années, une bibliothèque appelée Wikipédia a été le lieu le plus populaire, mais certains gens se sont plaints que les bibliothécaires de là-bas avaient une « ambiance » spécifique — peut-être qu'ils penchent un peu trop d'un côté du spectre politique, comme une chorale qui ne chanterait que des chansons sur la pluie alors que le soleil brille. Récemment, une nouvelle bibliothèque a ouvert ses portes, appelée Grokipedia, construite entièrement par un cerveau informatique super intelligent (une IA) nommé Grok. Les créateurs de cette nouvelle bibliothèque ont promis qu'elle serait la zone ultime de « neutralité », un lieu sans aucun biais humain, juste des faits purs. Mais la grande question est la suivante : un robot peut-il vraiment être plus juste qu'une foule d'humains ? Pour le savoir, nous devons comprendre quelques points. Premièrement, le « biais politique » est comme une paire de lunettes teintées ; si vous les portez, le monde semble d'une certaine couleur, même si le monde lui-même est gris. Deuxièmement, les « Grands Modèles de Langage » (LLM) sont les cerveaux informatiques qui écrivent ces articles ; ils sont comme des étudiants incroyablement rapides qui ont lu presque tout sur internet et peuvent rédiger des essais en quelques secondes. Enfin, la « neutralité » dans ce contexte signifie parler des gens sans les faire passer pour des héros ou des méchants, simplement décrire qui ils sont. Ce document est une histoire de détective pour savoir si la nouvelle bibliothèque robotique est réellement plus juste que l'ancienne bibliothèque humaine, ou si elle porte simplement une paire de lunettes teintées différente.
Les chercheurs, une équipe de l'Université de Gand, ont décidé de mettre Grokipedia et Wikipédia à l'épreuve avec une expérience massive. Ils ne se sont pas contentés de lire quelques articles ; ils ont rassemblé 1 394 paires d'articles, où chaque paire décrit exactement le même responsable gouvernemental (comme un président ou un ministre), mais une version est écrite par des humains sur Wikipédia et l'autre par l'IA sur Grokipedia. Pour juger l'équité de ces articles, ils n'ont pas seulement interrogé une personne ; ils ont utilisé quatre « juges » IA différents (incluant Grok lui-même, ainsi que Claude, Mistral et DeepSeek) pour évaluer la neutralité de chaque article. Ils avaient aussi une arme secrète : une liste de 9 différents « drapeaux idéologiques » (comme « soutient l'immigration », « soutient les droits des femmes » ou « soutient le libre marché ») que des experts avaient déjà assignés à chaque politicien. Cela a permis aux chercheurs de voir si les articles traitaient les politiciens différemment en fonction de leurs convictions politiques.
Les résultats ont été un peu surprenants, et peut-être un peu ironiques. Premièrement, les juges IA sont convenus que ni l'une ni l'autre encyclopédie n'était parfaitement neutre. En fait, Grokipedia a été évaluée comme ayant plus d'articles biaisés globalement que Wikipédia. Lorsque les juges ont examiné de plus près comment le biais se manifestait, ils ont trouvé un schéma clair. Grokipedia semblait avoir un penchant pour les politiciens économiquement « de droite » (ceux qui veulent moins de régulation gouvernementale et des États de protection sociale plus petits) et ceux qui soutenaient les normes démocratiques. Cependant, elle était beaucoup plus dure envers les politiciens qui défendaient des vues socialement libérales, telles que le soutien aux droits LGBT ou aux droits des femmes au travail. Wikipédia, quant à elle, a été jugée plus favorable envers ces politiciens socialement libéraux, mais les chercheurs ont constaté que, globalement, Wikipédia était toujours perçue comme plus neutre que Grokipedia.
Le rebondissement le plus fascinant de cette histoire concerne Grok, l'IA qui a écrit Grokipedia. Vous pourriez penser que si vous demandez à un robot de juger son propre travail, il dira : « Hé, je suis parfait ! ». Mais l'étude a révélé que Grok a en fait jugé sa propre encyclopédie (Grokipedia) comme étant moins neutre que la Wikipédia écrite par les humains. Cela suggère que le biais n'est pas seulement une erreur dans la façon dont les juges évaluent, mais que le biais est réellement ancré dans les articles que Grok a écrits. Les chercheurs suggèrent que, bien que Grokipedia ait été construite pour être une alternative neutre, elle a fini par intégrer une autre forme d'idéologie — une qui favorise le conservatisme économique et pénalise le libéralisme social.
L'étude a également examiné le comportement des différents juges IA. Ils n'étaient pas tous les mêmes. Par exemple, un juge nommé DeepSeek était très généreux, qualifiant presque tout de « neutre », tandis qu'un autre nommé Claude était beaucoup plus strict, trouvant des biais dans bien plus d'articles. Cependant, malgré ces différences de sévérité, tous les juges étaient d'accord sur la direction du biais : Grokipedia favorisait la droite économique, et Wikipédia penchait légèrement vers la gauche sociale. Les chercheurs concluent que, bien que l'IA puisse rédiger des entratures encyclopédiques rapidement, cela ne la rend pas automatiquement plus juste. En fait, le choix de l'encyclopédie que vous lisez pourrait changer la façon dont vous voyez les politiciens, selon la « saveur » politique que l'encyclopédie préfère. L'étude suggère que nous devons être prudents avec le contenu généré par l'IA et que l'utilisation d'une équipe diversifiée de juges (humains et machines) est le meilleur moyen de repérer ces biais cachés.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.