Anchoring Bias in LLM-as-a-Judge Systems: Prior Scores Compromise Evaluation Independence

Dans le paysage numérique moderne, l'intelligence artificielle a évolué d'un outil qui se contente de répondre à des questions vers un système qui juge la qualité d'autres systèmes. Ce nouveau rôle, souvent appelé « l'IA comme juge », est de plus en plus utilisé pour noter des dissertations, réviser du code ou filtrer du contenu avant qu'il n'atteigne un lecteur humain. L'hypothèse sous-jacente à cette pratique est que le juge IA évalue chaque travail sur ses propres mérites, traitant chaque soumission comme un nouveau départ. Cependant, la psychologie humaine connaît depuis longtemps un phénomène appelé ancrage, où l'estimation ou la décision d'une personne est subtilement attirée vers un nombre qu'elle a vu précédemment, même si ce nombre est aléatoire ou non pertinent. Depuis des décennies, les chercheurs observent cela chez les humains, des sentences judiciaires aux négociations de prix. La question critique pour l'ère numérique est de savoir si ces mêmes biais humains existent à l'intérieur des machines auxquelles nous faisons confiance pour être impartiales. Si un juge IA est influencé par un score précédent qu'il voit en arrière-plan, l'ensemble du système d'évaluation automatisée pourrait être systématiquement faussé, menant à des rejets ou des approbations injustes de contenu.

Une équipe de chercheurs d'Infobip s'est donné pour mission de tester directement cette hypothèse. Ils ont conçu une expérience pour voir si le score d'un juge IA changerait simplement parce qu'on lui a montré un score précédent provenant d'un autre juge, même lorsque ce score précédent était totalement sans rapport avec le travail actuel. Ils ont rassemblé huit modèles de langage de grande taille différents, allant de systèmes massifs et puissants à des systèmes plus petits et plus efficaces, et leur ont demandé de noter vingt textes différents. Ces textes couvraient quatre domaines distincts : le résumé d'articles, la révision de code informatique, l'écriture de récits créatifs et la réponse à des questions factuelles. Les chercheurs ont créé trois scénarios différents pour les juges IA. Dans le premier scénario, le juge ne voyait que la tâche et le texte. Dans le deuxième, le juge voyait le texte accompagné d'une note indiquant qu'il s'agissait d'une révision. Dans le troisième, le juge voyait le texte ainsi qu'une note incluant un nombre spécifique représentant un « score préalable » issu d'une tentative précédente. Crucialement, ces scores préalques étaient des nombres générés de manière aléatoire qui étaient toujours inférieurs à la note de passage, ce qui signifie qu'ils étaient conçus pour être non informatifs et non pertinents par rapport à la qualité réelle du texte.

Les résultats étaient clairs et cohérents à travers la plupart des modèles testés. Lorsque les juges IA étaient confrontés au score préalable aléatoire, leur notation chutait de manière significative. Au lieu de traiter le texte comme une œuvre autonome, les modèles semblaient ancrer leur jugement sur ce nombre inférieur. Dans l'étude, sept des huit modèles ont montré une baisse de score statistiquement significative lorsque le score préalable était présent. L'effet n'était pas seulement une petite fluctuation ; pour certains modèles, le décalage était assez important pour changer l'issue de l'évaluation. Par exemple, dans l'un des modèles les plus puissants testés, la présence d'un score préalable a fait chuter le taux d'acceptation du texte de près de vingt-deux points de pourcentage. Cela signifie que du contenu qui aurait été approuvé comme étant de bonne qualité a soudainement été rejeté simplement parce que le juge avait vu un nombre plus bas en arrière-plan. Les chercheurs ont constaté que ce biais n'était pas uniforme pour tous les types de tâches ; il était plus fort dans l'écriture créative et les questions factuelles, tandis que la révision de code montrait une réaction plus faible et plus incohérente.

Pour comprendre comment cela se passait à l'intérieur de la machine, les chercheurs ont examiné les mots spécifiques que les modèles prenaient en compte lors de la génération de leurs scores. Ils ont découvert un schéma qui ressemblait davantage à un basculement d'interrupteur qu'à une glissade graduelle. Lorsque le score préalable était introduit, la probabilité du modèle de choisir un score élevé chutait brusquement, et la probabilité de choisir un score plus bas bondissait. Cependant, changer la valeur spécifique de ce score préalable ne semblait pas avoir beaucoup d'importance ; la simple présence du nombre déclenchait le basculement. Cela suggère que les modèles ne calculent pas soigneusement une nouvelle moyenne, mais réagissent à l'existence des métadonnées elles-mêmes. Les chercheurs ont également testé si des instructions simples pouvaient régler le problème. Ils ont essayé de demander aux modèles de réfléchir étape par étape avant de noter, et ils ont essayé d'avertir explicitement les modèles d'ignorer les scores préalables. Ni l'une ni l'autre de ces stratégies n'a fonctionné. En fait, dans certains cas, les instructions étape par étape ont aggravé le biais, et l'avertissement explicite n'a pas réussi à empêcher la chute des scores, même s'il a réduit la tendance des modèles à suivre le nombre spécifique s'ils étaient déjà biaisés.

L'étude est allée plus loin pour voir si ce biais affectait des décisions réelles, et non seulement des chiffres abstraits. Utilisant un ensemble de données de campagnes de messagerie qui avaient déjà été étiquetées par des humains comme soit sûres, soit interdites, les chercheurs ont testé la performance des juges IA lorsqu'ils recevaient un étiquetage préalable erroné. Lorsque l'IA était confrontée à un étiquetage préalable incorrect, elle ne parvenait pas à corriger l'erreur dans près de la moitié des cas où elle l'aurait normalement fait. Au lieu de cela, elle restait souvent attachée à l'étiquette erronée fournie dans les métadonnées. Dans un test apparié où l'IA avait précédemment donné la bonne réponse, l'introduction d'un étiquetage préalable erroné a provoqué le basculement de son jugement correct vers le mauvais dans plus de dix pour cent des cas. Cela démontre que le biais s'étend au-delà de la simple notation pour toucher les décisions catégorielles qui déterminent si un contenu est autorisé ou bloqué. Les chercheurs ont conclu que la seule façon fiable de prévenir ce biais est de supprimer entièrement les métadonnées non pertinentes de l'invite (prompt). Ils ont constaté qu'aucune quantité de prompting ou d'avertissement ne pouvait pleinement restaurer l'indépendance du juge une fois que cette information préalable était présente.

Les implications de ces découvertes sont significatives pour quiconque s'appuie sur l'IA pour effectuer des évaluations équitables. L'étude montre que l'hypothèse d'impartialité des systèmes automatisés est fragile. Même lorsque l'information fournie est clairement non pertinente, les modèles ne sont pas immunisés contre l'influence du contexte. Le biais n'est pas un bug qui peut être facilement corrigé par une simple instruction ; il semble être une partie fondamentale de la manière dont ces systèmes traitent l'information. Les chercheurs ont souligné que, bien que leurs tests aient couvert un ensemble spécifique de modèles et de tâches, les résultats suggèrent une vulnérabilité plus large. Pour construire des systèmes dignes de confiance, les développeurs doivent concevoir soigneusement le contexte dans lequel l'IA opère, en veissant à ce qu'aucun nombre ou étiquette étrangère provenant d'étapes précédentes ne fuie dans l'évaluation actuelle. La voie à suivre exige une validation active pour chaque modèle et chaque tâche spécifique, plutôt qu'une croyance passive que la machine voit le monde clairement par elle-même.