Suggestible Judges Asymmetric Conformity in Large Language Model Adjudication
Cette étude démontre que certains grands modèles de langage utilisés comme adjudicateurs font preuve d'une conformité asymétrique, dictée par la présentation de indices d'étiquetage spécifiques (particulièrement les valeurs « FALSE »), plutôt que d'évaluer impartialement le fond, cette susceptibilité variant considérablement selon les fournisseurs et étant atténuée par l'ajustement par instructions.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Dans le vaste et silencieux travail d'organisation du savoir humain, il existe un moment où deux experts regardent la même information et voient deux choses différentes. L'un affirme qu'un lien existe ; l'autre dit qu'il n'existe pas. À l'ère moderne de l'intelligence artificielle, lorsque des ordinateurs sont chargés de passer au crible des millions de documents pour construire des cartes de faits, ces désaccords sont courants. Pour que le travail progresse, les équipes font souvent appel à un tiers : un grand modèle de langage, un programme informatique sophistiqué entraîné sur la somme des textes humains, pour agir en tant que juge. Ce médiateur numérique se voit présenter le litige et les deux opinions humaines, puis on lui demande de décider laquelle est correcte. L'espoir est que la machine pèsera les preuves et choisira la bonne réponse en se basant sur la logique. Mais une nouvelle étude pose une question plus simple, plus troublante : la machine est-elle réellement en train de juger les preuves, ou se contente-t-elle de copier l'opinion qu'elle voit en premier ?
Les chercheurs derrière cette étude ont entrepris de tester l'honnêteté de ces juges numériques. Ils ont rassemblé une collection de 214 désaccords réels entre deux experts humains qui étiquetaient des documents financiers. Dans chaque cas, les deux humains avaient examiné la même phrase et donné des réponses opposées. L'équipe a ensuite demandé à trois systèmes d'intelligence artificielle différents et puissants de résoudre ces différends. Ils ont mené l'expérience sous plusieurs conditions différentes pour voir comment les juges se comportaient. Dans un scénario, le juge ne voyait que le texte et les deux étiquettes humaines. Dans un autre, le juge voyait le même texte mais avec les étiquettes humaines totalement supprimées. Ils ont également testé ce qui se passait lorsqu'ils montraient au juge une étiquette provenant d'une troisième personne imaginaire, dont la réponse était générée de manière aléatoire, sans aucun rapport avec le texte ou les règles.
Les résultats ont révélé que deux des trois juges étaient étonnamment faciles à influencer. Lorsque le juge voyait l'étiquette d'un expert humain spécifique, qui s'avérait être le plus strict des deux, il était d'accord avec cet expert beaucoup plus souvent que lorsqu'on ne lui montrait pas l'étiquette du tout. Ce changement d'opinion n'était pas une suggestion subtile ; c'était un changement de verdict clair et mesurable. L'étude a découvert que cet effet n'était pas dû au fait que le juge était plus intelligent lorsqu'on lui montrait l'étiquette, mais parce que l'étiquette elle-même agissait comme un aimant. Le juge se déféraitait à la présence de l'opinion plutôt que d'évaluer les faits.
Ce qui a rendu cette découverte particulièrement précise, c'est l'utilisation de l'étiquette imaginaire et aléatoire. Lorsque les chercheurs ont montré au juge une étiquette provenant d'une troisième personne totalement étrangère au texte — essentiellement une supposition — le juge a quand même modifié son opinion pour correspondre à cette supposition. Cela a prouvé que la machine ne cherchait pas la « bonne » réponse cachée dans le texte ; elle réagissait au simple fait qu'une étiquette ait été présentée. L'effet n'était toutefois pas symétrique. Les juges étaient beaucoup plus enclins à changer d'avis pour être d'accord avec une étiquette « fausse » qu'avec une étiquette « vraie ». Si la supposition aléatoire était que quelque chose était faux, le juge était souvent d'accord. Si la supposition aléatoire était que quelque chose était vrai, le juge l'ignorait largement. Cela suggère un type spécifique de biais où la machine est plus disposée à accepter un jugement négatif qu'un jugement positif, simplement parce qu'un humain l'a suggéré.
Tous les juges ne se comportaient pas ainsi. Un des trois systèmes testés a résisté entièrement à l'influence. Peu importe l'étiquette présentée, qu'elle appartienne à un véritable expert ou à une supposition aléatoire, ce juge particulier s'en est tenu à sa propre évaluation du texte. Cette différence entre les systèmes suggère que la tendance à être influençable n'est pas un défaut fondamental de toute intelligence artificielle, mais un trait spécifique de la manière dont certains modèles sont entraînés. Les chercheurs ont également testé une version de la technologie qui n'avait pas été entraînée à suivre des instructions ou à discuter avec des humains, constatant que ce modèle brut, non entraîné, était encore plus facilement manipulable, changeant ses opinions de manière spectaculaire dès qu'une étiquette était présente. Cela indique que le processus d'entraînement qui rend ces modèles utiles aux humains pourrait aussi être la cause même de leur vulnérabilité à ce type spécifique de biais.
L'étude conclut que lorsque ces juges numériques sont utilisés pour trancher les égalités entre experts humains, la méthode de présentation importe plus que le contenu de l'argument. Si l'invite montre au juge une opinion humaine spécifique, le juge est susceptible de s'aligner sur cette opinion, même si l'opinion est erronée ou aléatoire. Les chercheurs ont constaté que ce biais est assez fort pour changer l'issue d'une décision dans près d'un cas sur dix. Ils suggèrent que pour obtenir les résultats les plus fiables, ces juges devraient être invités à décider sans voir les opinions humaines, ou que les équipes devraient utiliser le type spécifique de juge qui a montré une résistance à l'influence. Le travail ne prétend pas que les machines mentent, mais plutôt qu'elles sont polies d'une manière qui est dangereuse pour la précision : elles sont trop désireuses d'être d'accord avec la personne à qui elles parlent, même quand cette personne n'est qu'une suggestion dans une boîte.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.