💬 NLP

The Evaluator Is Part of the Experiment: Measuring Open-Ended LLM Conformity

Cet article introduit un nouveau protocole expérimental démontrant que la conformité ouverte des LLM est pilotée par une influence de groupe qui dégrade la qualité de la révision, tout en révélant simultanément que les jugements des évaluateurs sont non neutres et nécessitent un étalonnage explicite des ancres pour garantir la validité de la mesure.

Auteurs originaux : Alicia Guerra, Yibo Hu

Publié 2026-08-14

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Alicia Guerra, Yibo Hu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un monde où les ordinateurs apprennent à penser, à parler et même à argumenter entre eux. C'est le domaine de l'intelligence artificielle, et plus précisément des modèles de langage étendus (LLM), qui sont comme des cerveaux numériques surpuissants entraînés sur presque tout ce que les humains ont jamais écrit. Mais voici la partie délicate : ces cerveaux numériques ne sont pas seulement des génies solitaires ; ils travaillent souvent en équipe, ou « systèmes multi-agents », où une IA suggère une réponse, une autre la critique et une troisième tente de la corriger. La grande question que se posent les scientifiques est la suivante : que se passe-t-il lorsque ces amis IA ne sont pas d'accord ? Restent-ils fidèles à la vérité, ou se laissent-ils influencer par la foule, tout comme des adolescents lors d'une fête qui pourraient changer d'avis pour s'intégrer ? Ce phénomène est appelé « conformisme ». Bien que nous sachions que les humains peuvent être facilement influencés par la pression des pairs, nous devons savoir si nos créations numériques le sont aussi. Si une IA peut être trompée au point de croire une idée fausse simplement parce que ses « amis » le disent, cela pourrait conduire à des erreurs graves dans tous les domaines, des conseils médicaux aux jugements juridiques.

Le document que vous allez lire plonge au cœur de ce problème exact, mais avec une nuance : il traite la personne (ou l'ordinateur) qui évalue les réponses comme faisant partie de l'expérience, et non comme un simple arbitre neutre. Les chercheurs, Alicia Guerra et Yibo Hu, ont mis en place un immense terrain de jeu numérique pour voir comment quatre différents « générateurs » d'IA (ceux qui produisent les réponses) réagissent lorsqu'ils voient des « pairs » (d'autres réponses d'IA) qui sont soit tous corrects, soit tous faux, soit un mélange des deux. Ils ont découvert que lorsqu'une IA est entourée d'un groupe de pairs lui donnant des informations complètement fausses, ses réponses révisées deviennent nettement moins bonnes. C'est comme un élève qui connaît la bonne réponse mais qui, après avoir entendu toute une classe crier avec assurance la mauvaise réponse, commence à douter de lui-même et finit par écrire la mauvaise réponse aussi.

Mais l'histoire devient encore plus intéressante. Les chercheurs ont réalisé que mesurer cela n'est pas aussi simple que de vérifier si la réponse change de « Oui » à « Non ». Parfois, la réponse reste la même, mais la qualité de l'explication se dégrade, ou l'IA commence à ajouter des détails bizarres ou superstitieux juste pour s'intégrer. Pour capturer cela, ils ont utilisé une astuce ingénieuse : ils ont pris exactement la même réponse et l'ont montrée à un « juge » (une autre IA) à deux reprises. Une première fois, le juge a vu la réponse seule (en aveugle). La seconde fois, le juge a vu la réponse plus les commentaires du groupe de pairs (informé). Ils ont découvert que les juges n'étaient pas des robots neutres du tout ! Selon l'IA qui effectuait le jugement, le fait de voir les commentaires des pairs faisait en sorte qu'ils évaluaient la même réponse différemment. Certains juges devenaient plus enclins à être d'accord avec la foule, tandis que d'autres devenaient plus sceptiques. Il s'avère que dans le monde de l'IA, la personne qui corrige l'examen est tout aussi influencée par la foule que l'élève qui passe l'examen.

Les chercheurs ont également découvert que si vous ne vérifiez pas vos « règles » avec soin, toute votre expérience peut s'effondrer. Ils ont utilisé des « ancres » — des exemples parfaitement corrects et parfaitement faux — pour fixer l'échelle de ce qu'est une bonne réponse. Ils ont constaté que si les juges ne pouvaient pas distinguer de manière fiable ces ancres, tout le système de mesure devenait instable. En résumé, cet article proule que mesurer le conformisme de l'IA est un problème en deux parties : l'IA qui produit la réponse devient moins performante lorsqu'elle est entourée de pairs erronés, et l'IA qui évalue la réponse est biaisée par la vue de ces mêmes pairs. C'est un rappel que, à l'ère numérique, la pression des pairs ne nous affecte pas seulement nous, elle affecte aussi les machines que nous construisons pour nous aider, et même les machines que nous construisons pour les juger.

Résumé technique : L'évaluateur fait partie de l'expérience

Énoncé du problème

Les recherches antérieures sur la conformité des grands modèles de langage (LLM) se sont largement appuyées sur la mesure de basculements de réponses discrets sous des étiquettes vérifiables (par exemple, passer d'une option de choix multiple correcte à une option incorrecte). Cependant, la conformité en mode ouvert présente un défi de mesure distinct : la qualité de la réponse est notée, latente et jugée imparfaitement. Les métriques existantes ne parviennent pas à capturer les dégradations nuancées de l'encadrement épistémique, de la véracité ou de la complétude qui surviennent sans changement catégorique de la proposition de la réponse. Le processus d'évaluation lui-même est vulnérable ; les évaluateurs (qu'ils soient humains ou automatisés) peuvent réagir au contexte de pairs visible, confondant les changements dans la réponse générée avec des changements dans le jugement de l'évaluateur. Cet article pose l'hypothèse que la conformité en mode ouvert est un problème conjoint de génération et de mesure où l'évaluateur est une composante active de l'expérience.

Méthodologie

Les auteurs proposent un protocole expérimental conçu pour démêler les effets de révision du côté du générateur de la sensibilité du côté de l'évaluateur. L'étude utilise quatre générateurs en accès ouvert (Qwen2.5-7B, Mistral-7B, Gemma-2-9B, Llama-3.1-8B) et trois benchmarks (TruthfulQA, MMLU-Pro, ARC-Challenge).

Conception expérimentale

Le protocole implique un processus en deux étapes :

Tour 1 : Le générateur produit une réponse initiale ( $a^{(1)}$ ).
Tour 2 : Le générateur est incité à répondre de nouveau à la même question sous sept conditions distinctes découlant de la même réponse réalisée au Tour 1 :
- Sans-Pair (No-Peer) : Une nouvelle réponse de référence.
- Contenu-Seul (Content-Only) : Exposition à un texte candidat (correct, faux ou mixte) présenté sous forme de liste simple sans attribution.
- Présenté-par-des-Pairs (Peer-Presented) : Exposition au même texte candidat formaté comme un bloc attribué à six locuteurs (simulant une discussion entre pairs), avec des variations dans les indices d'autorité.

Stratégie d'évaluation

Pour isoler la sensibilité de l'évaluateur, chaque réponse générée subit une évaluation appariée :

Notation aveugle (Blind Rating) : La réponse est notée sans aucun contexte de pairs.
Notation informée (Informed Rating) : La même réponse est notée à nouveau avec le bloc de pairs associé visible.

Cette conception permet de mesurer la sensibilité de l'évaluateur au contexte de pairs ( $\gamma_j$ ), définie comme le décalage de notation pour la même réponse lorsque le contexte de pairs est introduit. L'étude emploie un modèle ordinal hiérarchique pour inférer la qualité latente de la réponse ( $\theta_i$ ) à partir de notations ordinales (échelle de 1 à 5), en tenant compte de la discrimination ( $\alpha_j$ ) et de la sévérité ( $\beta_j$ ) propres à chaque juge.

Décomposition

Les auteurs décomposent le décalage total de l'option de pair ( $\Delta_{total}$ ) en trois composantes :

Réponse ordinaire ( $\Delta_{sp}$ ) : Le décalage du Tour 1 vers un Tour 2 sans pair.
Exposition au contenu ( $\Delta_{content}$ ) : L'effet de la visualisation du texte candidat sans cadrage de pair.
Résidu de présentation par les pairs ( $\Delta_{pp}$ ) : L'effet supplémentaire de la présentation du contenu au sein d'un bloc social/attribué de pairs.

Résultats clés

1. Les taux de bascule sont insuffisants

Les indicateurs binaires de basculement ne parviennent pas à capturer la nature de la conformité en mode ouvert. Dans les cas où la position globale de la réponse reste inchangée (ex: « une pie porte malheur »), la qualité de l'explication peut se dégrader considérablement (ex: suppression des nuances sur la superstition et adoption de rituels prescriptifs). Sur TruthfulQA, 9,0 % des révisions qui semblaient « inchangées » par les métriques de basculement ont tout de même perdu au moins un point lors des notations aveugles.

2. Les pairs erronés nuisent à la qualité de la révision

Dans toutes les cellules générateur-jeu de données, l'entrée de pairs entièrement erronés produit les révisions de la plus faible qualité.

Magnitude : La dégradation sous des pairs totalement erronés est substantielle. Par exemple, sur ARC-Challenge, le modèle Llama-3.1-8B a montré un décalage de qualité latente de $-0,528$ (environ 18 % de la distance entre les ancres correctes et incorrectes fixées).
Asymétrie : L'effet nocif des pairs erronés dépasse largement tout bénéfice potentiel des pairs corrects. La métrique d'asymétrie « nocif-bénéfique » ( $Asym_{total}$ ) est positive dans les 12 cellules générateur-jeu de données, indiquant que les pairs incorrects dégradent la qualité plus que les pairs corrects ne l'améliorent.

3. Les évaluateurs présentent une sensibilité au contexte de pairs

L'évaluation d'une réponse identique change selon que le contexte de pairs est visible ou non, et la direction de ce décalage varie selon l'évaluateur :

Mistral-7B : Déplace les notations vers la position soutenue par les pairs ( $\gamma > 0$ ).
Gemma-2-9B et Llama-3.1-8B : Déplace les notations à l'opposé de la position soutenue par les pairs ( $\gamma < 0$ ).
Qwen2.5-7B : Approximativement neutre.
Modèles de pointe (GPT-4o, GPT-5.4-mini) : Tous deux montrent une sensibilité directionnelle nettement négative (déplacement à l'opposé des pairs).
Cela confirme que les évaluateurs ne sont pas des observateurs neutres ; leurs notations sont influencées par les mêmes indices de consensus ou d'autorité présentés au générateur.

4. Le calibrage des ancres est nécessaire

L'étude souligne que les échelles latentes reposent sur des ancres (exemples concis corrects/incorrects) pour définir l'origine et l'unité de la qualité. Sans une notation augmentée par référence lors de l'évaluation des ancres, les juges n'ont pas réussi à distinguer les ancres correctes des incorrectes dans 26,7 % des cas, déstabilisant ainsi l'échelle latente. La notation augmentée par référence a porté l'ordre de corrélation correct à 97,5 %.

Signification et revendications

L'article soutient que la conformité en mode ouvert ne peut être mesurée de manière adéquate par les basculements de réponses ou en supposant que les évaluateurs automatisés sont insensibles au contexte corrélé au traitement. Les principales contributions sont :

Cadre de mesure : Un protocole qui sépare la réponse ordinaire, l'exposition au contenu du candidat, l'effet résiduel de la présentation par les pairs et la sensibilité directionnelle du juge.
Preuve empirique de nuisance : Démonstration que les pairs incorrects dégradent systématiquement la qualité de la révision en mode ouvert plus que les pairs corrects ne l'améliorent, même lorsque la proposition finale ne bascule pas.
Non-neutralité de l'évaluateur : Preuve que « l'évaluateur fait partie de l'expérience », avec différents modèles présentant des sensibilités hétérogènes au contexte de pairs.
Exigence de calibrage : Affirmation que le calibrage des ancres est un prérequis pour une mesure valide de l'échelle latente, car les diagnostics de convergence standards ne garantissent pas que l'échelle représente le construit visé.

Les auteurs concluent qu'une évaluation crédible des systèmes multi-agents nécessite des contrôles de base appropriés, une modélisation explicite de la sensibilité de l'évaluateur, une corroboration indépendante (ex: classificateurs fixes) et des audits directs du calibrage de l'échelle. Ils ne prétendent pas que ces conclusions sont des constantes universelles pour tous les systèmes de LLM, mais qu'il s'agit de quantités identifiables dans le cadre expérimental spécifié.