Résumé technique : AMEL (Effets des Messages Accumulés sur les Jugements des LLM)

Énoncé du problème

Les grands modèles de langage (LLM) sont de plus en plus déployés en tant que juges automatisés pour des tâches telles que la revue de code, la modération de contenu et le scoring. Dans les environnements de production, l'efficacité dicte souvent que plusieurs éléments soient évalués au sein d'une seule session de conversation, créant ainsi un historique de jugements antérieurs. Cet article examine si la polarité de cet historique de conversation antérieur biaise les jugements ultérieurs. Les auteurs définissent ce phénomène comme l'Effet des Messages Accumulés sur les Jugements des LLM (AMEL).

L'étude distingue l'AMEL de concepts apparentés :

• Sycophancie : Contrairement à la sycophancie, où les modèles s'accordent avec les opinions de l'utilisateur, l'AMEL se produit lorsqu'un modèle se conforme à son propre schéma antérieur de réponses, sans opinion externe de l'utilisateur.
• Biais d'étiquetage majoritaire : Contrairement au biais de classification few-shot où des exemples formatés faussent les prédictions, l'AMEL découle d'échanges complets de questions-réponses sur des sujets variés.
• Ancrage : Contrairement à l'ancrage, il n'y a pas de point de référence numérique explicite ; le biais émerge de la tonalité globale de la conversation.

Méthodologie

L'étude emploie un design expérimental entre-sujets impliquant 75 898 appels API répartis sur 11 modèles de quatre fournisseurs (OpenAI, Anthropic, Google et des modèles open-source locaux).

Design expérimental

• Conditions : Des éléments de test identiques ont été présentés dans quatre conditions :
  1. Référence (Baseline) : L'élément suit uniquement l'invite système (sans historique).
  2. Non-saturé (No-Saturated) : L'élément suit $N$ tours antérieurs où 90 % des évaluations étaient « non » (négatif).
  3. Saturé (Yes-Saturated) : L'élément suit $N$ tours antérieurs où 90 % des évaluations étaient « oui » (positif).
  4. Neutre : L'élément suit $N$ tours antérieurs avec une répartition 50/50.
• Longueur du contexte ($N$) : Variée entre $\{5, 10, 20, 50\}$ tours pour tester l'accumulation.
• Domaines : Trois domaines d'évaluation binaire ont été testés :
  1. Revue de code : « Ce code est-il prêt pour la production ? »
  2. Modération de contenu : « Ce commentaire est-il approprié ? »
  3. Évaluation nutritionnelle : « Est-ce un choix sain ? »
• Éléments de test : Chaque domaine comprenait 21 éléments classés comme Clairement Positif, Ambigu et Clairement Négatif.
• Score de biais (BS) : Défini comme $P(r^*|\text{traitement}) - P(r^*|\text{référence})$, où $r^*$ est la réponse cible pour la condition de polarité. Un score négatif indique un glissement vers « non » (le biais négatif dominant observé).

Modèles testés

L'étude couvrait une gamme d'échelles et d'architectures, incluant GPT-4.1 Nano, GPT-5.2, Claude Haiku/Sonnet/Opus, Gemini 2.5 Flash/Pro, et des modèles locaux (Llama 3.2, Qwen3/3.5). Tous les modèles API utilisaient une température de $T=1.0$.

Résultats clés

1. Existence et ampleur de l'AMEL

Sur l'ensemble des 11 modèles, l'historique de conversation déplace significativement les réponses vers la polarité prévalente de l'historique, avec une taille d'effet globale de $d = -0.17$ ($p < 10^{-46}$). Cela indique une dérive systématique vers « non » indépendamment du fait que l'historique était majoritairement positif, négatif ou neutre. Neuf modèles sur onze ont montré un biais significatif après correction de Bonferroni.

2. Susceptibilité et incertitude

L'effet n'est pas uniforme ; il est concentré sur les éléments où le modèle est genuinely incertain à la référence.

• Éléments à haute entropie : Les éléments où la probabilité de référence du modèle $P(\text{oui})$ est non déterministe absorbent environ 2 fois plus de biais ($d = -0.34$) que les éléments où la référence est déterministe ($d = -0.15$).
• Implication pratique : Les éléments les plus vulnérables à l'AMEL sont les cas limites où une évaluation non biaisée est la plus critique.

3. Asymétrie de négativité

Les historiques négatifs induisent un biais significativement plus fort que les historiques positifs.

• Ampleur : Les contextes négatifs produisent un déplacement par élément 1,62 fois plus fort que les contextes positifs ($t = 13.46, p < 10^{-39}$).
• Historique neutre : Même un historique équilibré (50/50) produit un glissement négatif, suggérant que la simple présence d'un contexte d'évaluation déclenche un mode plus critique indépendamment de la polarité du contenu.

4. Saturation et longueur du contexte

Le biais ne croît pas linéairement avec la longueur du contexte.

• Saturation immédiate : Cinq tours d'historique biaisé produisent le même déplacement que cinquante tours ($Spearman |r| < 0.01, p > 0.94$).
• Mécanisme : Le modèle détecte rapidement le schéma prévalent et atteint un équilibre ; des exemples supplémentaires ne renforcent pas le biais.

5. Mise à l'échelle des modèles et variance

• Mise à l'échelle : Les modèles plus grands au sein des familles de fournisseurs montrent généralement moins de biais (par exemple, Anthropic Haiku $d=-0.22$ contre Opus $d=-0.17$), mais aucun n'est immunisé.
• Exceptions :
  • Gemini : La tendance s'est inversée pour les modèles Google, Gemini 2.5 Pro montrant plus de biais que Flash, potentiellement dû aux tokens de « réflexion » amplifiant la reconnaissance de schémas.
  • Qwen : Qwen3 4B a présenté un biais contrarien significatif (s'éloignant de l'historique), possiblement dû à un réglage par instruction pénalisant la répétition.

6. Mécanismes et caractérisation

Trois expériences de suivi ont rétréci les mécanismes plausibles :

• Déplacement continu : L'analyse des logprobs a confirmé que l'AMEL est un déplacement continu dans la distribution de probabilité des tokens, et non un artefact de seuil.
• Sources au niveau des tokens vs sémantiques : L'asymétrie de négativité possède à la fois des composantes au niveau des tokens et sémantiques. Dans GPT-4.1 Nano, le token « non » lui-même apparaît collant ; dans Llama 3.2 3B, le concept de « rejet » (sémantique) pilote l'asymétrie.
• Indépendance de position : La position des tours biaisés au sein d'un historique de 50 tours (début, fin ou réparti) n'a pas d'importance ; n'importe quels cinq tours biaisés suffisent à produire l'effet complet.

Importance et recommandations

L'article soutient que l'AMEL représente une vulnérabilité fondamentale dans les pipelines d'évaluation multi-tours des LLM. Les auteurs concluent que la mise à l'échelle seule ne résout pas le problème, car même les modèles de pointe restent susceptibles.

Recommandations pratiques :

1. Contextes frais : L'atténuation principale consiste à évaluer chaque élément dans une conversation fraîche sans historique antérieur, éliminant ainsi entièrement le canal de biais.
2. Regroupement équilibré : Si le regroupement est inévitable, les éléments doivent être randomisés et équilibrés (entrelacement des résultats attendus « oui » et « non ») pour empêcher une dérive de polarité auto-renforçante.
3. Protection des éléments incertains : Prioriser les contextes frais pour les éléments où l'incertitude de référence du modèle est élevée.
4. Correction en temps d'exécution : Pour les systèmes où les contextes frais sont irréalisables, des détecteurs de biais d'historique de réponse (par exemple, score B) ou des corrections basées sur les logprobs peuvent être utilisés pour détecter et partiellement corriger la dérive.

L'étude souligne que, bien que la taille de l'effet soit modérée dans l'ensemble, sa concentration sur les éléments ambigus pose un risque significatif pour la fiabilité de l'évaluation automatisée dans les domaines à haut enjeu.