💬 NLP

Exploring the Effects of Alignment on Numerical Bias in Large Language Models

Cette étude identifie l'alignement comme la cause primaire du biais numérique dans les systèmes de type « LLM-as-a-judge » et démontre que l'ajustement de l'échelle de notation est la stratégie heuristique la plus efficace pour atténuer ce biais et améliorer la performance d'évaluation.

Auteurs originaux : Ayako Sato, Hwichan Kim, Zhousi Chen, Masato Mita, Mamoru Komachi

Publié 2026-01-27

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ayako Sato, Hwichan Kim, Zhousi Chen, Masato Mita, Mamoru Komachi

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous ayez engagé une équipe de juges experts (des Large Language Models, ou LLM) pour noter des essais, traduire des histoires ou corriger des fautes de grammaire. Vous leur demandez de donner une note de 0 à 100. C'est la méthode du « LLM-as-a-judge » (le LLM en tant que juge).

Cependant, les chercheurs de ce document ont découvert un bug étrange : ces juges numériques ont l'habitude d'être trop cohérents. Au lieu de donner une grande variété de scores (comme 42, 67, 89, 12), ils reviennent sans cesse au même nombre, comme un disque rayé bloqué sur « 80 ».

Le papier appelle cela le « Biais Numérique ». C'est comme un critique gastronomique qui, peu importe le plat qu'on lui sert, écrit toujours « 8/10 » sur sa fiche de critique. Même si la nourriture est terrible ou incroyable, il semble incapable de rompre le schéma.

Le coupable : « L'Alignement »

Les chercheurs ont voulu savoir : Pourquoi cela arrive-t-il ?

Ils soupçonnaient que le problème était causé par un processus appelé « Alignement ».

Avant l'alignement : Considérez un LLM comme un artiste sauvage et créatif. Il pourrait vous donner un score de 3, puis 95, puis 42. Il est imprévisible et diversifié, mais il ne suit pas toujours bien vos instructions.
Après l'alignement : Pour rendre l'IA plus utile et polie, des humains la « forment » pour qu'elle suive mieux les instructions. C'est comme mettre l'artiste dans une école d'art stricte. Désormais, l'IA suit les règles parfaitement, mais elle devient un peu robotique. Elle perd sa diversité « sauvage » et commence à regrouper ses réponses autour d'un nombre sûr et spécifique.

La découverte : L'étude a comparé les modèles « sauvages » (pré-alignement) avec les modèles « entraînés » (post-alignement). Ils ont constaté que les modèles entraînés étaient beaucoup plus susceptibles de rester bloqués sur des nombres spécifiques (comme 8 ou 9 sur 10), quel que soit l'input (l'entrée) bon ou mauvais. Ce comportement de « blocage » rendait en fait leur notation moins précise.

La bonne et la mauvaise nouvelle

La mauvaise nouvelle : Ce comportement de « blocage » (biais) fait de l'IA un moins bon juge. Si elle ne peut pas distinguer une excellente traduction d'une mauvaise parce qu'elle donne « 8 » aux deux, le système échoue.
La bonne nouvelle : Malgré cette faille, les modèles « entraînés » (alignés) sont toujours meilleurs pour suivre les instructions que les modèles « sauvages ». Ils restent le meilleur choix pour la tâche, mais ils ont besoin d'un petit coup de pouce pour corriger leurs habitudes de notation.

Comment réparer le disque rayé

Les chercheurs ont testé trois façons d'empêcher l'IA de rester bloquée sur un seul nombre :

Augmenter la « Température » (le caractère aléatoire) :
Imaginez que l'IA est un joueur de fléchettes. La « Température » est la façon dont sa main tremble. Si elle est trop stable (température basse), elle touche exactement le même point à chaque fois. Si vous rendez sa main un peu plus tremblante (température plus haute), elle pourrait toucher des points différents.

Résultat : Cela a aidé un peu, mais si vous les rendiez trop tremblants, leurs scores devenaient des déchets aléatoires. Ce n'était pas une solution parfaite.

Le Calibrage (re-calibrer l'échelle) :
C'est comme dire à l'IA : « Hé, tu donnes trop de 8. Ajustons mathématiquement ton cerveau pour que tu donnes plus de 5 et de 9. »

Résultat : Cela a réduit le biais, mais cela ne rendait pas toujours la notation plus précise. Parfois, cela rendait simplement l'IA confuse.

Changer l'échelle de notation (la solution magique) :
C'était la solution la plus efficace. Imaginez que vous demandez à l'IA de noter sur une échelle de 1 à 5. Elle pourrait rester bloquée sur « 4 ». Mais si vous lui dites : « Note sur une échelle de 1 à 100 », elle a soudainement plus d'espace pour respirer. Elle ne se sent plus forcée de choisir le nombre « sûr » du milieu et commence à utiliser toute la gamme.

Résultat : En changeant simplement les instructions pour permettre une plage de nombres plus large (par exemple 1–100 au lieu de 1–5), l'IA a cessé de rester bloquée. Elle a donné des scores plus variés, et sa précision s'est considérablement améliorée.

Ce qu'il faut retenir

Le papier conclut que lorsque nous utilisons l'IA pour juger des choses, nous ne devrions pas supposer que les paramètres sont parfaits.

L'alignement (entraîner l'IA pour qu'elle soit utile) rend accidentellement l'IA trop prévisible et répétitive dans sa notation.
La solution : Ne vous contentez pas des paramètres par défaut. Si vous demandez à une IA de noter quelque chose, essayez de lui dire d'utiliser une plage de nombres plus large. C'est comme dire à un élève nerveux : « Tu peux obtenir n'importe quelle note de A à F », au lieu de « Tu peux seulement avoir un B ». Ce simple changement aide l'IA à montrer son véritable jugement plutôt que de simplement répéter un nombre sûr.

En bref : les juges IA sont excellents, mais ils se « bloquent » sur des nombres spécifiques parce que nous les avons trop bien entraînés. Leur donner un terrain de jeu plus grand (une plage de scores plus large) les aide à sortir de cette habitude et à mieux faire leur travail.

Résumé technique : Exploration des effets de l'alignement sur le biais numérique dans les grands modèles de langage

Énoncé du problème

Le paradigme « LLM-as-a-judge » (le LLM en tant que juge), qui utilise des grands modèles de langage (LLM) comme évaluateurs de la qualité textuelle, est apparu comme une alternative évolutive aux métriques traditionnelles telles que BLEU et ROUGE. Cependant, cette approche souffre d'un biais numérique, un phénomène où les évaluateurs génèrent de manière disproportionnée des jetons numériques spécifiques, entraînant des distributions de scores biaisées. Ce biais réduit la distinction des évaluations et soulève des inquiétudes quant à la robustesse du cadre, car une corrélation élevée avec les jugements humains peut être obtenue artificiellement par un regroupement des scores plutôt que par une véritable capacité d'évaluation.

Alors que les LLM évaluateurs sont généralement des modèles post-alignement (ajustés via l'instruction et le réglage des préférences) pour améliorer le respect des instructions, des recherches antérieures suggèrent que l'alignement peut réduire la diversité des sorties. Cette étude émet l'hypothèse que le biais numérique est un effet secondaire du processus d'alignement, où les modèles deviennent excessivement cohérents dans leur notation, échouant ainsi à capturer les nuances de la qualité des entrées.

Méthodologie

L'étude examine la relation entre l'alignement du modèle et le biais numérique à travers une analyse comparative de modèles pré-alignement et post-alignement sur trois tâches de régression :

MTQE (Estimation de la qualité de la traduction automatique) : Évaluation de la qualité de la traduction sans textes de référence.
GECQE (Estimation de la qualité de la correction grammaticale) : Évaluation de phrases corrigées.
LCP (Prédiction de la complexité lexicale) : Prédiction de la complexité des mots.

Conception expérimentale

Modèles : Les auteurs ont comparé quatre séries de modèles (Gemma, Mistral, Llama 3, Qwen 2) dans leurs variantes de base (pré-alignement) et instruct (post-alignement).
Métriques :
- Kurtosis (Coefficient d'aplatissement) : Utilisé comme métrique primaire pour quantifier le biais numérique. Un kurtosis élevé indique une distribution plus nette et plus concentrée autour de valeurs spécifiques.
- Coefficient de corrélation de Pearson ( $r$ ) : Mesuré pour évaluer l'alignement entre les scores du modèle et les scores humains de référence (gold scores).
Stratégies d'atténuation (RQ2) : L'étude a testé trois approches pour atténuer le biais dans les modèles post-alignement :
1. Mise à l'échelle de la température (Temperature Scaling) : Variation du paramètre de température pour augmenter la diversité des sorties.
2. Calibration de la distribution : Application d'une méthode de calibration générative (Jiang et al., 2023) pour corriger la distribution marginale des étiquettes.
3. Ajustement de la plage de scores : Modification de la plage de sortie spécifiée dans le prompt (ex. : 1–5, 0–9, 1–100).

Résultats clés

1. L'alignement induit un biais numérique

Décalage de distribution : Les modèles pré-alignement présentaient des distributions de scores variées avec un kurtosis plus faible, probablement dû à un respect des instructions plus faible menant à des sorties aléatoires. En revanche, les modèles post-alignement généraient des scores fortement concentrés autour de valeurs spécifiques (ex. : 8), entraînant un kurtosis nettement plus élevé.
Corrélation avec la précision : Une forte corrélation négative ($-0,60$) a été observée entre le kurtosis et la précision de l'évaluation ( $r$ ). Les modèles présentant un biais numérique plus élevé démontraient systématiquement une corrélation plus faible avec les jugements humains.
Variance linguistique et de modèle : Le biais était plus prononcé dans les langues à hautes ressources (ex. : anglais-allemand, anglais-chinois) que dans les langues à faibles ressources (ex. : népalien-anglais, cinghalais-anglais). Parmi les modèles, Gemma présentait le biais le plus marqué, tandis que Llama et Qwen montraient un kurtosis relativement plus faible.

2. Efficacité de l'atténuation

Mise à l'échelle de la température : L'augmentation de la température a réduit le kurtosis (biais) mais n'a pas systématiquement amélioré la précision de l'évaluation. Dans certains cas, des températures excessivement élevées ont dégradé les performances.
Calibration de la distribution : Cette méthode a réussi à réduire le kurtosis dans plusieurs modèles mais a donné des résultats mitigés sur la précision, dégradant parfois les performances dans les modèles qui étaient déjà précis.
Ajustement de la plage de scores : Cela s'est avéré être la stratégie la plus efficace. L'ajustement de la plage de scores (ex. : l'élargir à 1–100 ou la rétrécir à 1–5) a considérablement réduit le kurtosis et, dans de nombreux cas, a amélioré la corrélation avec les jugements humains. Par exemple, dans la tâche MTQE avec Gemma, une plage 1–100 a surpassé à la fois la plage par défaut et les résultats issus de la mise à l'échelle de la température.

Principales contributions

Identification du lien causal : L'étude fournit des preuves empiriques que le biais numérique dans les évaluateurs LLM est une conséquence directe du processus d'alignement, se distinguant ainsi des problèmes généraux de diversité des sorties.
Compromis Biais-Précision : Les auteurs démontrent que si l'alignement améliore le respect des instructions, le biais numérique qui en résulte peut compromettre la précision de l'évaluation. Ils proposent que le kurtosis puisse servir de métrique de substitution (proxy) pour sélectionner des évaluateurs robustes lorsqu'aucune donnée de référence n'est disponible.
Optimisation de la plage de scores : L'article remet en question le traitement des plages de scores comme des choix de conception fixes, démontrant qu'ils doivent être traités comme des hyperparamètres ajustables. L'optimisation de la plage de scores est montrée comme étant une heuristique plus efficace pour atténuer le biais et améliorer les performances que la mise à l'échelle de la température ou la calibration seule.

Signification et limites

L'article conclut que bien que les modèles post-alignement restent supérieurs aux modèles pré-alignement pour les tâches d'évaluation en raison d'un meilleur respect des instructions, leur biais numérique intrinsèque limite leur fiabilité. Les conclusions soulignent la nécessité d'une sélection optimale de la plage de scores comme composante critique, bien que souvent négligée, des systèmes LLM-as-a-judge.

Les auteurs maintiennent une position modeste, reconnaissant que leurs stratégies d'atténuation (particulièrement l'ajustement de la plage de scores) sont heuristiques et spécifiques à la tâche plutôt que des solutions fondamentales. Ils notent des limites incluant l'impossibilité d'analyser les données d'alignement internes des modèles publics, la restriction aux sorties de scores numériques, et l'impact non résolu de l'alignement sur les évaluations basées sur le langage naturel ou le classement. Les travaux futurs sont orientés vers le développement de stratégies plus robustes et généralisables pour traiter les causes profondes du biais induit par l'alignement.