Mediocrity is the key for LLM as a Judge Anchor Selection

1. Problématique et Contexte

Le paradigme « LLM-as-a-Judge » (LMJ) est devenu la méthode standard pour évaluer les modèles de génération de langage (LLM) sur des tâches à réponse ouverte, remplaçant souvent les métriques de référence traditionnelles (comme BLEU ou ROUGE) qui sont mal adaptées à la créativité et à la complexité des sorties modernes.

Cependant, l'évaluation par paires (comparaison de deux modèles pour chaque instruction) souffre d'un coût de calcul quadratique ($O(N^2)$) lorsque le nombre de modèles à évaluer ($N$) augmente. Pour pallier ce problème, des benchmarks populaires comme Arena-Hard et AlpacaEval adoptent une approche basée sur une ancre (anchor-based) : tous les modèles sont comparés à un seul modèle de référence (l'ancre) plutôt que les uns aux autres.

Le problème central identifié par les auteurs est que la sélection de cette ancre est effectuée de manière empirique et souvent arbitraire (souvent le modèle le plus performant ou le moins performant), sans étude systématique de son impact sur la fiabilité des résultats. Les auteurs se demandent : Comment le choix de l'ancre influence-t-il la corrélation entre le classement obtenu et la vérité terrain (humaine ou quadratique) ?

2. Méthodologie

Les auteurs ont mené une analyse à grande échelle pour quantifier l'effet du choix de l'ancre.

• Données et Modèles :

  • Utilisation du benchmark Arena-Hard-v2.0 (750 instructions : ingénierie logicielle, mathématiques, logique, écriture créative).
  • Évaluation de 22 modèles contemporains différents (incluant o1, o3, GPT-4.5, Claude 3.7, Llama 4, etc.).
  • Ces 22 modèles servent tour à tour d'ancres et de modèles cibles.
  • Juges (Judges) : 5 modèles différents ont été utilisés pour générer les jugements (Deepseek-v3, GPT-OSS 120B/20B, Qwen3 235B/8B).

• Protocole Expérimental :

  1. Classement Quadratique (Gold Standard) : Pour chaque juge, toutes les paires possibles de modèles sont comparées ($22 \times 21 / 2$ paires $\times$ 750 échantillons). Ce classement complet sert de référence « or » ($\pi_{quad}$).
  2. Classement Basé sur l'Ancre : Pour chaque modèle candidat comme ancre ($A$), tous les autres modèles sont comparés uniquement à $A$. Un score de taux de victoire (Win-Rate) ou une méthode Bradley-Terry (BT) est utilisé pour générer un classement $\pi_{A}$.
  3. Mesure de Qualité : La qualité d'une ancre est mesurée par le coefficient de corrélation de Kendall's $\tau$ entre le classement basé sur l'ancre ($\pi_{A}$) et le classement quadratique ($\pi_{quad}$) ou le classement humain ($\pi_{human}$).
  4. Analyse de la Puissance Statistique : Calcul du nombre d'échantillons nécessaires pour détecter des différences significatives entre des modèles compétitifs, en tenant compte du taux d'« échantillons informatifs ».

3. Résultats Clés

Les résultats révèlent des contre-intuitions majeures par rapport aux pratiques courantes :

A. La relation en forme de « U inversé »

Il existe une relation claire entre la capacité d'un modèle (son rang) et sa qualité en tant qu'ancre :

• Les modèles extrêmes (Top et Bottom) sont de mauvaises ancres. Les modèles les plus performants (ex: o3) et les moins performants (ex: Llama 4 Maverick) génèrent les corrélations les plus faibles avec le classement de référence.
• Les modèles « médiocres » (Milieu de tableau) sont les meilleures ancres. Les modèles de capacité intermédiaire fournissent les corrélations les plus élevées.
  • Exemple : Avec Deepseek-v3 comme juge, l'ancre o3 (le meilleur modèle) donne une corrélation $\tau \approx 0.82$, tandis qu'un modèle de milieu de gamme comme Gemma 3 27B donne $\tau \approx 0.95$.

B. La distribution des taux de victoire et la saturation du signal

La raison de cette performance médiocre des ancres extrêmes réside dans la distribution des taux de victoire :

• Ancres fortes (ex: o3) : Elles gagnent contre presque tous les autres modèles sur la majorité des échantillons (ex: 500/750 cas). Cela crée une distribution fortement biaisée (skewée) où la plupart des comparaisons sont des victoires triviales.
• Ancres faibles : Elles perdent contre presque tout le monde.
• Conséquence : Ces comparaisons ne sont pas informatives. Elles ne permettent pas de discriminer les nuances entre les modèles cibles. L'auteur note que l'utilisation d'une ancre comme o3 gaspille environ 2/3 du budget d'évaluation car les résultats sont prévisibles (saturation du signal).
• Ancres médiocres : Elles produisent une distribution plus plate et équilibrée, générant un taux plus élevé d'échantillons informatifs (où le résultat de la comparaison varie selon le modèle cible).

C. Impact sur la taille de l'échantillon et la puissance statistique

L'analyse de puissance montre que le choix de l'ancre a un impact comparable, voire supérieur, au choix du modèle juge lui-même.

• Avec une ancre médiocre (taux d'informativité ~60%), le nombre d'échantillons requis pour distinguer deux modèles compétitifs (différence de 5%) dépasse la taille du benchmark Arena-Hard (750 échantillons).
• Avec une ancre extrême (taux d'informativité ~45%), le besoin en échantillons devient prohibitif, rendant le benchmark actuel statistiquement insuffisant pour une évaluation fiable basée sur une ancre.

D. Comparaison Juge vs Ancre

L'étude démontre que le choix de l'ancre est aussi critique que le choix du juge. La variation de performance due au choix de l'ancre (écart de corrélation de 0.19 à 0.30) est du même ordre de grandeur que celle observée en changeant de modèle juge.

4. Contributions et Recommandations

Les auteurs proposent un cadre décisionnel pour améliorer les pratiques d'évaluation :

1. Éviter l'évaluation basée sur une ancre si possible : Pour de petits ensembles de modèles ($N \le 3$) ou lorsqu'une baseline naturelle existe, il est préférable de faire des comparaisons par paires complètes (quadratiques).
2. Sélectionner des ancres « médiocres » : Si une ancre est inévitable (pour les classements de type leaderboard), il faut choisir un modèle de capacité intermédiaire, proche de la moyenne des modèles évalués, plutôt que le modèle SOTA (State-of-the-Art).
3. Mesurer et rapporter l'informativité : Les chercheurs doivent calculer et publier le taux d'échantillons informatifs de leur ancre pour valider la robustesse de leur évaluation.
4. Estimation préliminaire : Il est possible d'estimer rapidement la qualité d'une ancre potentielle en utilisant un petit sous-ensemble d'échantillons (ex: 10 échantillons) avant de lancer l'évaluation complète.

5. Signification et Impact

Cet article remet en cause une pratique standard dans le domaine de l'évaluation des LLM. Il démontre que la recherche de la « meilleure » ancre (le modèle le plus fort) est contre-productive car elle introduit un biais de saturation qui masque les différences entre les modèles.

L'impact principal est méthodologique :

• Il fournit une justification théorique et empirique pour l'utilisation de modèles « moyens » comme références.
• Il met en lumière la nécessité de repenser la taille des benchmarks actuels, qui sont souvent insuffisants pour une évaluation fiable basée sur une ancre, surtout avec des ancres mal choisies.
• Il offre des recommandations pratiques immédiates pour les chercheurs et les développeurs de benchmarks (comme Arena-Hard ou AlpacaEval) afin d'améliorer la fiabilité des classements de modèles.

En résumé, la « médiocrité » (au sens de la position centrale dans la distribution des capacités) est la propriété clé qui maximise la puissance discriminative d'une ancre dans l'évaluation par LLM.