Résumé technique : Calibrez, ne sélectionnez pas

Énoncé du problème

Dans l'évaluation des grands modèles de langage (LLM) et des modèles de récompense, la comparaison par paires multi-juges constitue le paradigme dominant. L'heuristique prédominante pour gérer des panels de juges hétérogènes (allant de quasi-aléatoires à quasi-experts) est la sélection : choisir un sous-ensemble des juges les plus précis (top-$k$) et éliminer les plus faibles afin de maximiser la précision ponctuelle.

Cependant, les systèmes d'évaluation modernes requièrent de plus en plus des sorties probabilistes calibrées (estimations de confiance fiables) plutôt que de simples gagnants précis. Cet article examine si l'heuristique de sélection reste valable lorsque l'objectif passe de la précision ponctuelle à l'estimation probabiliste calibrée, en utilisant un ensemble de calibration étiqueté. La question centrale est : Faut-il sélectionner un petit panel de juges à haute précision, ou calibrer le panel complet incluant les juges plus faibles ?

Méthodologie

Les auteurs proposent un pipeline statistique en quatre étapes pour l'agrégation multi-juges, comparant deux approches : la Sélection basée sur la précision (élagage top-$k$) versus l'Inclusion du panel complet. Crucialement, les procédures d'agrégation et de calibration sont maintenues fixes dans les deux approches pour isoler l'effet de la composition du panel de juges.

Le Pipeline

1. Agrégation consciente de l'hétérogénéité ($M_\omega$) :

   • Les verdicts des juges sont agrégés en une probabilité brute à l'aide d'un modèle bayésien à une pièce intégré.
   • Les poids des juges sont dérivés de la précision moyenne a posteriori ($\alpha_k/(\alpha_k+\beta_k)$) estimée sur le split de calibration.
   • Cela implémente un principe de pondération par les log-odds où les juges dont la précision est incertaine ($\alpha_k \approx \beta_k$) reçoivent un poids proche de zéro, tandis que les juges forts et faibles contribuent en fonction de leur fiabilité apprise.
   • Note : L'article considère également l'algorithme EM de Dawid–Skene comme agrégateur alternatif.

2. Correction du biais résiduel ($M_{\omega, \delta}$) :

   • Une carte post-hoc de faible capacité (régression logistique de type Platt) corrige les biais globaux d'échelle et de décalage dans le score agrégé.
   • Cette étape permet d'étendre la classe de modèles de $M_\omega$ à $M_{\omega, \delta}$ sans augmenter la perte calibrée asymptotique.

3. Calibration de la distribution ($M_{\omega, \delta, G}$) :

   • Une carte de calibration bêta est appliquée aux probabilités corrigées pour assurer une calibration au niveau de la distribution.
   • La carte $g(p) = \sigma(a \log p + b \log(1-p) + c)$ généralise l'échelle de Platt, permettant des corrections asymétriques près des positifs et des négatifs confiants.
   • Une régularisation elastic net est utilisée pour éviter le surapprentissage, en particulier lorsque les données de calibration sont limitées.

4. Couverture conforme (Optionnelle) :

   • La prédiction conforme fractionnée enveloppe les probabilités calibrées pour fournir des garanties de couverture marginale sur des échantillons finis.

Configuration expérimentale

• Ensembles de données : Quatre benchmarks d'évaluation par paires étiquetés : JudgeBench, RewardBench, RewardBench 2 et LLMBar.
• Juges : Des panels allant de 38 à 174 juges, incluant des modèles de récompense natifs et des LLM hébergés via API/GPU augmentés.
• Métriques : Négatif de la vraisemblance logarithmique (NLL) et score de Brier (règles de score strictement propres), Erreur de calibration attendue (ECE) et précision ponctuelle.
• Protocole : Splits calibration/évaluation 50/50 répétés sur 100 permutations. La signification statistique est évaluée via des tests de permutation appariés au niveau des éléments.

Raison théorique

L'article fournit deux justifications théoriques expliquant pourquoi l'inclusion surpasse la sélection dans les contextes calibrés :

1. Monotonie du risque calibré oracle (Proposition 1) :
   Sous des règles de score strictement propres (Brier, NLL), le risque calibré oracle est monotone par rapport à l'ensemble des juges. Si $S \subseteq T$, alors $R(T) \leq R(S)$. Ajouter des juges ne peut pas augmenter la perte calibrée optimale car cela fournit des informations conditionnelles supplémentaires ($I(Y; X_{T \setminus S} | X_S) \geq 0$).

2. Théorème du jury calibré (Théorème 1) :
   En étendant le théorème du jury de Condorcet, les auteurs montrent que même les juges « anti-experts » (précision $p_k < 0.5$) contribuent positivement à la borne d'erreur si leur biais est apprenable. Le poids optimal $\alpha_k = \log(p_k / (1-p_k))$ inverse le vote d'un anti-expert plutôt que de le rejeter. Tant que les juges ne sont pas du pur bruit ($p_k \neq 0.5$), leurs signaux sont non redondants et améliorent la décroissance exponentielle de la borne d'erreur.

Résultats clés

1. Renversement de la calibration

La découverte principale est un renversement du compromis sélection-inclusion :

• Non calibré : Élaguer les juges faibles (top-$k$) améliore souvent la précision brute et parfois le NLL brut en éliminant des signaux de très mauvaise qualité extrêmes.
• Calibré : Après application de la calibration bêta, l'utilisation du panel complet de juges surpasse systématiquement la sélection basée sur la précision.
  • Sur RewardBench 2, le maintien de tous les juges a permis d'atteindre un NLL de 0,006, contre 0,013 pour la sélection top-5 (réduisant de moitié l'erreur de calibration).
  • Des gains similaires ont été observés sur JudgeBench (-19 % de NLL), RewardBench (-31 %) et LLMBar (-22 %).

2. Robustesse face à des sélectionneurs plus forts

L'avantage de l'inclusion du panel complet persiste même face à des bases d'élagage plus puissantes :

• Sélection séquentielle gloutonne : Sélectionner des juges pour minimiser le NLL calibré sur le split interne n'a pas réussi à battre le panel complet.
• Régression logistique $\ell_1$-sparse : N'a pas réussi à espacer le panel, récupérant effectivement l'ensemble complet.
• Top-5 Oracle : Même avec une connaissance parfaite de la précision sur l'ensemble de test, la sélection de seulement 5 juges n'a pas pu égaler la performance calibrée du panel complet.
• Recherche de sous-ensembles : Une recherche exhaustive sur des familles dédupliquées et une recherche par faisceau sur des panels complets ont confirmé que l'inclusion est soit la gagnante, soit statistiquement à égalité (le panel complet étant la valeur par défaut plus simple).

3. Rôle du désaccord

L'article explique que les juges faibles apportent de la valeur grâce au désaccord. Leurs votes marquent les éléments incertains et produisent des probabilités moins extrêmes, que le calibreur peut apprendre à faire confiance. L'élagage basé sur la précision supprime cette information, tandis que la calibration du panel complet la conserve et apprend les niveaux de confiance appropriés.

4. Diagnostics de budget et de portée

• Budget d'étiquetage : L'avantage de l'inclusion est plus prononcé avec de petits budgets de calibration (par exemple, sur RewardBench, l'inclusion du panel complet atteint un NLL de 0,01 avec seulement 75 étiquettes, tandis que le top-5 en nécessite plus de 300).
• Cas limites : L'inclusion échoue uniquement lorsque les juges sont pathologiques (par exemple, verdicts inexploitables, fiabilité inférieure au hasard sans biais apprenable) ou lorsque le panel est déjà saturé (juges redondants au niveau plancher de netteté). Les auteurs proposent des diagnostics opérationnels (exploitabilité, non-saturation, compatibilité de l'agrégateur) pour filtrer de tels cas.

Importance et revendications

L'article prétend présenter les premières preuves systématiques d'un renversement de la calibration dans l'évaluation multi-juges des LLM. Son importance réside dans le changement du principe opérationnel pour les régimes d'évaluation étiquetés :

• Ne rejetez pas les juges faibles uniquement sur la base de la précision.
• Gardez-les s'ils sont exploitables, non redondants et calibrables.
• Le signal « faible » d'un panel diversifié, lorsqu'il est correctement agrégé et calibré, fournit plus d'informations sur l'incertitude et les réponses correctes qu'un sous-ensemble sélectionné de juges « forts ».

Les auteurs soulignent que ce résultat s'applique spécifiquement aux benchmarks étiquetés avec des données de calibration retenues. Dans une évaluation ouverte sans vérité terrain, la capacité d'apprendre les biais des juges et de calibrer les probabilités n'est pas disponible, et l'heuristique de sélection peut rester valable. Ce travail suggère que dans les régimes étiquetés, le compromis budgétaire favorise le maintien d'un panel de juges diversifié et l'investissement dans des données de calibration plutôt que la sélection d'un petit panel à haute précision.