Résumé technique : Classement hétérogène conscient du juge avec sensibilité, désaccord et confiance

Énoncé du problème

L'évaluation des grands modèles de langage (LLM) repose de plus en plus sur des comparaisons par paires issues de panels de plusieurs juges (annotateurs humains, juges basés sur des modèles ou protocoles variés). Les pipelines de classement standard regroupent généralement ces jugements en un seul vecteur de scores latents, traitant le désaccord systématique entre les juges comme un bruit échangeable. Cependant, des preuves récentes indiquent que le désaccord entre les juges est souvent structuré, variant considérablement selon les modèles de juges, les langues, les tâches et les protocoles. Cette hétérogénéité est particulièrement conséquente dans les évaluations subjectives et les comparaisons de « quasi-égalité », où de petites perturbations peuvent altérer drastiquement les classements finaux.

Le problème fondamental est que le passage d'un seul juge à un panel ne fait pas simplement augmenter la taille de l'échantillon pour un problème de classement classique ; cela modifie fondamentalement l'objet de l'inférence. L'objectif passe de la récupération d'un ordre unique regroupé à la compréhension d'un problème de classement multi-juges structuré qui prend en compte le consensus, la sensibilité spécifique à chaque juge et le désaccord résiduel systématique.

Méthodologie : Classement Hétérogène Conscient du Juge (HJA)

Les auteurs proposent un classement Hétérogène Conscient du Juge (HJA), un cadre qui décompose les scores latents spécifiques aux juges en trois composantes distinctes et identifiables :

1. Formulation du modèle

Le cadre modélise la matrice de scores latents $S \in \mathbb{R}^{K \times N}$ (où $K$ est le nombre de juges et $N$ le nombre d'éléments) en utilisant une décomposition structurée :
$$S = \gamma\mu^\top + UV^\top$$

• Classement de consensus ($\mu$) : Une direction de consensus moyenne par ligne représentant la cible de classement au niveau de la population.
• Sensibilité de consensus ($\gamma$) : Un vecteur de paramètres spécifiques aux juges ($\gamma_k$) mesurant à quel point le juge $k$ suit le signal de consensus partagé. Contrairement aux métriques de qualité globales, $\gamma_k$ mesure spécifiquement l'alignement avec la direction de consensus.
• Désaccord structuré ($UV^\top$) : Une composante résiduelle de faible rang capturant les déviations systématiques par rapport au consensus qui ne peuvent pas être expliquées par une simple mise à l'échelle scalaire. Ce terme est contraint d'être orthogonal à la direction de consensus.

Les probabilités de préférence par paires suivent le modèle Bradley-Terry-Luce (BTL) :
$$\text{logit}(p_{kij}) = \gamma_k(\mu_i - \mu_j) + U_{k,:}(V_{i,:} - V_{j,:})^\top$$

2. Identifiabilité et contraintes

Pour garantir que la décomposition soit statistiquement bien définie, les auteurs imposent des conditions spécifiques de normalisation et de rang (Condition 1) :

• Centrage : $\mu$ et les colonnes de $V$ sont centrés ; les lignes de $U$ somment à zéro.
• Mise à l'échelle : $\gamma$ somme à $K$ ; $U$ et $V$ sont mis à l'échelle pour avoir des normes unitaires.
• Orthogonalité : La direction de consensus $\mu$ est orthogonale au sous-espace hétérogène $V$.
• Ancrage du sous-espace : Les valeurs singulières de la composante résiduelle sont distinctes et ordonnées.

Sous ces conditions et en supposant que le score agrégé inter-juges est non nul, les auteurs prouvent (Proposition 1) que la direction de consensus, les paramètres de sensibilité et le sous-espace de désaccord résiduel sont identifiables à partir des données de comparaison par paires, uniques à des changements de signe colonne par colonne près.

3. Algorithme d'estimation

Les auteurs développent un estimateur du maximum de vraisemblance contraint (MLE). En raison du caractère non convexe de la factorisation bilinéaire et des contraintes d'ancrage non linéaires, ils proposent un algorithme proximal alternatif ancré (Algorithme 1) :

• Mises à jour par blocs : Minimisation alternée sur les paramètres des juges ($\gamma, U$) et les paramètres des éléments ($\mu, V$) avec des termes proximaux pour assurer la stabilité.
• Ré-ancrage : Une étape critique (Algorithme C.2) qui restaure les contraintes d'identification non linéaires après chaque mise à jour par bloc, préservant la géométrie d'identification de la décomposition.
• Convergence : L'algorithme est prouvé pour bénéficier d'une convergence linéaire locale (Théorème 2) sous des hypothèses de régularité standard.

4. Quantification de l'incertitude

Le cadre prend en charge l'inférence statistique dans un régime de comparaisons répétées à panel fixe, où le nombre de juges $K$ peut rester fixe tandis que l'information croît grâce à des comparaisons répétées.

• Normalité asymptotique : Le MLE contraint est montré comme étant asymptotiquement normal (Théorème 3).
• Intervalles de confiance : En utilisant la matrice d'information de Fisher dérivée de la structure de graphe des comparaisons, la méthode fournit des intervalles de confiance pour les contrastes de scores de consensus, les contrastes spécifiques aux juges, les paramètres de sensibilité et les probabilités par paires. Cela permet une quantification de l'incertitude même lorsque le panel de juges est petit ou fixe.

Résultats clés

Expériences synthétiques

• Récupération : HJA récupère avec succès les classements de consensus, les comportements spécifiques aux juges et l'hétérogénéité structurée à mesure que l'information de comparaison augmente.
• Robustesse : Les modèles de base mal spécifiés (BTL regroupé et modèles de sensibilité uniquement comme JA-Ranking) se dégradent considérablement sous une forte hétérogénéité, se concentrant autour de matrices de scores biaisées.
• Calibration de l'incertitude : HJA fournit des déclarations d'incertitude bien calibrées, tandis que les modèles de base échouent à capturer la vraie variance dans le désaccord structuré.

Benchmarks sur données réelles

Évalué sur quatre jeux de données (Chatbot Arena, MT-Bench, UltraFeedback et un jeu de données interne), HJA démontre :

• Robustesse améliorée : Une stabilité supérieure des classements lorsque des juges bruyants sont injectés.
• Meilleure prédiction : Une précision de prédiction par paires sur données de test supérieure.
• Performance sur les quasi-égalités : Des gains significatifs en précision pour les paires de quasi-égalité empiriquement ambiguës, où les méthodes standard sont fragiles.
• Utilité diagnostique : Le modèle ajusté identifie les juges à fort levier (ceux avec une sensibilité élevée mais aussi un désaccord résiduel élevé) et révèle des motifs d'affinité structurés juge-modèle (par exemple, des effets d'auto-préférence basés sur la famille) sans les traiter comme des résultats universels.

Importance et affirmations

L'article affirme fournir un cadre statistiquement fondé pour le classement sous des jugements comparatifs hétérogènes. Ses contributions principales sont :

1. Décomposition des cibles : Il sépare le classement de consensus, la sensibilité du juge et le désaccord structuré en cibles inférentielles distinctes, plutôt que de les effondrer en un seul score ou de traiter le désaccord comme du bruit.
2. Identifiabilité : Il établit les conditions sous lesquelles ces composantes sont récupérables de manière unique à partir de données par paires, allant au-delà des factorisations arbitraires d'espaces latents.
3. Inférence à panel fixe : Il permet une quantification rigoureuse de l'incertitude (intervalles de confiance) pour les cibles de classement même lorsque le panel de juges ne croît pas, une contrainte courante dans l'évaluation des LLM.
4. Puissance diagnostique : Le cadre sert d'outil diagnostique pour détecter les juges peu fiables, quantifier la sensibilité au consensus et localiser les motifs d'affinité systématiques (tels que les biais d'auto-préférence) au sein du terme de désaccord résiduel.

Les auteurs notent modestement que le cadre ne vise pas à certifier les classements sous des panels de juges adversariaux où un biais coordonné sévère pourrait affecter l'estimation du consensus, ni ne garantit l'optimalité globale en raison du caractère non convexe de l'optimisation. Au lieu de cela, il est positionné comme une couche diagnostique pour l'évaluation hétérogène afin d'améliorer la robustesse et l'interprétabilité des conclusions de classement.