Résumé technique : DualEval – Calibration conjointe modèle-item pour une évaluation unifiée des LLM

Énoncé du problème

L'évaluation actuelle des grands modèles de langage (LLM) repose sur deux signaux complémentaires mais souvent déconnectés :

1. Benchmarks statiques : Fournissent des étiquettes de correction objectives et une notation standardisée, mais souffrent de saturation, de contamination et d'un manque de nuance pour les tâches ouvertes.
2. Évaluations de type « Arena » : Reflètent les interactions utilisateur ouvertes à travers des classements de préférences (par exemple, les modèles de Bradley-Terry), mais introduisent de la subjectivité, des désaccords entre annotateurs et des biais systématiques d'évaluateurs.

Les approches existantes traitent souvent ces configurations comme des entités distinctes ou agrègent les résultats au niveau de l'item en scores globaux de modèles, ignorant l'idée critique que les signaux de classement dépendent des interactions modèle-item. Les items trivialement faciles ou impossibles à réaliser offrent une séparation limitée entre les modèles. De plus, les méthodes actuelles sont largement centrées sur le modèle, échouant à diagnostiquer les propriétés des items d'évaluation eux-mêmes (par exemple, la difficulté, la netteté ou la saturation).

Méthodologie : DualEval

Les auteurs proposent DualEval, un cadre unifié qui estime conjointement les capacités des modèles et les propriétés des items dans un espace latent partagé, inspiré de la Théorie de la Réponse aux Items (IRT - Item Response Theory).

Cadre central

DualEval représente chaque modèle $i$ par un paramètre de capacité $\theta_i$ et chaque tâche $q$ par un paramètre de difficulté $b_q$ et un paramètre de netteté $a_q$ (où $a_q = \exp(k_q)$). Le cadre intègre deux sources de données distinctes :

1. IRT Statique (Correction binaire) :
   Pour les benchmarks statiques avec des étiquettes binaires ($y_{i,q} \in \{0, 1\}$), DualEval emploie un modèle IRT logistique à deux paramètres (2PL) standard :
   $$p_{i,q} = P(y_{i,q} = 1) = \sigma(a_q(\theta_i - b_q))$$
   où $\sigma$ est la fonction sigmoïde. La perte est l'entropie croisée binaire entre les probabilités prédites et les étiquettes observées.

2. IRT par paires distillée par récompense (Préférences ouvertes) :
   Pour les données de type arena, un modèle de récompense (RM) attribue des scores scalaires $r_{i,q}$ aux réponses. Ceux-ci sont standardisés en $z_{i,q}$.

   • Cibles de préférence douces : Les préférences par paires sont construites comme des cibles douces $p^*_{ijq} = \sigma(z_{i,q} - z_{j,q})$, convertissant les écarts de récompense en forces de préférence calibrées.
   • Prédiction latente : Le modèle prédit la probabilité que le modèle $i$ batte le modèle $j$ sur la question $q$ comme $\hat{P}(i \succ j | q) = \sigma(\gamma(p_{i,q} - p_{j,q}))$, où $\gamma$ est un paramètre de température appris.
   • Filtrage : Le cadre filtre les « ex æquo » (petits écarts de récompense) et les paires « les deux mauvais » (où les deux modèles reçoivent de faibles récompenses) pour éviter les gradients bruyants. Les paires « les deux mauvais » sont traitées comme des preuves d'échec absolu, poussant les deux modèles vers de faibles probabilités de succès pour cet item.

Optimisation conjointe

Les composantes statiques et d'arena partagent les mêmes paramètres latents $(\theta, b, k)$. La fonction objectif totale combine la perte statique, la perte de préférence d'arena et une pénalité « les deux mauvais », régularisée pour assurer l'identifiabilité (centrage des capacités à une moyenne de zéro après chaque étape).

Principales contributions

1. Paradigme d'évaluation unifié : DualEval fait le pont entre la correction statique et les préférences ouvertes sur une échelle latente commune, permettant à chaque source de signal de compenser les faiblesses de l'autre (par exemple, les étiquettes statiques stabilisant les signaux de récompense bruités).
2. Diagnostics au niveau de l'item : Contraما aux classements traditionnels, DualEval apprend les profils d'items (difficulté, netteté et information de Fisher), permettant l'identification d'items saturés, discriminants ou à faible signal.
3. Applications diagnostiques :
   • Compression de benchmark : Utilisation de l'information de Fisher pour sélectionner des sous-ensembles d'items à haut signal qui récupèrent les classements des données complètes avec un minimum de données.
   • Détection d'anomalies : Utilisation des résidus pour signaler les paires (modèle, item) suspectes qui s'écartent des attentes, aidant ainsi à la détection de la contamination.

Résultats expérimentaux

Le cadre a été évalué sur quatre domaines (Codage, Mathématiques, Divers, Générique) en utilisant 18 LLM de pointe.

• Reconstruction du signal : DualEval a atteint une précision de 88 à 92 % sur les étiquettes statiques et un accord sur les paires décisives de 68 à 81 % sur les comparaisons d'arena.
• Robustesse : Dans les domaines ancrés statistiquement, DualEval maintient un fort accord avec les références statiques même lorsque le modèle de récompense est remplacé par une alternative publique (Skywork-Reward-V2-Qwen3-8B). En revanche, les bases de référence uniquement basées sur l'arena montrent une divergence de classement significative ($\rho \approx 0,25$) sous les mêmes conditions.
• Compression de benchmark : La sélection des 10 % d'items supérieurs par information de Fisher a permis de récupérer le classement complet des données avec un $\rho$ de Spearman $\ge 0,95$ dans les domaines ancrés statiquement, démontrant que les signaux de classement sont concentrés dans un petit sous-ensemble d'items hautement informatifs.
• Détection d'anomalies : Le détecteur basé sur les résidus a atteint un AUROC $\ge 0,995$ pour la contamination des étiquettes statiques et un AUROC de 0,93–0,98 pour la contamination des récompenses d'arena lors de l'utilisation d'un ajustement de référence propre.

Signification et affirmations

L'article recadre l'évaluation des LLM comme un problème de calibration conjointe modèle-item plutôt que comme une tâche de classement purement centrée sur le modèle. Les auteurs affirment que cette approche :

• Produit des classements plus équilibrés et stables en intégrant les signaux statiques et d'arena.
• Transforme les données d'évaluation en un objet d'analyse, permettant l'identification d'items saturés et la construction de benchmarks économes en échantillons.
• Fournit des diagnostics auditables et interprétables (via les profils d'items et les résidus) qui soutiennent des pipelines d'évaluation plus rigoureux et rentables.

Les auteurs reconnaissent des limites, notamment la dépendance à un modèle de récompense propriétaire (atténuée par la validation par RM public), l'utilisation d'évaluations à réponse unique (ignorant la variabilité de l'échantillonnage), et l'utilisation de paramètres de capacité scalaires (les travaux futurs suggèrent des profils multidimensionnels). Cependant, ils affirment que DualEval offre une étape principielle vers des systèmes d'évaluation plus efficaces, interprétables et ancrés.