LLM Evaluation as Tensor Completion: Low Rank Structure and Semiparametric Efficiency

Formulation du Problème

L'article traite des défis statistiques inhérents à l'évaluation des grands modèles de langage (LLM) via des jugements humains par paires, tels qu'observés sur des plateformes comme ARENA. Dans ces contextes, les utilisateurs comparent deux réponses de modèles et en sélectionnent une préférée, générant des données bruitées, éparses et hautement non uniformes. Les pratiques actuelles des classements (leaderboards) se contentent souvent de rapporter des estimations ponctuelles avec une quantification limitée de l'incertitude, et ne parviennent pas à exploiter explicitement la structure de faible rang de la performance des modèles à travers les tâches, les catégories et les contextes.

Les auteurs formalisent ce problème comme une inférence semi-paramétrique pour un tenseur de scores latents de faible rang ($T^\star$) observé via des comparaisons par paires.

• Modèle : Ils adoptent un cadre de type Bradley-Terry-Luce (BTL) où la probabilité que le modèle $a$ batte le modèle $b$ dans le contexte $t$ est $\sigma(\langle T^\star, X \rangle)$, avec $X$ codant le contraste de la paire.
• Structure : $T^\star$ est supposé posséder une structure de Tucker de faible rang, reflétant le fait que la performance des modèles est pilotée par un petit nombre de facteurs latents (ex: raisonnement, codage, capacité multilingue) plutôt que par des entrées indépendantes pour chaque paire modèle-tâche.
• Observation : Les données consistent en des résultats binaires issus de contrastes de paires échantillonnés de manière non uniforme, et non en des entrées directes du tenseur.
• Objectif : L'objectif n'est pas la récupération complète du tenseur, mais l'estimation efficace de fonctionnelles lisses $\psi(T^\star)$, qui peuvent être linéaires (ex: écarts de capacité, scores de catégorie) ou non linéaires (ex: probabilités de victoire).

Méthodologie

L'article développe un cadre pour construire des estimateurs statistiquement efficaces et des intervalles de confiance valides sous ces contraintes.

1. Théorie de l'efficacité semi-paramétrique
Les auteurs dérivent les limites fondamentales de l'estimation en caractérisant la fonction d'influence efficace (EIF) et la borne d'efficacité semi-paramétrique.

• Espace Tangent : Ils définissent un espace tangent de signal $\mathcal{T}$ qui combine les contraintes de la variété de faible rang et les contraintes d'identification linéaires (ex: normalisation somme nulle) nécessaires à l'identifiabilité dans les modèles par paires.
• Opérateur d'Information : Ils définissent un opérateur d'information de Fisher $G$ induit par la fonction de lien logistique et la distribution d'échantillonnage. Crucialement, ils montrent que sous des affrontements hétérogènes et un échantillonnage non uniforme, $G$ est anisotrope (dépendant de la direction).
• Borne d'Efficacité : La borne d'efficacité est donnée par $V_{\text{eff}}(\psi) = \langle P_{\mathcal{T}}\nabla\psi, A^{-1}P_{\mathcal{T}}\nabla\psi \rangle$, où $A = P_{\mathcal{T}} G P_{\mathcal{T}}$ est l'opérateur d'information restreint et $P_{\mathcal{T}}$ est la projection sur l'espace tangent.

2. Le goulot d'étranglement de la non-commutativité
Un défi technique central identifié est que l'opérateur d'information $G$ ne commute généralement pas avec le projecteur de l'espace tangent $P_{\mathcal{T}}$.

• Dans les contextes isotropes (ex: bruit gaussien), $G$ est proportionnel à l'identité, rendant l'inversion simple.
• Dans les comparaisons par paires, la variation de l'information de Fisher $I(\eta) = \sigma(\eta)(1-\sigma(\eta))$ crée de l'anisotropie. Par conséquent, l'opérateur restreint inversé $(P_{\mathcal{T}} G P_{\mathcal{T}})^{-1}$ peut présenter une amplification par entrée défavorable, créant un goulot d'étranglement dépendant de la dimension pour les arguments de débaisage standard. Cela est quantifié par une constante $C_A$ qui peut croître avec $\sqrt{\bar{d}}$ (la plus grande dimension de mode).

3. Estimateurs
Pour répondre à ces défis, les auteurs proposent deux estimateurs principaux :

• Estimateur débiaisé en une étape (One-Step Debiased Estimator) : Une approche semi-paramétrique standard utilisant l'EIF. Elle nécessite l'inversion de l'opérateur d'information restreint estimé. Bien qu'efficace, ses garanties théoriques dépendent de l'amplitude de $C_A$, nécessitant des tailles d'échantillon plus importantes pour garantir la normalité asymptotique lorsque l'information est hautement hétérogène.
• Estimateur par blanchiment de score (Score-Whitened Estimator) : Pour surmonter le goulot d'étranglement de la non-commutativité, les auteurs introduisent une méthode de blanchiment de score. En rescalant la fonction de score par l'information de Fisher locale ($\tilde{s}_\eta = s_\eta / I(\eta)$), ils transforment l'opérateur d'information effectif en un opérateur isotrope. Cela élimine le besoin d'inversion d'opérateur, supprime le goulot d'étranglement $C_A$, et produit un estimateur plus simple avec un comportement asymptotique stable sous des conditions de complexité d'échantillonnage plus faibles ($n \gg \bar{d} \text{polylog}(\bar{d})$).
• Pondération par l'inverse de la probabilité (IPW) : Pour l'échantillonnage non uniforme, ils combinent le blanchiment de score avec l'IPW pour restaurer l'isotropie, permettant à la méthode de gérer des données réelles où les modèles populaires reçoivent disproportionnellement plus de comparaisons.

Contributions Clés

1. Formulation Statistique : L'article unifie l'évaluation des LLM dans un cadre de complétion de tenseur de faible rang sous comparaisons par paires, en gérant explicitement les contraintes d'identification et l'échantillonnage non uniforme.
2. Caractérisation de l'Efficacité : Il fournit les premières bornes d'efficacité semi-paramétrique pour les modèles de comparaison par paires de faible rang, dérivant l'EIF et l'équation d'information $AH^\star = P_{\mathcal{T}}\nabla\psi$.
3. Identification d'un Nouveau Goulot d'Étranglement : Les auteurs identent et analysent la non-commutativité entre l'opérateur d'information anisotrope et le projecteur de l'espace tangent comme un obstacle fondamental dans les données par paires hétérogènes, un phénomène absent dans la complétion de tenseur isotrope.
4. Solution par Blanchiment de Score : Ils introduisent une technique de blanchiment de score qui égalise l'information de Fisher locale, « préconditionnant » efficacement le problème pour restaurer l'isotropie et permettre une inférence efficace sans inversion d'opérateur.
5. Garanties Théoriques : L'article établit la normalité asymptotique et l'estimation de variance valide pour les fonctionnelles linéaires et non linéaires, prouvant que les estimateurs proposés atteignent la borne d'efficacité semi-paramétrique (ou une alternative robuste) à des échelles de complexité d'échantillonnage optimales.

Résultats

Les auteurs valident leur théorie via des expériences sur des données synthétiques et réelles :

• Initialisation : Ils démontrent qu'une initialisation de faible rang (via l'estimation spectrale et la minimisation alternée) suivie d'un raffinement par entrée est essentielle pour une estimation précise dans les régimes creux, surpassant significativement les modèles BTL par tâche.
• Normalité Asymptotique : Les simulations confirment que les estimateurs efficaces et de blanchiment de score atteignent une couverture quasi-nominale (95 %) pour les cibles linéaires et non linéaires (ex: probabilités de victoire) à mesure que la taille de l'échantillon augmente.
• Efficacité vs Robustesse : L'estimateur efficace produit systématiquement des erreurs types plus petites (efficacité plus élevée) que l'estimateur par blanchiment de score, confirmant qu'il cible la borne semi-paramétrique. Cependant, l'estimateur par blanchiment de score offre une plus grande robustesse et stabilité sous des géométries d'information hautement hétérogènes.
• Échantillonnage Non Uniforme : Les expériences sur l'échantillonnage non uniforme (imitant les données d'ARENA) montrent que l'IPW combiné au blanchiment de score maintient une couverture valide. L'estimateur efficace conserve un avantage de variance mais nécessite une estimation stable de l'opérateur d'information.
• Application aux Données Réelles : Appliqué au jeu de données ARENA (81k observations, 30 modèles, 10 catégories), l'estimateur efficace en une étape a produit les intervalles de confiance les plus étroits avec une couverture proche de 95 %, surpassant les approches de base et l'approche plus conservatrice par blanchiment de score.

Signification et Revendications

L'article revendique l'établissement d'un cadre de principe pour la quantification de l'incertitude dans l'évaluation des LLM. En allant au-delà du simple classement pour l'inférence semi-paramétrique sur des tenseurs latents structurés, il répond au besoin critique d'intervalles de confiance fiables pour la comparaison de modèles.

Les auteurs soulignent que leur travail comble le fossé entre la théorie de la complétion de tenseur et les statistiques de comparaison par paires. Ils soutiennent que les méthodes de complétion standard sont insuffisantes car elles ignorent la nature binaire des données, les contraintes d'identification et l'hétéroscédasticité de l'information. Le cadre proposé n'est pas limité aux LLM ; les auteurs notent sa large applicabilité à tout problème d'inférence de faible rang impliquant une géométrie d'information hétérogène, un échantillonnage non uniforme et des observations de 1-bit.

L'article positionne modestement sa contribution comme l'établissement des limites théoriques et la construction d'estimateurs réalisables pour cette classe spécifique de problèmes, plutôt que la proposition de nouvelles architectures de LLM ou de protocoles de benchmarking. Il souligne que le « goulot d'étranglement de la non-commutativité » est une caractéristique unique de ce contexte qui nécessite soit la stratégie de blanchiment de score proposée, soit une inversion d'opérateur minutieuse.