LLM Evaluation as Tensor Completion: Low Rank Structure and Semiparametric Efficiency

Probleemformulering

Het artikel behandelt de statistische uitdagingen die inherent zijn aan het evalueren van Large Language Models (LLMs) via paarwijze menselijke oordelen, zoals te zien op platforms zoals ARENA. In deze settings vergelijken gebruikers twee modelresponsen en selecteren ze een voorkeursrespons, wat resulteert in ruisgevoelige, ijle en zeer niet-uniforme data. Huidige leaderboard-praktijken rapporteren vaak puntinschattingen met beperkte onzekerheidskwantificatie en falen erin om expliciet gebruik te maken van de laag-rang structuur van modelprestaties over taken, categorieën en contexten.

De auteurs formaliseren dit probleem als semiparametrische inferentie voor een laag-rang latente score-tensor ($T^\star$) die wordt waargenomen via paarwijze vergelijkingen.

• Model: Ze hanteren een Bradley-Terry-Luce (BTL) type raamwerk waarbij de waarschijnlijkheid dat model $a$ wint van model $b$ in context $t$ gelijk is aan $\sigma(\langle T^\star, X \rangle)$, waarbij $X$ het paarwijze contrast codeert.
• Structuur: Er wordt aangenomen dat $T^\star$ een laag-rang Tucker-structuur heeft, wat reflecteert dat modelprestaties worden gedreven door een klein aantal latente factoren (bijv. redeneren, coderen, meertaligheid) in plaats van onafhankelijke entries voor elke model-taak-combinatie.
• Waarneming: De data bestaat uit binaire uitkomsten van niet-uniform gesamplede paarwijze contrasten, niet uit directe tensor-entries.
• Doel: Het doel is niet volledige tensor-reconstructie, maar de efficiënte schatting van gladde functionaliteiten $\psi(T^\star)$, die lineair kunnen zijn (bijv. vermogensverschillen, categoriestatistieken) of niet-lineair (bijv. winstkansen).

Methodologie

Het artikel ontwikkelt een raamwerk voor het construeren van statistisch efficiënte schatters en geldige betrouwbaarheidsintervallen onder deze beperkingen.

1. Semiparametrische Efficiëntietheorie
De auteurs leiden de fundamentele limieten van schatting af door de efficiënte invloedfunctie (EIF) en de semiparametrische efficiëntiebound te karakteriseren.

• Tangentruimte: Ze definiëren een signaal-tangentruimte $\mathcal{T}$ die de laag-rang manifold-beperkingen combineert met lineaire identificatiebeperkingen (bijv. zero-sum normalisatie) die vereist zijn voor identificeerbaarheid in paarwijze modellen.
• Informatie-operator: Ze definiëren een Fisher-informatie-operator $G$ geïnduceerd door de logistische link en de steekproefverdeling. Cruciaal is dat zij aantonen dat onder heterogene matchups en niet-uniform sampling, $G$ anisotroop is (richtingsafhankelijk).
• Efficiëntiebound: De efficiëntiebound wordt gegeven door $V_{\text{eff}}(\psi) = \langle P_{\mathcal{T}}\nabla\psi, A^{-1}P_{\mathcal{T}}\nabla\psi \rangle$, waarbij $A = P_{\mathcal{T}} G P_{\mathcal{T}}$ de beperkte informatie-operator is en $P_{\mathcal{T}}$ de projectie op de tangentruimte.

2. De Non-Commutativiteit Bottleneck
Een centrale technische uitdaging die wordt geïdentificeerd, is dat de informatie-operator $G$ over het algemeen niet commuteert met de tangentruimte-projector $P_{\mathcal{T}}$.

• In isotrope settings (bijv. Gaussische ruis) is $G$ proportioneel aan de identiteitsmatrix, waardoor inversie eenvoudig is.
• In paarwijze vergelijkingen creëert de variërende Fisher-informatie $I(\eta) = \sigma(\eta)(1-\sigma(\eta))$ anisotropie. Bijgevolg kan de inverse beperkte operator $(P_{\mathcal{T}} G P_{\mathcal{T}})^{-1}$ ongunstige entrywise amplificatie vertonen, wat een dimensie-afhankelijke bottleneck creëert voor standaard debiasing-argumenten. Dit wordt gekwantificeerd door een constante $C_A$ die kan schalen met $\sqrt{\bar{d}}$ (de grootste modus-dimensie).

3. Schatters
Om deze uitdagingen aan te pakken, stellen de auteurs twee hoofdschatters voor:

• One-Step Debiased Estimator: Een standaard semiparametrische benadering met behulp van de EIF. Deze vereist de inversie van de geschatte beperkte informatie-operator. Hoewel efficiënt, hangen de theoretische garanties af van de grootte van $C_A, wat grotere steekproeven vereist om asymptotische normaliteit te garanderen wanneer de informatie sterk heterogeen is.
• Score-Whitened Estimator: Om de non-commutativiteit bottleneck te overwinnen, introduceren de auteurs een score-whitening methode. Door de scorefunctie te herschalen met de lokale Fisher-informatie ($\tilde{s}_\eta = s_\eta / I(\eta)$), transformeren zij de effectieve informatie-operator naar een isotrope operator. Dit elimineert de noodzaak voor operator-inversie, verwijdert de $C_A$ bottleneck en levert een eenvoudigere schatter op met stabiel asymptotisch gedrag onder zwakkere steekproefcomplexiteit-condities ($n \gg \bar{d} \text{polylog}(\bar{d})$).
• Inverse-Probability Weighting (IPW): Voor niet-uniform sampling combineren zij score-whitening met IPW om isotropie te herstellen, waardoor de methode bruikbaar is voor real-world data waar populaire modellen onevenredig veel vergelijkingen ontvangen.

Belangrijkste Bijdragen

1. Statische Formulering: Het artikel verenigt LLM-evaluatie in een laag-rang tensor-completion raamwerk onder paarwijze vergelijkingen, waarbij expliciet rekening wordt gehouden met identificatiebeperkingen en niet-uniform sampling.
2. Efficiëntiekarakterisering: Het biedt de eerste semiparametrische efficiëntiebounds voor laag-rang paarwijze vergelijkingsmodellen, waarbij de EIF en de informatievergelijking $AH^\star = P_{\mathcal{T}}\nabla\psi$ worden afgeleid.
3. Identificatie van een Nieuwe Bottleneck: De auteurs identificeren en analyseren de non-commutativiteit tussen de anisotrope informatie-operator en de tangentruimte-projector als een fundamenteel obstakel in heterogene paarwijze data, een fenomeen dat afwezig is in isotrope tensor completion.
4. Score-Whitening Oplossing: Zij introduceren een score-whitening techniek die de lokale Fisher-informatie egaliseert, wat effectief het probleem "preconditioneert" om isotropie te herstellen en efficiënte inferentie mogelijk te maken zonder operator-inversie.
5. Theoretische Garanties: Het artikel vestigt asymptotische normaliteit en geldige variantie-schatting voor zowel lineaire als niet-lineaire functionaliteiten, en bewijst dat de voorgestelde schatters de semiparametrische efficiëntiebound (of een robuust alternatief) bereiken tegen optimale steekproefcomplexiteit-schalen.

Resultaten

De auteurs valideren hun theorie via synthetische en real-data experimenten:

• Initialisatie: Ze demonstreren dat een laag-rang initialisatie (via spectrale schatting en alternating minimization) gevolgd door entrywise verfijning essentieel is voor nauwkeurige schatting in ijle regimes, wat significant beter presteert dan per-taak BTL-modellen.
• Asymptotische Normaliteit: Simulaties bevestigen dat zowel de efficiënte als de score-whitened schatters een bijna nominale dekking (95%) bereiken voor lineaire en niet-lineaire targets (bijv. winstkansen) naarmate de steekproefomvang toeneemt.
• Efficiëntie vs. Robuustheid: De efficiënte schatter levert consequent kleinere standaardfouten (hogere efficiëntie) dan de score-whitened schatter, wat bevestigt dat deze de semiparametrische bound target. Echter, de score-whitened schatter biedt grotere robuustheid en stabiliteit onder zeer heterogene informatie-geometrieën.
• Niet-Uniform Sampling: Experimenten met niet-uniform sampling (die de ARENA-data nabootsen) tonen aan dat IPW in combinatie met score-whitening een geldige dekking behoudt. De efficiënte schatter behoudt een variantievoordeel, maar vereist een stabiele schatting van de informatie-operator.
• Real-Data Applicatie: Toegepast op de ARENA-dataset (81k observaties, 30 modellen, 10 categorieën), produceerde de efficiënte one-step schatter de smalste betrouwbaarheidsintervallen met een dekking die dicht bij 95% ligt, waarmee het de baseline-benaderingen en de meer conservatieve score-whitened benadering overtrof.

Betekenis en Claims

Het artikel claimt een geprincieerd raamwerk voor onzekerheidskwantificatie te bieden voor LLM-evaluatie. Door verder te gaan dan eenvoudige rangschikking naar semiparametrische inferentie op gestructureerde latente tensoren, adresseert het de kritieke behoefte aan betrouwbare betrouwbaarheidsintervallen voor modelvergelijking.

De auteurs benadrukken dat hun werk de kloof overbrugt tussen tensor completion theorie en paarwijze vergelijkingsstatistiek. Zij stellen dat standaard completion-methoden onvoldoende zijn omdat ze de binaire aard van de data, de identificatiebeperkingen en de heteroscedasticiteit van de informatie negeren. Het voorgestelde raamwerk is niet beperkt tot LLMs; de auteurs merken op dat het een bredere toepasbaarheid heeft voor elk laag-rang inferentieprobleem dat betrokken is bij heterogene informatie-geometrie, niet-uniform sampling en 1-bit observaties.

Het artikel positioneert de bijdrage bescheiden als het vaststellen van de theoretische limieten en het construeren van haalbare schatters voor deze specifieke klasse problemen, in plaats van het voorstellen van nieuwe LLM-architecturen of benchmarking-protocollen. Het benadrukt dat de "non-commutativiteit bottleneck" een uniek kenmerk is van deze setting dat de voorgestelde score-whitening of zorgvuldige operator-inversiestrategieën noodzakelijk maakt.