Low Rank for Rank: Uncertainty-Aware Task-Specific LLM Ranking under Sparse Pairwise Comparisons

Technische Samenvatting: Low Rank for Rank: Uncertainty-Aware Task-Specific LLM Ranking under Sparse Pairwise Comparisons

Probleemstelling
De evaluatie van Large Language Models (LLM's) steunt steeds meer op platformen voor menselijke paarvoorkeuren (bijv. Chatbot Arena) om leaderboards te genereren. Hoewel globale ranglijsten gebruikelijk zijn, maskeren ze vaak aanzienlijke heterogeniteit over fijnmazige taken (bijv. programmeren, wiskunde, creatief schrijven). Beoefenaars vereisen betrouwbare, taakspecifieke ranglijsten om te bepalen welke modellen betrouwbaar zijn voor specifieke domeinen. Echter, bestaande benaderingen staan voor een statistische afweging:

1. Onafhankelijke taakspecifieke schatting: Het gebruik van Bradley-Terry-Luce (BTL)-modellen voor elke taak apart respecteert taakheterogeniteit, maar wordt statistisch instabiel wanneer vergelijkingen schaars of onbalans zijn binnen specifieke categorieën.
2. Volledig gepoolde schatting: Het poolen van data over alle taken vermindert variantie, maar wist de taakspecifieke heterogeniteit die fijnmazige evaluatie motiveert.
3. Rangonduidelijkheid: Huidige methoden bieden vaak puntsschattingen zonder onzekerheid te kwantificeren. In schaarse regimes kunnen kleine scoreverschillen nabij de top-$K$-grens steekproeffouten weerspiegelen in plaats van echte prestatieverschillen. Het valideren van top-$K$-lidmaatschap en rangen vereist het hanteren van de niet-gladde aard van rangfuncties en de sterke afhankelijkheid tussen hypothese over scoreverschillen.

Methodologie
De auteurs stellen een low-rank raamwerk voor dat de latente matrix van taak-bij-model-vaardigheden $\Theta^\star \in \mathbb{R}^{d_t \times d_m}$ modelleert als bij benadering low-rank ($r \ll \min\{d_t, d_m\}$). Deze structuur staat informatiedeling over gerelateerde taken toe (bijv. gedeelde latente vaardigheden zoals redeneren of instructievolgen) terwijl taakspecifieke verschillen behouden blijven.

De methodologie verloopt in drie fasen:

1. Entrywise Schatting (Scoreherstel):

   • Initialisatie: Een convex schatter met kernnorm-straf wordt berekend om een Frobenius-accurate initialisator $\hat{\Theta}_0$ te verkrijgen.
   • Verfijning: Een rij-voor-rij pairwise-logistische verfijningstap wordt toegepast op $\hat{\Theta}_0$. Dit zet de globale Frobenius-accuraatheid om in uniforme entrywise (max-norm) controle. De verfijning lost iteratief pairwise-logistische scorevergelijkingen op voor taak-zijde en model-zijde latent vectoren.
   • Resultaat: Stelling 3.1 stelt vast dat de verfijnde schatter $\hat{\Theta}$ een entrywise fout bereikt van $\|\hat{\Theta} - \Theta^\star\|_\infty \lesssim \sqrt{\bar{d} \text{polylog}(n\bar{d})/n}$, waarbij $\bar{d} = \max(d_t, d_m)$. Deze snelheid maakt exacte top-$K$-herstel mogelijk onder een margeconditie, en breidt principes voor enkele taken uit naar gekoppelde taakspecifieke ranglijsten.

2. Efficiënte Score-Gap Inference:

   • Om inference uit te voeren op rangbeslissingen, construeren de auteurs onbevooroordeelde één-stap schatters voor lineaire contrasten (scoreverschillen) $\psi_\Gamma(\Theta^\star) = \langle \Gamma, \Theta^\star \rangle$.
   • De schatter maakt gebruik van de raakruimte van het low-rank manifold en de beperkte Fisher-informatieoperator om semiparametrische efficiëntie te bereiken.
   • Gecombineerde Inference: Het raamwerk karakteriseert de gecombineerde covariantie van meerdere score-gap-schatters. Stelling 4.1 bewijst dat voor een vaste verzameling contrasten, de schatters gezamenlijk asymptotisch Gaussisch zijn met een covariantiematrix die de semiparametrische efficiëntie-ondergrens bereikt.

3. Gelijktijdige Rangcertificering:

   • Het artikel adresseert het hoogdimensionale regime waarin rangen en top-$K$-lidmaatschap worden bepaald door vele afhankelijke hypothese over scoreverschillen.
   • Calibratie: Met behulp van Gaussische en multiplier-bootstrap benaderingen kalibreert de methode het maximum van gestudentiseerde onbevooroordeelde gap-statistieken.
   • Output: Dit levert gelijktijdige betrouwbaarheidsintervallen op voor taakspecifieke rangen en geldige tests voor top-$K$-lidmaatschap. De output categoriseert modellen in drie groepen: gecertificeerde top-$K$, gecertificeerde non-top-$K$, en statistisch onopgelost (waar waarneemruis een definitieve beslissing verhindert).

Belangrijkste Bijdragen

• Taakspecifieke Top-$K$-Accuraatheid: De auteurs leiden max-norm schattingsgaranties af die zijn toegesneden op taakspecifieke rangschikking, en tonen aan hoe low-rank deling de steekproefefficiëntie verbetert ten opzichte van onafhankelijke BTL-schatting. De theorie karakteriseert rangfout via het aantal modellen nabij de $K$-grens.
• Efficiënte Score-Gap Inference: Zij construeren onbevooroordeelde één-stap schatters voor taakspecifieke scoreverschillen die semiparametrisch efficiënt zijn, en bieden een gecombineerde covariantiekarakterisering voor gecorreleerde ranghypothese.
• Gelijktijdige Rangcertificering: Het artikel introduceert een raamwerk voor gelijktijdige inference over taken en modellen. Door het maximum van gestudentiseerde statistieken te kalibreren, biedt het geldige betrouwbaarheidsintervallen voor rangen en top-$K$-lidmaatschap, en scheidt betrouwbare claims van onopgeloste vergelijkingen.
• Empirische Validatie: Experimenten op synthetische data en het LM Arena-dataset tonen aan dat het low-rank raamwerk strakkere, beter gekalibreerde rangcertificaten produceert en hogere top-$K$-herstelsnelheden bereikt in vergelijking met onafhankelijke per-taak BTL-schatting, met name in regimes met schaarse data.

Resultaten en Betekenis
Het artikel stelt dat low-rank deling de steekproefefficiëntie aanzienlijk verbetert. In simulaties bereikt de gecombineerde schatter lagere Frobenius- en sup-norm fouten en superieure top-$K$-herstel (gemeten via Hamming-afstand) in vergelijking met onafhankelijke per-taak BTL, vooral wanneer het aantal vergelijkingen per taak klein is.

In de LM Arena casestudie (10 taakcategorieën, 30 modellen) presteerde de low-rank methode beter dan per-taak BTL in top-$K$-herstel bij lage subsampling-factoren ($f \le 0.10$). Cruciaal maakt het raamwerk "onzekerheidsbewuste certificering" mogelijk. Bijvoorbeeld, in schaarse regimes waar per-taak BTL het top-$K$-status van een model niet kon certificeren (door het produceren van brede betrouwbaarheidsintervallen), slaagde de low-rank methode erin lidmaatschap te certificeren door gebruik te maken van cross-taak informatie.

De betekenis van dit werk ligt in het bieden van een statistische fundering voor gecertificeerde taakspecifieke leaderboards. Door verder te gaan dan puntsschattingen naar onzekerheidsbewuste rangschikking, helpt het raamwerk overmoedige claims te mitigeren die gebaseerd zijn op schaarse of onbalans voorkeursdata. Het verduidelijkt wanneer ogenschijnlijke leaderboardverschillen statistisch onopgelost zijn, en biedt een rigoureuzer instrument voor modelselectie, inkoop en implementatie in real-world LLM-toepassingen.