Resolution Diagnostics for Paired LLM Evaluation

Technische Samenvatting: Resolutiediagnostiek voor Gekoppelde LLM-evaluatie

Probleemstelling
Moderne leaderboards voor Large Language Models (LLM) rangschikken modellen vaak op basis van verschillen in procentpunten die zijn afgeleid van benchmarks met gedeelde prompts. Hoewel een kopieerbaar verschil (bijvoorbeeld 78,3% versus 77,5%) productbeslissingen en verhalen stuurt, hangt de statistische bewering dat één model betekenisvol beter is dan een ander af van of de benchmarkgrootte en de datastructuur voldoende resolutie bieden om het verschil te onderscheiden van steekproeffouten.

Het artikel identificeert een kritieke lacune in huidige evaluatiepraktijken: veel weergegeven paarsgewijze rangschikkingen op publieke leaderboards voldoen niet aan de conventionele resolutiedoelen voor gepaarde tests (specifiek $\alpha=0,05$ en power $1-\beta=0,8$). De auteurs betogen dat standaard power-berekenaars en evaluatieprotocollen vaak het gepaarde karakter van benchmarks met gedeelde prompts negeren, wat leidt tot onderpowerde vergelijkingen. Specifiek benadrukt het artikel dat:

1. Op de Open LLM Leaderboard (OLL) v1, 11 van de 40 paarsgewijze vergelijkingen onopgelost zijn.
2. Op de top-10 van MMLU-Pro, 4 van de 9 paren met opeenvolgende rangen onopgelost zijn bij de werkelijke benchmarkgrootte ($N=12.032$).
3. Veelvoorkomende "shortcuts" voor het berekenen van de benodigde steekproefomvang in gepaarde situaties (bijvoorbeeld het toepassen van een $(1-\rho)$-correctie op de ongepaarde Cohen's $h$) de benodigde steekproefomvang systematisch onderschatten met een factor van ongeveer twee in regimes van nauwe vergelijkingen.

Methodologie
De auteurs kaderen de gepaarde LLM-evaluatie in als een probleem van hypothetetoetsing en leiden een resolutie-rapportagekader af door het omkeren van toetsen met niveau-$\alpha$ en power-$(1-\beta)$.

• Resolutieverhouding ($q$): De primaire diagnose is gedefinieerd als $q = N / N^\star$, waarbij $N$ de werkelijke benchmarkgrootte is en $N^\star$ de benodigde steekproefomvang om een waargenomen verschil $\hat{\delta}$ met de doel-power te detecteren. Een verschil wordt als "opgelost" beschouwd als $q \ge 1$.
• Gepaarde Variantie: Voor binaire nauwkeurigheid wordt de benodigde steekproefomvang $N^\star$ afgeleid met de McNemar-Connor-formule, die rekening houdt met de variantie van het gepaarde verschil $\sigma_D^2 = p_A q_A + p_B q_B - 2\rho\sqrt{p_A q_A p_B q_B}$. Dit staat in contrast met ongepaarde formules die de vereiste $N$ opblazen door de covariantie $\rho$ te negeren.
• Het Shortcut-Lemma (Lemma 1): Het artikel biedt een scherpe expansie voor kleine effecten die het falen van de veelgebruikte "ongepaarde Cohen-$h$ plus $(1-\rho)$"-shortcut karakteriseert. De auteurs bewijzen dat voor kleine effectgroottes $\delta$, de verhouding tussen de schatting via de shortcut ($n_h$) en de correcte gepaarde schatting ($N^\star$) convergeert naar $1/2$ met een expliciete constante van de tweede orde $C(p, \rho)$. Dit verklaart waarom tools die $(1-\rho)$ toepassen op een ongepaarde output per arm, $N^\star$ systematisch onderschatten met ongeveer de helft in regimes van nauwe vergelijkingen.
• Extensies: Het kader integreert:
  • Multiplicitiecorrectie: Aanpassing voor family-wise error rates (Bonferroni/Holm) of false discovery rates (BH) bij het evalueren van meerdere paren.
  • Clustergevoeligheid: Schalen van $N^\star$ met een design effect ($DE$) om rekening te houden met intra-cluster correlatie (bijvoorbeeld onderwerpcategorieën in MMLU-Pro).
  • Altijd-geldige toetsing: Vervanging van vaste-$N$ drempels door tijd-uniforme grenzen afgeleid van e-processen om continue leaderboard-updates te hanteren.

Belangrijkste Bijdragen

1. Theoretische Karakterisering van een Misbruikpatroon: Het artikel levert een nieuw lemma (Lemma 1) met een expliciete constante die de afwijking van de "ongepaarde + $(1-\rho)$"-shortcut van de correcte gepaarde steekproefomvang kwantificeert. Het toont aan dat deze shortcut de benodigde steekproefomvang onderschat met een factor twee in het regime van nauwe vergelijkingen, een patroon dat stilzwijgend wordt overgenomen door drie van de vijf gangbare power-berekenaars (Cohen 1988, G*Power, R pwr).
2. Empirische Resolutiediagnostiek: De auteurs passen hun kader toe op echte leaderboard-data (OLL v1 en MMLU-Pro). Ze tonen aan dat een significant deel van de weergegeven verschillen tussen opeenvolgende rangen onopgelost is bij standaard power-doelen.
   • Op OLL v1 zijn 11/40 paren onopgelost.
   • Op MMLU-Pro stijgt het aantal onopgeloste paren met opeenvolgende rangen van 4/9 (onder IID-aannames) naar 6/9 wanneer rekening wordt gehouden met echte clustering op onderwerpniveau.
3. Rapportageprotocol en Gereedschap: Het artikel introduceert een verpakt protocol (llm-power) dat resolutiediagnostiek blootlegt als een één-regel-aanroep, waardoor benchmarkontwerpers het minimum detecteerbaar effect (MDE) en de resolutieverhouding $q$ kunnen rapporteren naast de kopieerbare verschillen.

Resultaten

• Misbruik van Berekenaars: In een uitgewerkt voorbeeld met parameters $(p_A, p_B, \rho) = (0,65, 0,60, 0,30)$ gaven drie populaire tools een vereiste steekproefomvang van $\approx 515$ terug, terwijl de correcte gepaarde $N^\star$ 1.028 bedroeg. De tools pasten de $(1-\rho)$-correctie toe op de variantie van een enkele arm in plaats van op de variantie van het gepaarde verschil.
• Real-world Impact:
  • OLL v1: 28% van de paarsgewijze vergelijkingen (11/40) faalde voor het resolutiedoel. Alle paren met verschillen $\le 2\%$ waren onopgelost.
  • MMLU-Pro: Onder de aanname van onafhankelijke items waren 4/9 paren met opeenvolgende rangen onopgelost. Bij toepassing van clustercorrectie gebaseerd op de 14 onderwerpcategorieën, steeg het aantal onopgeloste paren naar 6/9. Twee paren (Rang 4 versus 5 en Rang 5 versus 6) schoven door van "comfortabel opgelost" naar het vereisen van steekproefomvangs $>3N$.
  • Altijd-geldige toetsing: Het toepassen van tijd-uniforme drempels voor continue monitoring verstrakte de uitspraken verder, waardoor 5/9 MMLU-Pro paren onopgelost werden (één extra paar in vergelijking met vaste-$N$-tests).
• Kalibratie: De voorschriften voor $N^\star$ van het kader werden gevalideerd via bootstrap-substeekproeven op echte data, wat bevestigde dat de afgeleide steekproefomvangs de doel-power ($\approx 0,80$) empirisch bereiken.

Betekenis en Beweringen
Het artikel beweert dat de bewering dat een model "beter" is dan een ander een statistische bewering is over het verschil, niet over het verschil zelf. Het belang van dit werk ligt in het verschuiven van de focus van het simpelweg rapporteren van een verschil en een p-waarde naar het rapporteren van de resolutie van de benchmark.

De auteurs betogen dat veel huidige leaderboard-beweringen niet worden ondersteund door de statistische power van de data, met name in het "regime van nauwe vergelijkingen" waar opeenvolgende modellen worden gerangschikt. Door de onderschatting met een factor twee in gangbare tools bloot te leggen en aan te tonen dat clustering en multiplicitie de resolutie verder verslechteren, biedt het artikel een diagnostisch kader om te voorkomen dat men tot te zelfverzekerde conclusies komt. Het werk beweert niet dat de modellen gelijk zijn, maar wel dat de huidige benchmarkgroottes onvoldoende zijn om de waargenomen verschillen te onderscheiden van ruis onder strenge statistische standaarden. Het artikel concludeert dat een benchmark hoge constructvaliditeit kan hebben en toch te klein kan zijn voor de specifieke hypothetetoets bij de hand, wat een nieuwe rapportagestandaard voor LLM-evaluaties noodzakelijk maakt.