📊 statistics

Statistical Methods for Multiple Language Model Comparison on a Shared Evaluation

Dit artikel stelt een verenigd random-effects model voor dat standaard gepaarde statistische methoden uitbreidt om meerdere taalmodellen op gedeelde, geclusterde evaluaties rigoureus te vergelijken, waarbij door middel van simulaties en real-world data wordt aangetoond dat nauwkeurige paarwijze rangschikkingen afhangen van het correct rekening houden met zowel vraag-niveau correlaties als meervoudige vergelijkingen.

Oorspronkelijke auteurs: Juan Francisco Mandujano Reyes

Gepubliceerd 2026-08-25

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Juan Francisco Mandujano Reyes

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

In de snel evoluerende wereld van kunstmatige intelligentie bouwen onderzoekers voortdurend nieuwe computerprogramma's die ontworpen zijn om menselijke taal te begrijpen en te genereren. Om te bepalen welk programma het slimst is, onderwerpen ze deze aan een reeks tests, vergelijkbaar met een gestandaardiseerde toets voor studenten. Deze tests bestaan uit duizenden vragen die uiteenlopen van onderwerpen als geschiedenis en wetenschap tot logica en wiskunde. Jarenlang was de standaardmanier om deze programma's te vergelijken het kijken naar hun gemiddelde scores. Als het ene programma een hoger percentage correcte antwoorden heeft dan het andere, wordt het tot winnaar uitgeroepen. Echter, deze eenvoudige aanpak mist vaak een cruciaal detail: de vragen zelf zijn niet allemaal gelijk. Sommige vragen zijn inherent moeilijker dan andere, en vragen binnen hetzelfde onderwerp, zoals een reeks wiskundeproblemen, hebben de neiging gecorreleerd te zijn. Als twee programma's beide worstelen met dezelfde moeilijke wiskundevragen, zijn hun scores aan elkaar gekoppeld, niet onafhankelijk. Het negeren van deze verbanden kan een programma beter of slechter doen lijken dan het werkelijk is, wat leidt tot verwarrende of onjuiste ranglijsten die het vakgebied leiden.

Een onderzoeker zette zich in om dit probleem op te lossen door een rigoureuzere manier te ontwikkelen om meerdere taalmodellen tegelijkertijd te vergelijken. In plaats van elke vraag als een geïsoleerde gebeurtenis te behandelen, stelde hij een statistisch kader voor dat de structuur van de test zelf erkent. Hij behandelde de verschillende computerprogramma's als de belangrijkste onderwerpen van belang, terwijl hij de vragen en de groepen waartoe de vragen behoren zag als willekeurige variaties die iedereen beïnvloeden. Door een enkel, verenigd statistisch model te gebruiken, konden zij rekening houden met het feit dat dezelfde set vragen voor elk programma werd gebruikt. Deze aanpak stelde hen in staat om de werkelijke vaardigheid van het model te scheiden van de moeilijkheidsgraad van de specifieke vragen en de natuurlijke groepering van die vragen in categorieën zoals leesvaardigheid of vertaling.

De onderzoeker testte zijn methode met behulp van echte gegevens van een belangrijke benchmark genaamd MMLU-Pro, die meer dan 12.000 vragen bevat over 14 verschillende vakgebieden. Hij selecteerde zes populaire taalmodellen van vergelijkbare grootte en liet hen allemaal exact dezelfde 1.497 vragen beantwoorden. Wanneer hij de resultaten analyseerde met zijn nieuwe methode, kwam hij erachter dat de standaardmanier om modellen te vergelijken vaak tot foutieve conclusies leidde. In zijn simulatiestudies toonde hij aan dat wanneer je modellen simpelweg paar voor paar vergelijkt zonder te corrigeren voor het feit dat je veel vergelijkingen tegelijkertijd maakt, je een grote kans hebt om te verklaren dat er een verschil bestaat terwijl het in werkelijkheid slechts willekeurige ruis is. In zijn praktijktest kwam hij erachter dat verschillende claims over welk model beter was dan het andere verdwenen zodra hij de juiste statistische correcties toepaste. Bijvoorbeeld: één model leek een ander met een kleine marge te verslaan, maar nadat er rekening was gehouden met de meervoudige vergelijkingen en de structuur van de vragen, was dat verschil niet langer statistisch significant.

De studie benadrukte ook het belang van hoe vragen gegroepeerd worden. Wanneer vragen geclusterd zijn per onderwerp, zoals een blok wiskundeproblemen, is de prestatie van de modellen op die vragen gecorreleerd. De onderzoeker ontdekte dat het negeren van deze clustering de onzekerheid in de scores met een factor van bijna drie kan onderschatten. Door hun mixed-effects model te gebruiken, dat deze groepen als willekeurige factoren behandelt, konden zij nauwkeurig meten hoeveel van de variatie in scores voortkwam uit de inhoud van het onderwerp versus de werkelijke bekwaamheid van het model. Dit onthulde dat hoewel onderwerpclustering een rol speelt, de primaire drijfveer van de verschillen de modellen zelf waren, maar alleen wanneer de statistische ruis op de juiste wijze werd gecontroleerd.

Uiteindelijk biedt het artikel een duidelijke reeks aanbevelingen voor hoe het vakgebied vooruit moet gaan. De onderzoeker betoogt dat voordat wetenschappers een rangschikking tussen meerdere modellen verklaren, ze eerst een brede test moeten uitvoeren om te zien of er überhaupt verschillen zijn binnen de groep. Als die test een verschil aantoont, moeten ze vervolgens specifieke, gecorrigeerde methoden gebruiken om de modellen twee aan twee te vergelijken, om ervoor te zorgen dat de kans op een vals alarm laag blijft. Hij adviseert ook dat wanneer vragen gegroepeerd zijn per onderwerp, deze groepen in het statistische model moeten worden opgenomen in plaats van te proberen de cijfers handmatig aan te passen. Door deze stappen te volgen, kan de gemeenschap ervoor zorgen dat de ranglijsten waarop zij vertrouwen, werkelijke verbeteringen in kunstmatige intelligentie reflecteren in plaats van artefacten van hoe de gegevens zijn geanalyseerd. Het werk beweert niet elk probleem in evaluatie te hebben opgelost, maar biedt een solide, bewezen fundament voor het maken van eerlijke en nauwkeurige vergelijkingen in een veld waar de belangen groot zijn en de foutmarge klein is.

Technisch Samenvatting: Statistische Methoden voor de Vergelijking van Meerdere Taalmodellen op een Gedeelde Evaluatie

Probleemstelling

Huidige evaluatiepraktijken in Large Language Model (LLM) onderzoek omvatten frequent het gelijktijdig vergelijken van $K > 2$ modellen op een gedeelde set vragen, zoals in leaderboards, ablatie-studies of hyperparameter-sweeps. Hoewel bestaande literatuur (bijv. Miller [7]) rigoureuze statistische kaders biedt voor het vergelijken van exact twee modellen met behulp van gepaarde t-testen en geclusterde standaardfouten, schalen deze instrumenten niet natuurlijk naar meerdere modellen.

De primaire statistische uitdaging ontstaat wanneer onderzoekers alle $K(K-1)/2$ modelparen uitvoeren zonder correctie. Deze aanpak negeert het probleem van meervoudige vergelijkingen (multiple-comparisons problem), wat leidt tot een opgeblazen foutpercentage van valse ontdekkingen (false discovery rates). Bijvoorbeeld, bij $K=4$ modellen en een significantieniveau van $\alpha=0.05$ , overstijgt de kans op ten minste één fout-positieve claim de 25%. Bovendien falen standaard ongepaarde testen omdat ze geen rekening houden met de correlatie tussen modellen die dezelfde vragen beantwoorden, en benaderingen die de hiërarchische structuur van vragen (bijv. clustering per onderwerp of passage) over het hoofd zien, kunnen leiden tot onderschatte standaardfouten.

Methodologie

Het artikel stelt een verenigd random-effects model voor om scores van $K$ modellen op een gedeelde evaluatieset te verwerken, waarbij modellen worden behandeld als fixed effects en vragen (of vraagclusters) als random effects.

1. Het Algemene Model

Voor $K$ modellen die $n$ vragen beantwoorden, kan de score $s_{i,m}$ van model $m$ op vraag $i$ als volgt worden ontleed:
$s_{i,m} = \mu + \alpha_m + \delta_i + \gamma_{i,m}$
Waarbij:

$\alpha_m$ het fixed effect van model $m$ is (de grootheid van belang).
$\delta_i$ een vraag-niveau random effect is dat gedeeld wordt door alle modellen.
$\gamma_{i,m}$ de residuele ruis is.

Deze formulering maakt het mogelijk om de totale som van kwadraten te verdelen in model-, vraag- en residuele componenten.

2. Tweestaps Testprocedure

De auteur adviseert een tweestaps logica om de family-wise error rate (FWER) te beheersen:

Omnibus Test: Fit eerst het model met een one-way repeated-measures ANOVA (of een Linear Mixed Model voor geclusterde data) om de nulhypothese $H_0: \alpha_1 = \dots = \alpha_K = 0$ te testen. Deze enkele test beheerst de FWER.
Post-Hoc Analyse: Ga alleen verder naar paargewijze contrasten als de omnibus test significant is.
- Voor gebalanceerde, niet-geclusterde designs, wordt Tukey's test gebruikt.
- Voor ongebalanceerde of geclusterde designs, pleit het artikel voor Estimated Marginal Means (EMM) met expliciete multipliciteitscorrecties (bijv. Holm of Bonferroni voor exacte garanties, of Tukey-type als benadering).

3. Uitbreiding naar Geclusterde Data

Om gecorreleerde vraaggroepen (bijv. leesbegrip-passages, onderwerp-categorieën) aan te pakken, wordt het model uitgebreid naar een Linear Mixed Model:
$s_{i,c,m} = \mu + \alpha_m + u_c + \delta_{i,c} + \epsilon_{i,c,m}$
Waarbij $u_c$ het random effect van cluster $c$ vertegenwoordigt en $\delta_{i,c}$ het random effect van vraag $i$ genest binnen cluster $c$ is. Deze aanpak schat variantiecomponenten ( $\tau^2$ voor clusters, $\sigma^2_q$ voor vragen) direct, wat de formules van Miller voor geclusterde standaardfouten generaliseert naar elke $K$ .

Belangrijkste Bijdragen

Verenigd Kader: Het artikel stelt vast dat Miller's gepaarde en geclusterde estimators voor $K=2$ speciale gevallen zijn van een algemeen random-effects model. Dit kader breidt deze resultaten uit naar elke $K > 2$ en gaat om met ongebalanceerde, geclusterde designs zonder dat er voor elk scenario nieuwe afleidingen nodig zijn.
Herstel van Bestaande Estimators: De auteur demonstreert dat het fitten van dit model via ANOVA of Linear Mixed Models de exacte statistische eigenschappen van gepaarde t-testen en geclusterde standaardfouten herstelt wanneer $K=2$ .
Correctie voor Multipliciteit en Clustering: Het werk benadrukt dat het negeren van meervoudige vergelijkingen leidt tot instabiele ranglijsten en dat het negeren van vraag-clustering de standaardfouten onderschat (met factoren 1.4–2.7× in simulaties).
Praktische Implementatie: Het artikel biedt concrete R-code (gebruikmakend van lme4 en lmerTest) en een reproduceerbare workflow voor onderzoekers om deze correcties te implementeren.

Empirische Resultaten

De methodologie werd gevalideerd door middel van een simulatie en een real-world toepassing.

Simulatiestudie

Het uitbreiden van Miller's "Galleon/Dreadnought" voorbeeld naar vier modellen ( $K=4$ ) met 400 gedeelde vragen:

False Discovery Rate: Ongecorrigeerde paargewijze z-testen leverden een family-wise error rate op van $\approx 0.26$ bij $\alpha=0.05$ , terwijl de omnibus repeated-measures ANOVA de rate op $\approx 0.05$ hield.
Impact van Clustering: Het negeren van clustering wanneer deze aanwezig is, onderschatte de standaardfouten met een factor 1.4–2.7×.

Real-Data Toepassing (MMLU-Pro)

Het framework werd toegepast op zes ~7B parameter modellen die geëvalueerd werden op een gestratificeerde subsample van 1.497 MMLU-Pro vragen over 14 onderwerp-clusters.

Impact van Multipliciteit: Terwijl ongecorrigeerde gepaarde testen 5 significante paargewijze verschillen identificeerden, overleefden er slechts 3 de Bonferroni of Holm correctie. Specifiek bleken claims dat Mistral-7B-v0.1 beter presteerde dan Qwen1.5-7B-Chat en dat Yi-6B-Chat Mistral-7B-Instruct-v0.1 versloeg, ononderscheidbaar van ruis zodra er rekening werd gehouden met multipliciteit.
Impact van Blocking: De correct geblokte repeated-measures ANOVA ( $F=4.45, p=4.8 \times 10^{-4}$ ) vertoonde aanzienlijk hogere power vergeleken met een one-way ANOVA die de identiteit van de vragen negeerde ( $F=2.90, p=0.013$ ).
Variantiecomponenten: Het mixed-effects model schatte dat de clustering per onderwerp-categorie een bescheiden maar reëel deel van de residuele variantie verklaarde ( $\hat{\tau}^2 \approx 0.011$ ), wat informatie gaf over de beslissing om clustering-correcties voor specifieke benchmarks op te nemen.

Betekenis en Aanbevelingen

Het artikel betoogt dat rangschikkingsclaims in LLM-evaluaties fragiel zijn en sterk afhangen van de gebruikte statistische procedure. De auteur concludeert dat een enkel random-effects model technieken voor het vergelijken van twee modellen effectief generaliseert naar situaties met meerdere modellen, waarbij correlatiestructuren expliciet worden gemodelleerd en foutenratio's worden beheerst.

Kernaanbevelingen voor onderzoekers:

Eerst Omnibus: Voer altijd eerst een omnibus repeated-measures ANOVA (of Friedman-test) uit voordat u beweringen doet over paargewijze verschillen.
Pas voor Multipliciteit: Volg significante omnibus testen op met multipliciteit-gecorrigeerde post-hoc procedures (Holm/Bonferroni voor exacte garanties in complexe designs).
Modelleer Clustering: Gebruik mixed-effects modellen met random effects voor clusters en vragen in plaats van handmatig geclusterde standaardfouten af te leiden.
Transparantie: Rapporteer zowel de standaard als de correct geblokte teststatistieken om de impact van de evaluatiestructuur te illustreren.
Temperatuur Stabiliteit: Pas de sampling temperatuur niet aan om variantie te verminderen; het model gaat uit van schatting bij de deployment temperatuur.

Het artikel benadrukt dat deze methoden fundamenteel kunnen veranderen welke rangschikkingsclaims een lezer moet geloven, waarmee het veld wordt bewogen naar meer rigoureuze en reproduceerbare evaluatiestandaarden.