📊 statistics

Measuring all the noises of LLM Evals

Dit paper introduceert een methode om drie soorten ruis in LLM-evaluaties te meten en stelt een 'all-pairs paired' analyse voor om de statistische power te vergroten en betrouwbare empirische beslissingen te faciliteren.

Oorspronkelijke auteurs: Sida Wang

Gepubliceerd 2026-03-31

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Sida Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een groot toernooi organiseert om te zien welke van de twee nieuwe robots (LLM's) het slimst is. Je geeft ze een reeks vragen, zoals "Hoe los je dit wiskundeprobleem op?" of "Schrijf een stukje code".

In de wereld van AI-testen is er echter een groot probleem: ruis. Het is alsof je probeert een fluisterend gesprek te horen in een drukke fabriekshal. Soms is het antwoord van de robot niet slecht omdat hij dom is, maar gewoon omdat hij op dat moment een beetje "verward" was, of omdat je net een heel moeilijk vraagstuk had gekozen.

Deze paper, geschreven door Sida I. Wang van Meta, is als het ware een geluidstechnicus die komt zeggen: "Laten we eerst die fabrieksruis weghalen, zodat we echt kunnen horen wie er wint."

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. De drie soorten "ruis" (Het geluid in de fabriek)

De auteur zegt dat er drie soorten ruis zijn die je moet onderscheiden:

Voorspellingsruis (Prediction Noise): De "Slaapige Robot".
Stel je voor dat je dezelfde vraag aan een robot stelt, maar elke keer als hij antwoordt, is hij net een beetje anders gestemd. Soms is hij superconcentrerd, soms is hij een beetje slaperig. Zelfs op dezelfde vraag geeft hij soms een goed antwoord en soms een fout antwoord. Dit is de ruis die komt door het feit dat de robot zelf niet 100% consistent is.
- De oplossing: Vraag het hem 100 keer en neem het gemiddelde. Dan wordt de "slaperigheid" gemiddeld weg en zie je zijn echte niveau.
Gegevensruis (Data Noise): De "Moeilijke Vragen".
Stel je voor dat je de robots een examen geeft. Als je toevallig 10 vragen krijgt die allemaal heel makkelijk zijn, doet iedereen het goed. Als je 10 vragen krijgt die onmogelijk zijn, doet iedereen het slecht. De ruis zit hier in de keuze van de vragen. Het is niet de robot die verandert, maar de "test" zelf.
- Het probleem: Je kunt dit niet wegpoetsen door de robot vaker te laten antwoorden. Je hebt gewoon een eerlijker set vragen nodig.
Totale Ruis:
Dit is gewoon de som van beide. In de praktijk is het vaak zo dat de "slaperige robot" (voorspellingsruis) veel meer ruis veroorzaakt dan de "moeilijke vragen" (gegevensruis).

2. De slimme truc: De "Paarsgewijze" Vergelijking

Vroeger keken mensen naar een lijst met scores: "Robot A heeft 80%, Robot B heeft 82%. Wie wint?"
Dit is als kijken naar twee lopers op een lange baan. Je ziet dat B iets voorloopt, maar misschien liep B op een makkelijker stukje weg, of had A net een struikelbeweging.

De paper stelt een nieuwe methode voor: De "Paarsgewijze" methode (All-pairs paired method).

De Analogie: In plaats van te kijken naar wie het snelste is op de hele baan, kijk je naar hoe ze het doen op elk individueel stukje van de baan.
Als Robot A en Robot B beide op vraag 1 falen, en op vraag 2 slagen, dan "wissen" ze elkaars fouten tegen elkaar weg. Je kijkt niet naar hun absolute score, maar naar het verschil op elke vraag.
Dit is alsof je twee vrienden laat racen op exact dezelfde route, op exact hetzelfde moment. Als de ene vriend 2 seconden sneller is, dan is dat echt omdat hij sneller is, niet omdat de weg voor hem makkelijker was.

3. De Grote Ontdekkingen

De auteur heeft miljoenen vragen en antwoorden geanalyseerd en twee belangrijke dingen ontdekt:

De ruis is voorspelbaar:
Het blijkt dat voor elk type test (bijvoorbeeld wiskunde of coderen) de hoeveelheid ruis precies samenhangt met hoe goed de robots zijn. Als je weet dat een robot 60% goed doet, kun je precies berekenen hoeveel "ruis" er in zijn score zit. Je hoeft niet elke keer een ingewikkeld experiment te doen om te weten of een verschil significant is. Het is als een thermometer die altijd hetzelfde afleest bij dezelfde temperatuur.
De "Slaperige Robot" is vaak het grootste probleem:
In de meeste gevallen is de ruis die komt doordat de robot inconsistent is (voorspellingsruis) veel groter dan de ruis van de vragenkeuze.
- Wat betekent dit? Als je de robots gewoon 10 keer dezelfde vraag laat beantwoorden en het gemiddelde neemt, verdwijnt de ruis bijna volledig! Je kunt dan veel kleinere verschillen tussen robots detecteren. Het is alsof je van een wazige foto naar een scherpe foto gaat.

4. Waarom is dit belangrijk?

Vroeger dachten mensen: "Oh, Robot A is 1% beter dan Robot B, maar dat is misschien toeval."
Met deze nieuwe methode kunnen we zeggen: "Nee, dat is geen toeval. Omdat we weten hoeveel ruis er normaal is, en omdat we de 'slaperigheid' van de robot hebben weggepoetst door te middelen, is die 1% echt een verbetering."

Kortom:
Deze paper geeft ons een ruisfilter. Het zegt ons dat we niet hoeven te twijfelen aan kleine verschillen in AI-tests als we de juiste statistische methoden gebruiken. Door te kijken naar hoe robots op dezelfde vragen reageren en door hun antwoorden te middelen, krijgen we een kristalhelder beeld van wie er echt slimmer is, zonder dat we duizenden extra vragen hoeven te stellen.

Het is alsof je eindelijk de muziek van de radio kunt horen, zonder dat de statische ruis je in de oren klinkt.

1. Het Probleem

Bij het evalueren van Large Language Models (LLMs) is het onderscheid tussen signaal (echte prestatieverbeteringen) en ruis (statistische variabiliteit) cruciaal. Bestaande statistische methoden worden vaak onjuist toegepast op LLM-evaluaties, wat leidt tot misleidende conclusies en lage statistische power.

De auteur identificeert drie specifieke bronnen van ruis die vaak worden verward of genegeerd:

Voorspellingsruis (Prediction Noise): De variatie in antwoorden die een model geeft op dezelfde vraag, veroorzaakt door stochastische sampling (bijv. verschillende random seeds of temperaturen).
Data-ruis (Data Noise): De variatie die ontstaat door het gebruik van een eindige steekproef van vragen uit een grotere populatie. Als vragen verschillende moeilijkheidsgraden hebben, zal de gemiddelde score variëren afhankelijk van welke vragen er zijn geselecteerd.
Totale ruis (Total Noise): De som van beide, volgens de wet van totale variantie.

Een veelgemaakte fout is het negeren van voorspellingsruis (die vaak dominant is) of het gebruik van ongepaarde tests (unpaired tests) in plaats van gepaarde tests, wat de statistische power drastisch vermindert.

2. Methodologie

De paper introduceert een gestructureerde aanpak om deze ruiscomponenten te definiëren, te meten en te analyseren.

Wet van Totale Variantie: De auteurs formaliseren de totale variantie als:
$Var_{x,\epsilon}[A] = Var_x[E_\epsilon[A]] + E_x[Var_\epsilon[A]]$
Waarbij $Var_x[E_\epsilon[A]]$ de data-variantie is (variabiliteit tussen vragen) en $E_x[Var_\epsilon[A]]$ de voorspellingsvariantie is (variabiliteit binnen een vraag).
All-Pairs Paired Methode: In plaats van modellen te vergelijken met een vaste baseline of ongepaarde tests te gebruiken, past de methode een gepaarde analyse toe op alle paren van modellen.
- Voor elk paar modellen $A$ en $B$ wordt de variantie van het verschil $Var[A - B]$ berekend.
- Omdat modellen op vergelijkbare vragen vaak vergelijkbaar presteren, reduceert gepaarde analyse de data-ruis aanzienlijk.
- De methode schat de componenten (data, voorspelling, totaal) op basis van miljoenen vraag-niveau voorspellingen over diverse evals (zoals SWEbench, MATH500, HumanEval).
Statistische Validatie: De methoden worden gevalideerd tegen gevestigde technieken zoals Bootstrap en de Sign-test. De auteurs tonen aan dat hun schatters onder dezelfde voorwaarden tot dezelfde resultaten leiden, maar dat hun aanpak specifiek is ontworpen om de verschillende ruiscomponenten te ontrafelen.
Beta-theorie: De auteurs stellen een theoretisch model voor waarbij de verwachte nauwkeurigheid per vraag volgt uit een Beta-verdeling $Beta(p, 1-p)$, waarbij $p$ de gemiddelde nauwkeurigheid van het model is. Dit model voorspelt de totale ruis zeer nauwkeurig.

3. Belangrijkste Bijdragen

Definitie en Meting van Ruis: Het artikel biedt de eerste duidelijke definitie en empirische meting van voorspellingsruis, data-ruis en totale ruis voor LLM-evals.
All-Pairs Paired Analyse: Een nieuwe aanpak die gepaarde tests toepast op alle modelparen, waardoor inzichtelijk wordt hoe ruis zich verhoudt tot prestaties.
Praktische Richtlijnen: Het biedt een "rule of thumb" voor onderzoekers om de statistische significantie van resultaten in te schatten zonder complexe, op maat gemaakte tests.
Open Data: De auteurs publiceren een interactieve dataset (all-the-noises.github.io) met miljoenen datapunten om de bevindingen te verifiëren.

4. Belangrijkste Resultaten

De analyse van miljoenen voorspellingen leidt tot twee fundamentele bevindingen:

Voorspellingsruis > Data-ruis: In de meeste LLM-evals (bij metingen bij standaard temperaturen) is de voorspellingsruis (variabiliteit binnen een vraag) groter dan de data-ruis (variabiliteit tussen vragen).
- Gevolg: Het middelen van meerdere antwoorden per vraag (averaging) kan de totale ruis drastisch verlagen en de statistische power enorm verhogen. Op datasets zoals MATH500 is de voorspellingsruis ongeveer twee keer zo groot als de data-ruis.
Voorspelbare Totale Ruis: De totale ruis van een evaluatie is zeer voorspelbaar en volgt een patroon dat overeenkomt met de theoretische voorspelling van de Beta-verdeling gebaseerd op de nauwkeurigheid ( $p$ $p$ ).
- Formule: $Var[A - B] \approx p(1-p)$ .
- Dit betekent dat onderzoekers de standaardfout (SE) van een evaluatie kunnen schatten puur op basis van de gemiddelde score, zonder extra experimenten.

Voorbeeld (HumanEval):
Een ongepaarde test vereist een verschil van ~12% om significant te zijn ( $p < 0.05$ ). Door gepaarde analyse en middelen (averaging) kan dit verschil worden teruggebracht tot 2-4%. Dit maakt het detecteren van kleine, maar echte verbeteringen mogelijk.

5. Betekenis en Impact

De paper heeft grote implicaties voor de LLM-research community:

Betere Experimenteel Ontwerp: Onderzoekers moeten stoppen met het negeren van voorspellingsruis. Het gebruik van gepaarde tests en het middelen van meerdere samples per vraag is essentieel om de "statistische power" te maximaliseren.
Validatie van Trainingscurves: Veel trainingscurves zijn misleidend omdat ze alleen voorspellingsruis tonen (door op dezelfde vragen te testen) en data-ruis negeren. Als voorspellingsruis dominant is, zijn deze curves echter wel geldig voor het detecteren van kleine verbeteringen.
Betrouwbare Leaderboards: Bestaande leaderboards gebruiken vaak te ruwe statistieken (ongepaarde CI's). De paper pleit ervoor dat leaderboard-beheerders de "all-pairs paired" methode gebruiken om betrouwbare foutmarges (error bars) te genereren.
Kostenefficiëntie: Het verminderen van ruis door middelen is vaak goedkoper dan het trainen van grotere modellen, omdat het de detectie van kleine effecten mogelijk maakt zonder extra compute voor training.

Conclusie:
Door de ruiscomponenten expliciet te meten en te scheiden, kunnen onderzoekers empirische beslissingen nemen met meer zekerheid. De paper levert een bewijs dat de ruis in LLM-evals systematisch, voorspelbaar en beheersbaar is, mits de juiste statistische methoden (gepaarde analyse en middelen) worden toegepast.