Pre-Registering the Detectable Effect: A Paired-MDE Budget for 4-bit Quantization Benchmarks, with a Pilot Audit

Technische Samenvatting: Pre-registratie van het Detecteerbaar Effect in 4-bit Quantisatie-Benchmarks

Probleemstelling
Huidige praktijken bij het evalueren van post-training quantisatie (specifiek 4-bit NF4) voor Large Language Models (LLMs) vertrouwen vaak op het rapporteren van enkele nauwkeurigheidsgetallen per model-benchmark-cel. Deze benadering negeert een fundamentele statistische vraag: wat is het kleinste quantisatie-effect dat het evaluatieprotocol betrouwbaar kan detecteren?

Standaardbenchmarks gebruiken vaak kleine steekproeven (bijv. $n=100$ items) die zijn opgesplitst in niet-overlappende subsets. De waargenomen variantie over deze splitsingen wordt frequent geïnterpreteerd als "benchmark-onbetrouwbaarheid" of een falen van de quantisatiemethode. De auteurs betogen echter dat een groot deel van deze variantie simpelweg binomiale steekproefruis is die inherent is aan kleine $n$, en geen eigenschap van het model of het quantisatieschema. Zonder een ex-ante garantie op de Minimum Detecteerbare Effectgrootte (MDE) kunnen beweringen dat een quantisatiemethode prestaties "behoudt" ondergevoerd zijn, waarbij een klein populatie-effect wordt verward met het onvermogen om dit te detecteren.

Methodologie
Het artikel stelt een raamwerk voor om benchmark-betrouwbaarheid om te zetten in een voorregistratie-begrotingslijn met behulp van een conservatieve gepaarde-MDE-grens.

1. Theoretische Afleiding (Gepaarde-MDE-grens):
   De auteurs passen klassieke berekeningen voor gepaarde binomiale steekproefgroottes (Miettinen, 1968) toe op de context van FP16 versus NF4-vergelijkingen. Zij definiëren:

   • $m$: Het aantal gepaarde items (ofwel $n$ voor een enkele split of $kn$ voor een aggregaat van $k$ splits).
   • $\rho_d$: De per-voorbeeld ontkenningsgraad ($Pr(D_i \neq 0)$), waarbij $D_i$ het verschil in juistheid is tussen FP16 en NF4 op item $i$.
   • $\delta$: De populatie-effectgrootte ($|E[D_i]|$).

   Zij leiden een conservatieve bovengrens af voor de MDE ($\delta^*$) op significantieniveau $\alpha$ en power $1-\beta$:
   $$\delta^*(m, \rho_d) \leq (z_{1-\alpha/2} + z_{1-\beta}) \sqrt{\frac{\rho_d}{m}}$$
   Deze grens gaat uit van een worst-case ontkenningsgraad $\rho_d$ (vooraf geregistreerd of conservatief begrensd) en behandelt de variantie als $\rho_d/m$. Het fungeert als een "begrotings"-lijn: effecten kleiner dan $\delta^*$ zijn niet gegarandeerd detecteerbaar door het ontwerp, ongeacht het specifieke model.

2. Empirische Pilot-Audit:
   De auteurs voeren een pilot-audit uit op een $4 \times 4$ rooster:

   • Modellen: OPT-2.7B, Pythia-2.8B, Llama-2-7B, Mistral-7B.
   • Benchmarks: MMLU, ARC-Easy, WinoGrande, HellaSwag.
   • Ontwerp: $k=5$ niet-overlappende splits van elk $n=100$ items ($m=500$ geaggregeerd).
   • Promptgevoeligheid: Een parallelle studie op MMLU met drie verschillende prompt-sjablonen (elk $n=50$) om prompt-geïnduceerde variantie te meten.

3. Diagnostische Metrieken:

   • Binomiale Referentie: Het vergelijken van waargenomen standaardafwijkingen over splits ($\hat{\sigma}_{split}$) met de theoretische binomiale referentie $\sqrt{\hat{p}(1-\hat{p})/n}$.
   • Quantisatie-Betrouwbaarheidsindex (QRI): Een signaal-ruis-heuristiek gedefinieerd als $|\hat{\Delta}| / \hat{\sigma}_{split}$ (en een gecombineerde variant inclusief promptvariantie) om cellen te markeren waar ruis het signaal domineert.

Belangrijkste Resultaten

• Dominantie van Steekproefruis: Op de $n=100$ steekproeven vielen 25 van de 32 waargenomen standaardafwijkingen over splits binnen $\pm 1,5$ procentpunten (pp) van de binomiale referentie. Dit suggereert dat een groot deel van de gerapporteerde "onbetrouwbaarheid" simpelweg binomiale ruis van kleine steekproeven is, en geen quantisatiespecifieke instabiliteit.
• Detecteergrenzen:
  • Bij een planningsontkenningsgraad van $\rho_d = 0,10$ is de geaggregeerde MDE ($m=500$) $\approx 4,0$ pp.
  • Bij $\rho_d = 0,05$ verscherpt de MDE tot $\approx 2,8$ pp.
  • Observatie: Alle waargenomen NF4–FP16-nauwkeurigheidsdeltas voor de 7B-modellen (variërend van -0,4 tot -0,8 pp) vielen onder beide MDE-drempels.
  • Grensgeval: De enige cel die de grens benaderde, was OPT-2.7B op WinoGrande ($|\Delta| = 3,2$ pp). Dit effect ligt onder de MDE bij $\rho_d=0,10$ maar erboven bij $\rho_d=0,05$, wat illustreert dat de detecteerbaarheid van dit specifieke resultaat volledig afhankelijk is van de ongemeten planningswaarde van $\rho_d$.
• Promptvariantie als Verwarrende Factor: Op MMLU veroorzaakten variaties in prompt-sjablonen nauwkeurigheidszwaaibewegingen van 2–10 pp. Dit bereik voldoet aan of overschrijdt de grootste waargenomen quantisatiedelta (3,2 pp). Bijgevolg absorbeert een quantisatie-audit die het prompt-sjabloon niet vastlegt, sjabloonvariantie in zijn ruisvloer, wat effecten kan maskeren of kan fabriceren.

Bijdragen

1. Conservatieve Gepaarde MDE-grens: Een gesloten-vorm ongelijkheid (Vergelijking 2) die benchmark-ontwerpers in staat stelt een detecteerbaarheidsbegroting voor te registreren op basis van steekproefgrootte en een voorafgaande ontkenningsgraad.
2. Empirische Audit & Binomiale Referentie: Een pilotstudie die aantoont dat bij standaard steekproefgroottes ($n=100$) variantie over splits grotendeels wordt verklaard door binomiale steekproefneming en niet door model-specifieke ruis.
3. Quantisatie-Betrouwbaarheidsindex (QRI): Een beschrijvende signaal-ruis-metriek om cellen te identificeren waar evaluatieruis het quantisatiesignaal domineert.
4. Pre-registratiesjabloon: Een vijfregelig sjabloon voor onderzoekers om zich vóór het uitvoeren van benchmarks vast te leggen op MDE-doelen, ontkenningspriors en gepaarde statistieken.

Betekenis en Claims
Het artikel claimt niet dat 4-bit quantisatie universeel perfect is of dat specifieke modellen falen. In plaats daarvan betogen zij dat benchmarkvergelijkingen tussen gequantiseerde en full-precision modellen routinematig ondergevoerd zijn.

De auteurs stellen dat door de MDE expliciet te maken, de gemeenschap "kleine-effect"-narratieven kan herformuleren. Als een waargenomen delta onder de vooraf geregistreerde MDE ligt, is de juiste conclusie niet dat het effect "klein" of "verwaarloosbaar" is, maar dat het "niet power-onderscheidbaar is bij deze steekproefgrootte."

De studie benadrukt twee kritieke voorwaarden voor zinvolle precisievergelijkingen:

1. Steekproefgrootte: Huidige steekproefgroottes ($n=100$) zijn onvoldoende om effecten onder het procentpunt op te lossen zonder extreem lage ontkenningsgraden aan te nemen.
2. Promptcontrole: Prompt-sjabloonvariantie moet worden vastgezet of doorlopen, aangezien deze de grootte van het quantisatie-effect zelf kan overtreffen.

Het werk dient als methodologische interventie en dringt er bij het veld op aan ex-ante garanties te omarmen (vergelijkbaar met Begrotingen voor Klinische Trials) om onderscheid te maken tussen een echt gebrek aan quantisatie-impact en een falen van het evaluatieprotocol om deze te detecteren.