Technische Samenvatting: MINCE – Het verkleinen van LLM-evaluatie-datasets via Few-Model Monte Carlo Kalibratie

Probleemstelling

De rigoureuze evaluatie van Large Language Models (LLM's) over talrijke varianten (bijv. gekwantiseerd, gefine-tuned of architectuur-specifiek) vereist het herhaaldelijk draaien van grootschalige benchmarks. Dit proces creëert een significante bottleneck, met name op edge-hardware zoals NPU's waar de inferentie-throughput orde van grootte lager is dan op datacenter-GPU's. Volledige evaluaties kunnen tientallen uren per model duren, wat snelle iteratie belemmert.

Bestaande methoden voor het verminderen van evaluatiekosten door middel van benchmark-subsetting — zoals die gebaseerd op Item Response Theory (IRT), genetische algoritmen, sparse optimalisatie of surrogaatmodellen — leunen vaak op twee onpraktische vereisten:

1. Grote Kalibratiepools: Methoden zoals tinyBenchmarks vereisen honderden of duizenden vooraf geëvalueerde modellen om statistische modellen te fitten of items te selecteren.
2. Geleerde Componenten: Veel benaderingen vereisen geleerde predictielagen of gespecialiseerde item-selectors die getraind moeten worden op specifieke datadistributies.

Voor nieuwe benchmarks of scenario's waar grote kalibratiepools niet bestaan, is het samenstellen van dergelijke data onpraktisch. Het artikel stelt de vraag: Kunnen benchmark-subsets betrouwbaar worden bepaald vanuit een klein aantal kalibratiemodellen zonder geleerde item-selectie of predictielagen?

Methodologie: MINCE

De auteurs stellen MINCE voor (Monte Carlo Informed N-Csizing for Efficient Evaluation), een methode die benchmark-subsetting herformuleert van "welke items te selecteren" naar "hoeveel items te selecteren". De kernhypothese is dat als een subset voldoende items bevat om scores dicht bij de volledige benchmark-scores te houden, de specifieke identiteit van die items er minder toe doet.

De MINCE-pipeline werkt in twee stadia:

1. Monte Carlo Sizing (Bepalen van $n^*$)

Gegeven per-item evaluatielogs van een kleine set kalibratiemodellen ($K$ modellen), gebruikt MINCE Monte Carlo-simulatie om de minimale subsetgrootte ($n^*$) te bepalen die vereist is om de nauwkeurigheidsdrift te begrenzen.

• Definitie van Drift: Nauwkeurigheidsdrift $\delta$ is het absolute verschil tussen de subset-nauwkeurigheid en de volledige benchmark-nauwkeurigheid voor een gegeven model.
• Simulatieproces: Het algoritme voert een sweep uit over kandidaat-subsetgroottes ($n_t$). Voor elke grootte worden $R=10.000$ willekeurige subsets getrokken zonder teruglegging.
• Worst-Case Schatting: Voor elke subset wordt de drift voor elk (model, metriek)-paar berekend en de maximale drift wordt behouden. Vervolgens wordt het 95e percentiel ($P_{95}$) van deze worst-case driften over alle willekeurige trekkingen berekend.
• Stopcriterium: Het algoritme identificeert het punt van verminderde meeropbrengst. $n^*$ wordt gedefinieerd als de eerste grootte waarbij de marginale winst in driftreductie ($\Delta(n_t) = P_{95}(n_{t-1}) - P_{95}(n_t)$) onder een drempelwaarde $\tau$ valt. In de hoofdexperimenten is $\tau$ ingesteld op 1 procentpunt (pp).

2. Subset Constructie

Zodra $n^*$ is bepaald, wordt een subset van die omvang geconstrueerd.

• Sampling Strategie: Het artikel demonstreert dat bij de berekende $n^*$, uniforme willekeurige sampling vergelijkbaar presteert met complexere strategieën zoals gestratificeerde sampling of k-means clustering op zin-embeddings.
• Output: Er wordt een "bevroren" subsetbestand gegenereerd, dat vervolgens hergebruikt wordt voor alle toekomstige evaluaties van die benchmark, zonder verdere training of optimalisatie.

Belangrijkste Bijdragen

1. Efficiënte Kalibratie met Minimale Data: MINCE vereist slechts 7 kalibratiemodellen (variërend van 3B tot 35B parameters en 4 architectuurfamilies) om optimale subsetgroottes te bepalen, wat de datavereisten drastisch vermindert vergeleken met eerder werk.
2. Significante Benchmark Reductie: De methode vermindert benchmark-omvang met 54% (IFEVAL), 89% (MMLU) en 70% (GSM8K).
3. Gecontroleerde Nauwkeurigheidsdrift: De gereduceerde subsets begrenzen de nauwkeurigheidsdrift tot een maximum van 2,62 pp op BF16-modellen en behouden een gemiddelde drift van 0,77–3,59 pp op gehouden-out gekwantiseerde NPU-modellen.
4. Rangbehoud: De methode behoudt modelrangschikkingen met hoge getrouwheid (Spearman $\rho \geq 0,96$).
5. Robuustheid tegen de Grootte van de Kalibratiepool: De geselecteerde subsetgrootte ($n^*$) blijft stabiel, zelfs wanneer de kalibratiepool wordt teruggebracht van 7 naar 3 modellen, wat beoefenaars flexibiliteit biedt.
6. Geen Geleerde Lagen: In tegen tegenstelling tot concurrerende methoden vereist MINCE geen geleerde item-selector, predictielaag of grote vooraf geëvalueerde pools.

Experimentele Resultaten

Prestaties op Kalibratiemodellen (BF16)

Geëvalueerd op 7 BF16-modellen over IFEVAL, MMLU en GSM8K:

• Drift: De gemiddelde absolute drift was 0,44 pp (IFEVAL), 0,44 pp (MMLU) en 1,40 pp (GSM8K). De geobserveerde maximale drift was 2,62 pp.
• Versnellingen: Op GPU-hardware leverde MINCE mediane evaluatieversnellingen van 2,7× (IFEVAL) tot 8,1× (MMLU).

Generalisatie naar Edge Hardware (INT4 NPU)

De methode werd gevalideerd op 3 held-out INT4 NPU-modellen (Llama-3.1-8B-Inst, Phi-4-mini, Qwen3-8B) die niet tijdens de kalibratie aanwezig waren:

• Drift: Gemiddelde drift was 3,59 pp (IFEVAL), 0,77 pp (MMLU) en 0,77 pp (GSM8K). Hoewel IFEVAL hogere drift vertoonde voor specifieke modellen (bijv. Phi-4-mini bij 8,17 pp), bleven MMLU en GSM8K zeer stabiel.
• Versnellingen: Mediane versnellingen op NPU-hardware waren 1,7× (IFEVAL) en 2,0× (MMLU), bereikend tot 3,4× voor specifieke modellen.

Vergelijking met State-of-the-Art

Vergeleken met tinyBenchmarks (dat 395 modellen gebruikt voor kalibratie):

• Drift Reductie: MINCE bereikte 12× lagere gemiddelde drift op MMLU en 3,3× lager op GSM8K.
• Kalibratie Efficiëntie: MINCE gebruikte 57× minder kalibratiemodellen (7 vs. 395).
• Trade-off: Terwijl tinyBenchmarks de subsetgrootte minimaliseert (100 items) ten koste van een grote kalibratiepool en een predictielaag, accepteert MINCE een iets grotere subsetgrootte in ruil voor extreme kalibratie-efficiëntie en toepasbaarheid op elke benchmark zonder vooraf bestaande grootschalige data.

Ablatie Studies

• Sampling Strategie: Bij de bepaalde $n^*$ leverden uniforme willekeurige, gestratificeerde en k-means sampling vergelijkbare drift op, wat bevestigt dat de sizing-stap de kritieke factor is, en niet de complexiteit van de sampling.
• Kalibratiepool Grootte: Het reduceren van de kalibratiepool van 7 naar 3 modellen resulteerde in stabiele $n^*$-waarden voor MMLU en GSM8K, met slechts kleine verschuivingen voor IFEVAL.

Betekenis en Claims

Het artikel positioneert MINCE als een schaalbare fundering voor compacte evaluatie in een tijdperk van toenemende modelvarianten en diverse hardware-doelen. De primaire betekenis ligt in:

1. Democratisering van Benchmark Subsetting: Door de noodzaak van grote kalibratiepools of geleerde modellen weg te nemen, maakt MINCE rigoureuze subset-selectie toegankelijk voor nieuwe benchmarks en specifieke deployment-scenario's.
2. Praktische Efficiëntie: Het biedt een directe, niet-geleerde mechanisme waarmee beoefenaars hun kalibratie-inspanning kunnen controleren, waarbij een balans wordt gevonden tussen evaluatiesnelheid en nauwkeurigheidsdrift.
3. Robuustheid: De stabiliteit van de methode over verschillende sampling-strategieën en kalibratiepool-composities suggereert dat het een betrouwbare heuristiek is voor real-world deployment.

De auteurs erkennen beperkingen, waarbij zij opmerken dat de huidige kalibratiepool geen frontier-schaal (>100B) of non-transformer architecturen bevat, en dat de 1 pp drempelwaarde een heuristiek is. Ze merken ook op dat elke nieuwe benchmark een initiële kalibratierun vereist met per-item logs, wat een kostenpost blijft voor benchmarks die menselijke annotatie vereisen. Echter, het artikel concludeert dat MINCE effectief de cumulatieve tijdkosten van volledige benchmark-evaluatie aanpakt, met name op edge-hardware.