📊 statistics

Efficient Benchmarking Is Just Feature Selection and Multiple Regression

Dit artikel toont aan dat efficiënte benchmarking van grote taalmodellen aanzienlijk kan worden verbeterd door het probleem te herformuleren als meervoudige regressie met kernelridge-regressie voor voorspelling en het mRMR-algoritme voor het selecteren van optimale subsets van vragen, wat resulteert in lagere voorspellingsfouten, hogere rangschikkingscorrelaties en snellere, stabielere prestaties in vergelijking met bestaande methoden.

Oorspronkelijke auteurs: Sam Bowyer, Acyr Locatelli, Kris Cao

Gepubliceerd 2026-05-26

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Sam Bowyer, Acyr Locatelli, Kris Cao

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een leraar bent die een klas van 50 studenten moet beoordelen op een enorme eindexamen van 1.000 vragen. Je wilt precies weten hoe de klas als geheel heeft gepresteerd, maar het beoordelen van elke enkele vraag voor elke student kost eeuwen en een fortuin aan papier en inkt.

Je hebt een afkorting nodig. Je wilt slechts een klein handjevol vragen kiezen (zeg maar 50 daarvan) die, als je die beoordeelt, je bijna exact zullen vertellen hoe de studenten zouden hebben gescoord op de volledige 1.000 vragen.

Dit is het probleem van Efficiënt Benchmarken voor Large Language Models (LLM's). In plaats van mensen gebruiken we computers om AI-modellen te beoordelen. Het artikel stelt dat de huidige manieren om deze "afkortingsvragen" te kiezen te ingewikkeld zijn en vaak de plank misslaan.

Hier is de oplossing van het artikel, simpel uitgelegd:

1. De Oude Weg: Gissen en Clustering

Vorige methoden probeerden vragen te kiezen door:

Ze te groeperen: Zoals het sorteren van een kaartspel op kleur en het kiezen van één kaart van elke kleur (Clustering).
Statistische modellering: Het proberen op te bouwen van een complex psychologisch profiel van de vragen om te zien welke het "belangrijkst" zijn (Item Response Theory).

De auteurs zeggen dat deze methoden zijn als het proberen op te lossen van een Sudoku-puzzel met een supercomputer terwijl je gewoon een simpele logische truc kunt gebruiken. Ze zijn traag, instabiel (ze kiezen elke keer andere vragen als je ze uitvoert) en kiezen soms de verkeerde vragen.

2. De Nieuwe Weg: "De Beste Vragen" + "Slimme Wiskunde"

De auteurs herformuleren het probleem in twee eenvoudige stappen, zoals een recept in twee stappen:

Stap 1: De Vragenkiezer (mRMR)
In plaats van te gissen, gebruiken ze een methode genaamd mRMR (Minimum Redundancy, Maximum Relevance).

De Analogie: Stel je voor dat je een afspeellijst bouwt om een heel muziekgenre te vertegenwoordigen.
- Maximum Relevance: Je wilt nummers die de essentie van het genre echt vastleggen (ze zijn relevant voor het geheel).
- Minimum Redundancy: Je wilt geen drie nummers die precies hetzelfde klinken. Als je één heavy metal-nummer kiest, heb je geen twee andere nodig die identiek zijn. Je wilt variatie.
Hoe het werkt: Het algoritme kijkt naar hoe elke vraag relateert aan de eindscore (Relevantie) en hoeveel het overlapt met andere vragen (Redundantie). Het kiest op een gretige manier de vragen die je de meest nieuwe informatie geven zonder te herhalen wat je al weet.
Het Resultaat: Het kiest een "Kernset" van vragen die divers en zeer informatief zijn.

Stap 2: De Scorevoorspeller (Kernel Ridge Regression)
Zodra je je kleine set vragen hebt, moet je de volledige score voorspellen op basis van de resultaten van slechts die paar.

De Oude Weg: Gewoon het gemiddelde nemen van de kleine set (zoals zeggen: "Als ze 50% haalden op deze 50 vragen, haalden ze waarschijnlijk 50% op het hele examen"). Dit is te simpel.
De Nieuwe Weg: Gebruik Kernel Ridge Regression.
- De Analogie: Stel je voor dat je het weer voorspelt. Een simpel gemiddelde zou kunnen zeggen: "Het is 21 graden, dus het is zomer." Maar een slimme voorspeller weet dat als het 21 graden is en de luchtvochtigheid hoog is en de wind uit het noorden waait, het eigenlijk een storm kan zijn.
- Hoe het werkt: Deze wiskundige techniek kijkt niet alleen naar individuele vragen; het kijkt naar hoe vragen combineren. Het beseft dat het goed beantwoorden van Vraag A en Vraag B samen belangrijker kan zijn dan alleen A goed te hebben en B goed te hebben apart. Het vindt deze verborgen patronen om een veel scherper voorspelling te doen.

3. Waarom Dit Een Grote Zaken Is

Het artikel testte dit tegen alle andere fancy methoden met echte data van AI-modellen. Hier is wat ze vonden:

Het is accurater: De nieuwe methode maakte minder fouten bij het raden van de volledige score. Of de test nu "Goed/Slecht" (Binair) was of een "Score uit 100" (Continue), de nieuwe methode kwam dichter bij de waarheid.
Het is beter in rangschikken: Als je wilt weten welk AI-model het "beste" is, rangschikt deze methode ze accurater dan de anderen. Het is minder waarschijnlijk dat het zegt dat Model A beter is dan Model B terwijl ze eigenlijk gelijk staan of omgekeerd.
Het is stabiel: Als je de test vijf keer uitvoert, kiezen de oude methoden misschien vijf volledig verschillende sets vragen. De nieuwe methode kiest dezelfde vragen elke keer. Het is betrouwbaar.
Het is snel: De oude methoden deden er lang over om te berekenen. De nieuwe methode is als een sprint vergeleken met een marathon. Het is ongelooflijk snel, vooral voor binaire (Goed/Slecht) tests.

De Conclusie

De auteurs beweren dat je geen complexe, zware AI-modellen nodig hebt om de beste vragen te kiezen voor het testen van andere AI's. Je hebt gewoon een slimme manier nodig om diverse vragen te kiezen (mRMR) en een slimme manier om hun scores te combineren (Kernel Ridge Regression).

Door dit te behandelen als een simpel wiskundig probleem van "Feature Selection" (het kiezen van de juiste ingrediënten) en "Regression" (ze samen koken), krijgen ze betere resultaten dan wie dan ook, en sneller. Het is een herinnering dat soms de eenvoudigste, meest elegante statistische hulpmiddelen de krachtigste zijn.

Technische Samenvatting: Efficiënt Benchmarken is Gewoon Feature Selectie en Meervoudige Regressie

Probleemstelling

Het evalueren van Large Language Models (LLM's) op uitgebreide benchmarks die honderden of duizenden vragen bevatten, is rekenkundig duur en tijdrovend, vooral naarmate de modelgroottes en de complexiteit van de benchmarks toenemen. Traditionele evaluatie op volledige benchmarks creëert knelpunten voor taken die frequente evaluatie vereisen, zoals het bijhouden van modelontwikkeling tijdens trainingsruns of het uitvoeren van ablatiestudies op inferentieparameters (bijvoorbeeld sampling-hyperparameters, promptformaten).

Het doel van efficiënt benchmarken is om de score van een volledige benchmark van een testmodel te voorspellen met behulp van slechts een klein subset (een "coreset") van de vragen van de benchmark. Dit vereist een tweestapsproces:

Stap 1 (Selectie): Het selecteren van een subset van $n$ vragen uit de volledige dataset van $N$ vragen ( $n \ll N$ ).
Stap 2 (Voorspelling): Het leren van een functie om de score van de volledige benchmark te voorspellen op basis uitsluitend van de scores die zijn behaald op de geselecteerde coreset-vragen.

Bestaande methoden vertrouwen vaak op clustering (bijvoorbeeld K-Means) of Item Response Theory (IRT) voor selectie en eenvoudige gewogen gemiddelden of specifieke op IRT gebaseerde voorspellers voor schatting. De auteurs betogen dat deze benaderingen aanzienlijk kunnen worden verbeterd door het probleem te herformuleren als een klassieke statistische taak: meervoudige regressie met feature selectie.

Methodologie

De voorgestelde aanpak splitst het probleem op in twee distincte stadia, waarbij gebruik wordt gemaakt van gevestigde technieken uit de literatuur over feature selectie en regressie.

Stap 1: Feature Selectie via mRMR

In plaats van clustering of op IRT gebaseerde schatting van moeilijkheidsgraad, maken de auteurs gebruik van Minimum Redundancy Maximum Relevance (mRMR).

Representatie: Elke vraag $q_i$ wordt weergegeven als een feature-vector die de scores bevat van $M$ bronmodellen op die vraag: $q_i = [s(m_1, q_i), \dots, s(m_M, q_i)]$ .
Doel: Het relevantiedoel $Y$ is de vector met samenvattende scores (gemiddelden van de volledige benchmark) voor de $M$ bronmodellen: $\bar{s} = [\bar{s}(m_1, D), \dots, \bar{s}(m_M, D)]$ .
Doelstelling: Het algoritme selecteert gretig vragen om Relevantie (onderlinge informatie tussen de vragenscores en de doelsamenvattende scores) te maximaliseren, terwijl het Redundantie (onderlinge informatie tussen de geselecteerde vragen onderling) minimaliseert.
Maatstaf: De auteurs gebruiken de Mutual Information Quotient (MIQ) als belangfunctie $g$ , die relevantie en redundantie effectief in evenwicht brengt.
Schatting: Voor binaire scores wordt empirische onderlinge informatie berekend. Voor continue scores gebruiken de auteurs PCA-corrigeerde Kraskov–Stögbauer–Grassberger (KSG)-schatters om de continue aard van de data en de mix van discreet-continu, waar nodig, te hanteren.

Stap 2: Voorspelling via Kernel Ridge Regressie

Zodra een coreset $C$ is geselecteerd, leren de auteurs een voorspeller $f_C$ om coreset-scores te mappen naar de score van de volledige benchmark.

Ridge Regressie: Een basale lineair model met L2-regulering wordt gebruikt.
Kernel Ridge Regressie: Om niet-lineaire interacties tussen vragenscores te vangen (bijvoorbeeld de gecombineerde moeilijkheid van het beantwoorden van twee specifieke vragen), maken de auteurs gebruik van polynoom kernel ridge regressie. De kernel wordt gedefinieerd als $\kappa(x_i, x_j) = (\langle x_i, x_j \rangle + 1)^d$ , waarbij $d$ de graad is.
Belangrijkste Bevinding: De auteurs vinden dat het instellen van de polynoomgraad $d=2$ (kwadratische kernel) consequent de beste prestaties oplevert, waardoor het model rekening kan houden met paarsgewijze interacties van vragenscores zonder significante overfitting.

Baselines en Vergelijkingen

De methode wordt vergeleken met verschillende bestaande strategieën voor efficiënt benchmarken:

AnchorPoints: Gebruikt K-Means clustering om medoid-vragen te selecteren en voorspelt via een gewogen gemiddelde.
gp-IRT: Gebruikt Item Response Theory (IRT) om latente vaardigheden en moeilijkheidsgraden af te leiden, en combineert vervolgens IRT-voorspellingen met AnchorPoints-scores.
Lasso: Gebruikt L1-regulering om gelijktijdige feature selectie en voorspelling uit te voeren.
Random Search: Steekt willekeurige coresets exhaustief af en selecteert de beste via cross-validatie (gebruikt als een sterke baseline).
MetaBench: Gebruikt IRT en Fisher-informatie voor selectie.

Belangrijkste Bijdragen

Herformulering van het Probleem: Het artikel stelt dat efficiënt benchmarken fundamenteel een probleem van feature selectie en regressie is. Door standaard statistische technieken toe te passen (mRMR en Kernel Ridge Regressie), kunnen bestaande methoden aanzienlijk worden overtroffen.
Superieure Prestaties van mRMR + Kernel Ridge: De combinatie van mRMR voor coreset-construktie en polynoom kernel ridge regressie voor voorspelling (aangeduid als mRMR++) bereikt state-of-the-art resultaten voor zowel binaire als continue maatstaven.
Stabiliteit en Efficiëntie:
- Stabiliteit: In tegenstelling tot op IRT gebaseerde methoden of clustering-benaderingen die aanzienlijk kunnen variëren met random seeds of data-splits, toont mRMR een hoge stabiliteit in de vragen die het selecteert.
- Snelheid: Het mRMR-algoritme is orde van grootte sneller dan concurrentmethoden die het aanpassen van complexe probabilistische modellen (zoals IRT) of het uitvoeren van clustering-algoritmen vereisen.
Generalisatie: De methode generaliseert effectief tot het voorspellen van gerelateerde maatstaven (bijvoorbeeld het voorspellen van $pass@k$ voor $k > 1$ met behulp van coresets die zijn geconstrueerd uit $pass@1$-data), en presteert beter dan methoden die afhankelijk zijn van specifieke maatstaf-aannames.

Experimentele Resultaten

De auteurs hebben hun aanpak geëvalueerd op een verscheidenheid aan datasets:

Binaire Maatstaven: Open-LLM-Leaderboard (448 modellen, 7 benchmarks) en HELM-Lite (79–83 modellen, 6 benchmarks).
Continue Maatstaven: Documentsamenvatting (GovReport, BioLaySumm) met ROUGE-L, BERTScore en FKGL.
Pass@k Maatstaven: Coderingsbenchmarks (MBPP, MBPP+, LBPP, HumanEval) met variërende aantallen generaties.

Belangrijkste Bevindingen:

Foutreductie: mRMR++ bereikt consequent een lagere Root Mean Squared Error (RMSE) en Mean Absolute Error (MAE) in vergelijking met AnchorPoints, gp-IRT, Lasso en random baselines.
Ranking Correlatie: De methode bereikt hogere Spearman $\rho$ en Kendall $\tau$ correlatiecoëfficiënten, wat wijst op een betere behoud van modelrangschikkingen.
Data Regimes: De methode presteert uitzonderlijk goed wanneer het aantal bronmodellen ( $M$ ) voldoende is (bijvoorbeeld $M \ge 30$ ). In zeer data-arme settings ( $M < 15$ ) kan het signaal-ruisverhouding de prestaties verslechteren, hoewel het vaak concurrerend blijft.
Kernel Graad: Een kwadratische kernel ( $d=2$ ) bleek optimaal in de meeste settings, wat suggereert dat paarsgewijze vraaginteracties de meest significante niet-lineaire feature zijn.
Vergelijking met Search+: Hoewel "Search+" (exhaustief willekeurig zoeken) een sterke baseline is, bereikt mRMR++ vergelijkbare of betere resultaten met een principiële, deterministische selectieprocedure die rekenkundig goedkoper is.

Betekenis en Claims

Het artikel claimt dat de voorgestelde aanpak een eenvoudig, snel en zeer effectief alternatief biedt voor complexe probabilistische modellering voor efficiënt benchmarken.

Rekenbesparing: Door nauwkeurige voorspellingen mogelijk te maken met slechts 5–15% van de benchmarkvragen, biedt de methode aanzienlijke rekenbesparingen, vooral voor iteratieve taken zoals trainingmonitoring of hyperparameter-tuning.
Interpreteerbaarheid en Robuustheid: De afhankelijkheid van standaard regressie- en feature-selectietechnieken maakt de methode beter interpreteerbaar en robuuster tegen variaties in data-splits in vergelijking met op IRT gebaseerde benaderingen.
Brede Toepasbaarheid: De techniek is toepasbaar op zowel binaire (correct/fout) als continue (bijvoorbeeld ROUGE, pass@k) scoring-maatstaven zonder dat maatstaf-specifieke aanpassingen nodig zijn.
Toekomstig Werk: De auteurs merken bescheiden op dat hoewel mRMR goed werkt, verdere verbeteringen op datasets met continue waarden kunnen worden gerealiseerd door schatters voor onderlinge informatie te verfijnen voor data-arme regimes of door alternatieve feature-belangfuncties te verkennen. Zij benadrukken ook dat de methode het beste geschikt is voor voorspellingen binnen de verdeling (in-distribution) en mogelijk moeite heeft met modellen die significant buiten het vaardigheidsbereik van de bronmodellen vallen die voor selectie zijn gebruikt.

De auteurs concluderen dat "efficiënt benchmarken gewoon feature selectie en meervoudige regressie is", wat suggereert dat onderzoekers deze goed bestudeerde statistische hulpmiddelen moeten benutten in plaats van steeds complexere, benchmark-specifieke heuristieken te ontwikkelen.