💻 computer science

Cost-Efficient Estimation of General Abilities Across Benchmarks

Dit paper introduceert de WILD-dataset en een kostenefficiënte methodologie die, door een aangepast multidimensionaal IRT-model te combineren met adaptieve itemselectie, de prestaties van taalmodellen op onbekende taken binnen een budget van slechts 22.000 tokens met minder dan 7% foutmarge voorspelt.

Oorspronkelijke auteurs: Michael Krumdick, Adam Wiemerslage, Seth Ebner, Charles Lovering, Chris Tanner

Gepubliceerd 2026-04-03

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Michael Krumdick, Adam Wiemerslage, Seth Ebner, Charles Lovering, Chris Tanner

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme bibliotheek hebt met duizenden verschillende tests om te zien hoe slim een kunstmatige intelligentie (AI) is. Sommige tests zijn als een simpele kruiswoordpuzzel, andere lijken op een zware wiskundetoets voor universitair niveau, en weer andere vragen om het schrijven van computercode.

Tot nu toe hebben onderzoekers vaak gedacht: "Om te weten hoe goed een AI is, moeten we die AI op elke enkele test zetten." Maar dat is als proberen elke boom in een regenwoud te tellen. Het kost enorm veel tijd, geld en energie (in dit geval: rekenkracht en "tokens", de bouwstenen van AI-tekst).

De auteurs van dit paper hebben een slimme oplossing bedacht. Ze zeggen: "Wacht even, misschien hoeven we niet elke boom te tellen. Misschien kunnen we een paar slimme bomen kiezen en daaruit de rest afleiden."

Hier is hoe ze dat doen, vertaald in alledaagse taal:

1. Het Probleem: Te veel tests, te duur

Stel je voor dat je een nieuwe auto wilt testen. Je kunt hem laten racen op een circuit, laten rijden in de sneeuw, laten parkeren in een smalle steeg, en laten rijden door een modderpoel.

Het oude idee: Je test de auto op elk mogelijke situatie.
Het nieuwe probleem: Sommige tests (zoals racen) kosten veel brandstof (rekenkracht), terwijl andere (zoals parkeren) bijna niets kosten. Als je ze allemaal doet, ben je je budget snel kwijt.

2. De Oplossing: De "Slimme Testleider"

De onderzoekers hebben een nieuwe methode bedacht die werkt als een slimme testleider met een magisch kompas. In plaats van willekeurig tests te kiezen, gebruikt deze leider een wiskundig kompas (gebaseerd op psychologie en statistiek) om precies te weten welke tests het meest waardevol zijn.

Ze noemen hun methode MIRT (Meervoudige Item Response Theory).

De Analogie: Stel je voor dat je wilt weten hoe goed iemand is in "algemene intelligentie". Je hoeft niet 1000 vragen te stellen. Als je de persoon 16 slimme vragen stelt die verschillende vaardigheden testen (logica, taal, ruimtelijk inzicht), kun je met grote zekerheid voorspellen hoe die persoon zou scoren op de andere 100 vragen die je niet hebt gesteld.

3. De Magische Twee Stappen

Deze methode werkt in twee stappen:

Stap 1: De "X-ray" van de AI.
De onderzoekers hebben een enorme database gemaakt (genaamd WILD) met antwoorden van 65 verschillende AI-modellen op bijna 110.000 vragen. Hieruit hebben ze geleerd dat AI's eigenlijk maar een paar "onderliggende krachten" hebben (zoals wiskundig inzicht, taalbegrip, redeneren). Hun model maakt een soort "röntgenfoto" van de AI om te zien hoe sterk deze krachten zijn.
Stap 2: De "Slimme Keuze" (Kostenbewust).
Dit is het echte genie van het paper. Ze hebben een regel toegevoegd: "Kies de tests die het meest informatie geven, maar die ook goedkoop zijn."
- Soms is een test heel informatief, maar kost hij 1000 tokens (zoals een lange code-opdracht).
- Soms is een test iets minder informatief, maar kost hij maar 10 tokens (zoals een simpele ja/nee-vraag).
- De nieuwe methode kiest de "goedkope" tests die toch veel leren. Het is alsof je een detective bent die niet de duurste, langste verhoren doet, maar de korte, scherpe vragen die de dader direct verraadt.

4. Het Resultaat: 85% goedkoper!

Wat hebben ze bereikt?

Met hun oude manier (willekeurig testen) had je ongeveer 141.000 tokens nodig om een nauwkeurig beeld te krijgen van hoe goed een AI is.
Met hun nieuwe, slimme methode hadden ze slechts 22.000 tokens nodig voor hetzelfde resultaat.
Dat is een besparing van 85% in kosten!

Samenvattend in één zin:

In plaats van een AI te laten werken aan een hele berg taken om te zien hoe slim hij is, gebruiken deze onderzoekers een slimme, wiskundige methode om precies de juiste, goedkope taken te kiezen. Hierdoor kunnen ze met een paar korte tests voorspellen hoe de AI zou presteren op duizenden andere taken, waardoor het testen van AI's veel sneller en goedkoper wordt.

Het is alsof je van een dure, uitgebreide medische check-up met honderden tests overschakelt naar een slimme, snelle scan die precies weet waar je op moet letten, zonder dat je je hele spaarrekening hoeft uit te geven.

Probleemstelling

Er zijn duizenden verschillende benchmarks ontwikkeld om de kwaliteit van Large Language Models (LLMs) te meten. Echter, eerdere studies hebben aangetoond dat de prestaties van LLMs vaak kunnen worden verklaard door een klein aantal onderliggende "latent abilities" (vaardigheden). Dit suggereert dat veel benchmarks redundant zijn.

De huidige uitdagingen zijn:

Efficiëntie: Het testen van modellen op duizenden items is kostbaar in termen van tokens en rekenkracht.
Kostenvariatie: Items uit verschillende datasets hebben radicaal verschillende kosten (token-gebruik). Een item uit Big Bench Extra Hard kan bijvoorbeeld 60 keer duurder zijn dan een vraag uit MMLU, zelfs als ze beide één item tellen.
Validiteit: Hoe bepaal je of een benchmark-methode beter is dan een andere? Voor taak-gerichte evaluaties is dit duidelijk (bijv. correlatie met echte GitHub pull requests), maar voor vaardigheids-gerichte evaluaties ontbreekt een duidelijke succesmetriek.

Het paper stelt dat de kwaliteit van een benchmark-framework moet worden gebaseerd op predictive validity: hoe goed kan het framework de prestaties van een model voorspellen op ongezette taken, en dit tegen de laagst mogelijke kosten?

Methodologie

De auteurs introduceren een nieuw framework dat psychometrie combineert met optimalisatie van experimenteel ontwerp.

1. Dataset: WILD (Wide-scale Item Level Dataset)
Om dit te analyseren, hebben de auteurs WILD verzameld, een dataset van 109.564 unieke items over 163 taken (afkomstig uit 27 benchmarks), geëvalueerd door 65 verschillende LLMs. Dit is de eerste dataset die model-antwoordparen op item-niveau biedt voor een dergelijke schaal, wat analyse mogelijk maakt onder verschillende budgetbeperkingen.

2. Model: Geneste Multidimensionale IRT (MIRT)
In plaats van een enkelvoudig vermogen (unidimensionaal) te gebruiken, gebruiken de auteurs een Multidimensional Item Response Theory (MIRT) model.

Ze passen een bifactor-model aan waarbij elk item laadt op een algemeen vermogen (g-factor) én op specifieke latente factoren.
De kans op een correct antwoord wordt gemodelleerd als:
$p(r=1|m, x) = \sigma(\alpha_x(\Theta_{m,g} + \langle\Theta_m, K_x\rangle - \delta_x))$
Waarbij $\Theta_m$ het vector van vaardigheden is, $K_x$ de lading van het item, en $\delta_x$ de moeilijkheid.
Om stabiliteit te garanderen bij kleine steekproeven, wordt er een regularisatie toegepast die het model aanmoedigt te "krimpen" naar een unidimensionaal model als er weinig data is.

3. Item Selectie: Optimal Experimental Design (OED)
Om het aantal benodigde items te minimaliseren, selecteert het systeem adaptief de meest informatieve items.

Fisher Informatie: Traditioneel wordt Fisher-informatie gebruikt om items te selecteren die de variantie van de schatting van het vermogen maximaliseren.
V-Optimaliteit: Voor multidimensionale modellen is de variantie een matrix. De auteurs gebruiken V-Optimaliteit, een criterium uit de OED-literatuur dat de voorspellingsvariantie op een set van doel-benchmarks minimaliseert. Dit prioriteert items die het meest informatief zijn voor de "algemene" factoren die nodig zijn om prestaties op ongezette taken te voorspellen.

4. Kostenbewuste Selectie (Cost-Aware Discounting)
Dit is een kerninnovatie. Aangezien items verschillende token-kosten hebben, wordt de selectie-criteria aangepast om niet alleen informatie, maar ook kosten te maximaliseren.

Ze introduceren een kostenfactor $\tau_x$ (het verwachte aantal tokens voor een item).
De selectie-score wordt een ratio: $\frac{\text{Informatiewinst}}{\text{Verwachte Kosten}} = \frac{I_x}{\tau_x}$ .
Dit zorgt ervoor dat het systeem goedkope items selecteert die nog steeds veel informatie opleveren, in plaats van alleen de meest informatieve (maar dure) items.

Belangrijkste Bijdragen

WILD Dataset: Publicatie van een groot, consistent geëvalueerd dataset van 65 modellen op 109k items, specifiek ontworpen voor cross-task analyse.
Framework voor Predictive Validity: Een nieuwe manier om benchmark-methoden te vergelijken door te kijken naar de voorspellingsnauwkeurigheid op >100 ongezette taken, in plaats van alleen compressie van een specifieke dataset.
Geneste MIRT Model: Een verbeterd IRT-model dat beter presteert dan eerdere unidimensionale modellen en eenvoudige regressie-baselines bij het voorspellen van prestaties op nieuwe taken.
Kostenbewuste Selectie: Een methode die de evaluatiekosten drastisch verlaagt zonder in te leveren op voorspellingskwaliteit.

Resultaten

De experimenten tonen aan dat de voorgestelde methode zeer efficiënt is:

Voorspellingsnauwkeurigheid: Het gecombineerde MIRT-model met V-Optimaliteit kan prestaties voorspellen op 112 ongezette benchmark-taken met een Mean Absolute Error (MAE) van minder dan 7%.
Steekproefgrootte: Dit niveau van nauwkeurigheid wordt bereikt na het observeren van slechts 16 items per model.
Kostenreductie: Door de kostenbewuste selectie (cost-aware discounting) toe te passen, daalt het totale aantal tokens dat nodig is om een MAE van 7% te bereiken van 141.000 tokens naar slechts 22.000 tokens. Dit is een reductie van 85% in evaluatiekosten.
Vergelijking: De methode presteert significant beter dan lineaire regressie, unidimensionale IRT (2PL), en statische selectiemethoden (zoals willekeurige selectie of cluster-gebaseerde "anchor points"). Adaptieve selectie (waarbij items één voor één worden gekozen op basis van eerdere antwoorden) werkt beter dan statische selectie.

Betekenis en Conclusie

Dit paper biedt een fundamentele verschuiving in hoe we LLM's evalueren. In plaats van blindelings duizenden items te laten doorlopen, biedt het een wetenschappelijk onderbouwde, kostenefficiënte aanpak.

Economisch Impact: Met de enorme kosten van API-gebruik voor LLM's, kan een reductie van 85% in token-gebruik voor evaluatie enorme besparingen opleveren voor onderzoek en industrie.
Methodologische Vooruitgang: Het bewijst dat psychometrische theorieën (zoals IRT en Optimal Experimental Design), oorspronkelijk ontwikkeld voor menselijke testen, zeer effectief kunnen worden toegepast op AI-evaluatie.
Toekomstvisie: Het stelt een nieuwe standaard voor "compresso" benchmarking, waarbij de focus ligt op het voorspellen van algemene vaardigheden met minimale resources, wat essentieel is voor het schalen van evaluaties in een tijdperk van steeds grotere en duurdere modellen.