💻 informatica

Mind the Gap: Explicit Cross-Benchmark Calibrations for Estimating Missing LLM Evaluation Scores

Het artikel introduceert "benchgap", een pijplijn die ontbrekende evaluatiescores van grote taalmodellen schat door benchmarks binnen capaciteitsgroepen expliciet te kalibreren met behulp van monotone curve-fitting en multivariate mapping, waarbij significant lagere foutenmarges worden behaald dan bij matrix-completie-baselines, terwijl tegelijkertijd de discrepanties in evaluatie-opstellingen worden gekwantificeerd die bekend staan als de "harness tax".

Oorspronkelijke auteurs: Patrik P. Süli, György Eigner, Roland Hollós

Gepubliceerd 2026-10-30

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Patrik P. Süli, György Eigner, Roland Hollós

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

In de snel evoluerende wereld van kunstmatige intelligentie worden nieuwe taalmodellen sneller uitgebracht dan ze kunnen worden getest. Deze modellen zijn ontworpen om problemen op te lossen, code te schrijven en complexe taken te redeneren, maar hun werkelijke capaciteiten zijn pas bekend wanneer ze worden onderworpen aan gestandaardiseerde tests die benchmarks worden genoemd. Beschouw een benchmark als een specifiek examen; de score van een model op dat examen is een momentopname van zijn prestaties onder strikte omstandigheden. De landschappen van deze examens zijn echter uitgestrekt en gefragmenteerd. Verschillende onderzoekslabs en bedrijven kiezen verschillende sets tests om hun modellen te presenteren, en evaluatiediensten draaien hun eigen subsets van modellen op hun eigen schema's. Het resultaat is een massief, incompleet beeld waarbij de meeste modellen slechts op een handvol examens zijn getest, waardoor het overgrote deel van de potentiële scores ontbreekt. Deze kloof maakt het moeilijk om modellen eerlijk te vergelijken of hun volledige bereik aan vermogens te begrijpen, aangezien analisten gedwongen zijn naar tabellen te kijken waar meer dan negentig procent van de gegevens leeg is.

Om dit puzzelstuk op te lossen, hebben onderzoekers Patrik P. Süli, György Eigner en Roland Hollós een methode ontwikkeld genaamd benchgap, een systeem dat is ontworpen om de ontbrekende scores te schatten zonder de tests daadwerkelijk uit te voeren. In plaats van te proberen de prestaties van een model vanaf nul te voorspellen of een enkele globale formule voor alle modellen te gebruiken, fungeert dit systeem als een vertaler tussen specifieke examens. Het kijkt naar modellen die al twee verschillende tests hebben afgelegd en brengt de relatie tussen hun scores in kaart. Als een model hoog scoort op één examen, gebruikt het systeem de historische gegevens van andere modellen om te schatten wat datzelfde model waarschijnlijk op een andere, niet-geteste examen zou scoren. Dit proces is geen gok; het is een precieze kalibratie die een vloeiende curve aan de gegevens aanpast, waardoor de schatting de natuurlijke grenzen van de tests en de capaciteiten van de modellen respecteert. Het systeem is strikt in zijn regels: het staat nooit toe dat een model wordt ingeschat op een test waar het fundamenteel niet voor geschikt is, zoals het voorspellen van een visuele testscore op basis van tekstresultaten alleen, en het weigert schattingen te maken die te ver buiten het bereik van de gegevens liggen die het heeft gezien.

De onderzoekers testten deze aanpak op een dataset met 4 아닌 401 verschillende modellen en 146 versies van benchmarks. Ze ontdekten dat het systeem erin slaagde om 71 procent van de ontbrekende scores met een hoge mate van nauwkeurigheid in te vullen. Wanneer ze hun schattingen vergeleken met de werkelijke, gemeten scores die verborgen werden gehouden voor testen, was de gemiddelde fout van het systeem slechts 4,6 procentpunt. Dit was aanzienlijk beter dan een concurrerende methode die probeerde de gaten te vullen met een breed, globaal patroon, wat grotere fouten maakte op dezelfde cellen. Het systeem is ook transparant over zijn eigen onzekerheid; elke schatting die het produceert, komt met een betrouwbaarheidsniveau en een specifieke foutmarge, waardoor de gebruiker precies weet hoe betrouwbaar dat getal is. Bijvoorbeeld, schattingen gebaseerd op sterke, duidelijke relaties tussen tests worden gemarkeerd als hoge betrouwbaarheid, terwijl die gebaseerd op minder gegevenspunten of meer onzekere verbindingen worden gemarkeerd als lagere betrouwbaarheid, zodat gebruikers de informatie naar behoren kunnen wegen.

Een belangrijke ontdekking in dit werk was de kwantificering van wat de auteurs de "harness tax" noemen. Dit is de onenigheid die ontstaat wanneer dezelfde benchmark wordt uitgevoerd door verschillende evaluatie-opstellingen. Zelfs wanneer twee diensten exact hetzelfde model testen op exact dezelfde set vragen, kunnen de scores aanzienlijk verschillen afhankelijk van de software en protocollen die worden gebruikt om de test uit te voeren. De onderzoekers ontdekten dat voor benchmarks die betrokken zijn bij agenten die hulpmiddelen kunnen gebruiken of computerterminals kunnen navigeren, deze verschillen substantieel waren, met scores die gemiddeld 8,7 procentpunt verschilden tussen de opstellingen. In contrast hiermee was de onenigheid voor simpelere, zonder hulpmiddelen werkende kennis-tests veel kleiner, namelijk 2,3 procentpunt. Deze bevinding benadrukt dat een benchmarkscore niet alleen een eigenschap is van het model zelf, maar ook een eigenschap van de specifieke omgeving waarin het is getest. Het systeem houdt hier rekening mee door alleen te kalibreren tussen tests die dezelfde capaciteitsgroep delen en door de bron van elke score te registreren, waardoor de schattingen de realiteit van hoe deze tests worden uitgevoerd weerspiegelen.

Het systeem werkt als een levende pijplijn die dagelijks wordt bijgewerkt, waarbij nieuwe scores wordt binnengehaald zodra ze worden gepubliceerd en de schattingen opnieuw worden berekend. Het vertrouwt niet op verborgen trainingsgegevens of de interne architectuur van de modellen, waardoor het toepasbaar is op elk model, inclusclusief die met gesloten broncode die alleen hun definitieve scores vrijgeven. Door de gaten in te vullen met expliciete, traceerbare kalibraties, biedt het systeem een completer en eerlijker beeld van het landschap van kunstmatige intelligentie. Het erkent dat hoewel geen enkele schatting perfect is, een zorgvuldig geconstrueerde voorspelling op basis van echte gegevens veel nuttiger is dan een leeg veld. Het resultaat is een hulpmiddel dat onderzoekers, ontwikkelaars en het publiek helpt om door de complexe wereld van modelevaluatie te navigeren met meer helderheid, door een schaarse en verwarrende matrix van gegevens om te vormen tot een samenhangende kaart van capaciteiten.

Technische Samenvatting: Mind the Gap: Expliciete Cross-Benchmark Kalibraties voor het Schatten van Ontbrekende LLM-evaluatiescores

Probleemstelling
De snelle release van Large Language Models (LLM's) overtreft de capaciteit voor uitgebreide evaluatie, wat resulteert in een ijle "model × benchmark"-matrix. In een dataset bestaande uit 401 modellen en 146 benchmarkversies bevat slechts 8,3% van de cellen gemeten scores. Bestaande methoden voor het voorspellen van ontbrekende scores, zoals globale matrixcompletie of latente factor schaalwetten, opereren vaak in een latente ruimte en behandelen de gehele matrix als één enkel entiteit. Hoewel deze methoden aantonen dat scores grotendeels redundant zijn, verhullen ze de specifieke herkomst van voorspellingen en houden ze geen rekening met de onderscheidende capaciteitsgroepen of evaluatie-opstellingen (harnesses) die benchmarkscores definiëren. Bovendien bieden globale methoden geen foutenschattingen per cel of betrouwbaarheidsniveaus, wat het controleren van individuele voorspellingen op publieke leaderboards bemoeilijkt.

Methodologie: De benchgap Pipeline
De auteurs presenteren benchgap, een pipeline die ontbrekende scores schat met behulp van expliciete, lokale kalibraties in plaats van globale latente factorisatie. Het systeem werkt volgens het principe dat benchmarkscores naar elkaar gemapt kunnen worden via monotone curven, mits ze dezelfde capaciteitsgroep delen.

Univariante Kalibraties: Voor elk geordend paar van benchmarks binnen dezelfde capaciteitsgroep met ten minste vijf gedeelde modellen, past het systeem zes monotone curvefamilies toe (Hill, lineair, Michaelis–Menten, offset logistiek, inverse MM, en MM + offset).
- Selectie: De beste curve wordt geselecteerd op basis van de laagste Leave-One-Out (LOO) cross-validerende fout.
- Restricties: Alleen stijgende fits worden behouden (anti-gecorreleerde fits, die vaak duiden op onvoldoende datadekking, worden verworpen). Fits moeten een $R^2 \ge 0,3$ en een LOO-fout $\le 15$ procentpunten (pp) bereiken om opgeslagen te worden.
- Extrapolatie: Voorspellingen worden begrensd tot een bereik van één "fitting breedte" ( $w = x_{max} - x_{min}$ ) buiten de geobserveerde data.
Multivariante Mappings: Om de nauwkeurigheid te verbeteren, worden doel-benchmarks gelijktijdig voorspeld vanuit meerdere bron-benchmarks.
- Kenmerkselectie: Een elastic net (met een lasso-component) of een greedy forward search selecteert de meest informatieve bron-benchmarks.
- Functionele Vorm: Het systeem vergelijkt een lineair elastic net (met niet-negatieve coëfficiënten) met een multivariate Michaelis–Menten curve.
- Kwaliteitscontrole: Multivariate mappings worden alleen opgeslagen als ze aan dezelfde kwaliteitscontroles voldoen als univariante kalibraties en een lagere LOO-fout vertonen dan het beste univariante alternatief.
Gap Filling en Restricties:
- Geen Recursie: Schatten worden strikt afgeleid van gemeten scores; een schatting voedt nooit een andere schatting.
- Capaciteitsafbakening: Kalibraties overschrijden nooit de grenzen van een capaciteit (bijv. tekst-benchmarks voorspellen geen visuele scores).
- Betrouwbaarheidsniveaus: Elke schatting krijgt een betrouwbaarheidsniveau toegewezen (Hoog, Medium, Laag) op basis van de LOO-fout en drie potentiële waarschuwingen: extrapolatie, kleine steekproefomvang ( $<8$ modellen), of oninformatieve fit ( $R^2 < 0,5$ ).
Harness Tax Kwantificering: Het systeem kwantificeert de "harness tax"—de discrepantie tussen verschillende evaluatie-opstellingen (bronnen) voor dezelfde benchmark. Dit wordt gemeten door de per-model score-delta's te vergelijken over geverifieerde paren met een identieke itemset.

Belangrijkste Bijdragen

Transparante Gap-Filling Pipeline: Een systeem dat traceerbare schattingen levert waarbij elke voorspelling via een API gekoppeld is aan een specifieke bronscore, curvefamilie, parameters en foutmetriek.
Multivariante Mappings: Een mechanisme om meerdere bron-benchmarks te combineren voor voorspelling, gebruikmakend van kenmerkselectie om oninformatieve bronnen te elimineren.
End-to-End Evaluatie: Een rigoureuze holdout-test waarbij 15% van de gemeten scores wordt gemaskeerd om de gepubliceerde foutlabels van de pipeline te valideren tegen de gerealiseerde fouten.
Harness Tax Meting: De eerste studie die de evaluatie-opstelling-discrepantie per model over benchmarkfamilies heen kwantificeert, waarbij onderscheid wordt gemaakt tussen agentische, tool-vrije en protocollaag-variaties.
Draaiend Systeem: Een dagelijks verversend, onder MIT-licentie staand systeem (benchgap.net) dat scores, kalibraties en herkomstgegevens publiceert via een publieke API.

Resultaten

Nauwkeurigheid vs. Baselines: In een 15% holdout-test vulde benchgap 71% van de gemaskeerde cellen met een Mean Absolute Error (MAE) van 4,6 pp. Dit is 23% lager dan een rank-2 matrix completion baseline (5,9 pp MAE) op dezelfde cellen. Op de 29% van de cellen die de pipeline leeg liet (vanwege een gebrek aan geldige mappings), was de fout van de baseline aanzienlijk hoger (11,8 pp).
Betrouwbaarheidskalibratie: De gerealiseerde fout correleert met de betrouwbaarheidsniveaus: Hoog (3,1 pp MAE), Medium (5,1 pp), en Laag (7,5 pp). Echter, de gerealiseerde Root Mean Square Error (RMSE) overtreft de geclaimde LOO-foutlabels met een factor 1,4–1,7, wat aangeeft dat de labels optimistische minima zijn.
Harness Tax: Agentische benchmarks vertonen een hoge harness tax, waarbij geverifieerde paren met een identieke itemset een gemiddelde discrepantie laten zien van 8,7 pp. In contrast hiermee vertonen tool-vrije benchmarks slechts 2,3 pp discrepantie. Het inschakelen van tools op "Humanity's Last Exam" verhoogde de scores met gemiddeld 10,0 pp over alle 11 gemeten modellen die beide kanten op werden gemeten.
Prestaties bij IJle Data: Voor modellen met zeer weinig gemeten scores (1 of 2) vult de pipeline 19–26% van de resterende cellen met een MAE van ongeveer 5,0 pp, wat vergelijkbaar is met de resultaten van willekeurige maskering.

Significantie en Claims
Het artikel positioneert benchgap als een complementaire benadering van globale latente factor methoden. Terwijl globale methoden een gedeelde structuur over de gehele matrix veronderstellen, geeft benchgap prioriteit aan expliciteit en controleerbaarheid. Door de kalibraties lokaal en expliciet te houden, zorgt het systeem ervoor dat elke schatting getraceerd kan worden naar de bron, de curvefamilie, de parameters en de foutmetriek, en dat de beperkingen (zoals extrapolatie of kleine steekproefomvang) zichtbaar worden gemeld.

De auteurs stellen dat deze expliciteit gepaard gaat met een lagere dekking (het vullen van 71% versus 99% van de cellen), maar dat dit een hogere nauwkeurigheid oplevert op de gevulde cellen en een mechanisme biedt om inconsistenties in de evaluatie-opstelling (de harness tax) te detecteren en te kwantificeren. Het artikel erkent dat, net als alle methoden voor scorevoorspelling, het geen modellen kan detecteren met capaciteitsprofielen die afwijken van de trainingsset, maar het maakt de risicofactoren zichtbaar door middel van degradatie van het betrouwbaarheidsniveau en foutlabels. Het systeem wordt gepresenteerd niet als een definitieve oplossing, maar als een transparante, controleerbare snapshot van het huidige landschap van LLM-benchmarking, die dagelijks wordt bijgewerkt om de actuele staat van de LLM-benchmarking te reflecteren.

Meer zoals dit