💬 NLP

Searching the Internet for Challenging Benchmarks at Scale

Dit artikel introduceert een volledig automatisch, kostenefficiënt raamwerk dat het internet modelleert als een enorme ruimtelijke thematische ruimte en een multi-armed bandit-strategie toepast om dynamisch uitdagende benchmarks te ontdekken en op te bouwen die de verzadigingsproblemen vermijden die statische testsets teisteren.

Oorspronkelijke auteurs: Wenda Xu, Vilém Zouhar, Parker Riley, Mara Finkelstein, Markus Freitag, Daniel Deutsch

Gepubliceerd 2026-05-08

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Wenda Xu, Vilém Zouhar, Parker Riley, Mara Finkelstein, Markus Freitag, Daniel Deutsch

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een leraar bent die een student moet beoordelen die ongelooflijk snel steeds slimmer wordt. Je hebt een stapel oude wiskundetoetsen (benchmarks). Aanvankelijk had de student moeite ermee, dus je kon gemakkelijk zien waar ze hulp nodig had. Maar nu haalt de student elke vraag op die oude toetsen perfect. Ze scoort 100% op alles.

Het probleem? Je kunt niet zeggen of ze echt een genie is of dat ze gewoon de antwoorden op die specifieke toetsen heeft uit het hoofd geleerd. Je hebt een nieuwe, moeilijkere toets nodig om te zien waar ze echt vastloopt. Maar het handmatig maken van een nieuwe toets is traag, duur, en experts kunnen er per ongeluk iets te makkelijk of te moeilijk van maken op basis van hun eigen vooroordelen.

Dit artikel stelt een slimme, volledig automatische manier voor om de "moeilijkste vragen" in de hele wereld (het internet) te vinden zonder dat een mens ze hoeft te schrijven.

Het Grote Idee: Het Internet als een Enorme Buffet

Stel je het internet voor als een enorme, eindeloze buffetzaal met duizenden verschillende eetstations (onderwerpen). Sommige stations serveren simpele snacks (zoals "hoe je toast maakt"), terwijl andere ongelooflijk complexe, pittige gerechten serveren (zoals "wettelijke loopholes in het internationale belastingrecht").

De auteurs willen de "pittigste" gerechten vinden – de onderwerpen waar zelfs de slimste AI-modellen op vastlopen. Maar ze kunnen niet elk gerecht op het buffet proeven; dat zou eeuwig duren en een fortuin kosten.

De Strategie: De "Slimme Proever" (Multi-Armed Bandit)

In plaats van alles te proeven, behandelen de auteurs dit als een gokautomaat of een "slimme proever" die een strategie gebruikt die een Multi-Armed Bandit wordt genoemd.

De Gokautomaten: Elk onderwerp op het internet (bijvoorbeeld "Barokmuziek", "Betonmetselwerk", "Gaslassen") is als een gokautomaat.
De Kosten: Het trekken aan de hendel (een tekst uit dat onderwerp bemonsteren en de AI testen) kost geld en tijd.
Het Doel: De gokautomaat vinden die de meeste "moeilijkheid" uitkeert (waar de AI het meest faalt) met zo min mogelijk trekkingen mogelijk.

Het artikel gebruikt een specifieke strategie genaamd $\epsilon$ -greedy. Stel je voor dat je in een casino bent:

Exploratie (De Wildcard): Soms probeer je een machine die je nog nooit hebt aangeraakt, gewoon om te zien wat hij doet.
Exploitatie (De Winnaar): De meeste tijd trek je de hendel van de machine die tot nu toe de meeste "moeilijkheid" heeft uitgekeerd.

Door deze twee in evenwicht te brengen, vindt het systeem de moeilijkste onderwerpen ongelooflijk snel. Het artikel beweert dat deze methode slechts 6% van de beschikbare onderwerpen hoeft te controleren om de moeilijkste te vinden, wat 100 keer de kosten bespaart ten opzichte van het controleren van alles.

Wat Ze Vonden

Ze testten dit op twee dingen:

Machinevertaling: De AI vragen tekst uit het Engels naar andere talen te vertalen.
Kennisvragen: De AI feitelijke vragen stellen.

De Resultaten:

Oude Toetsen vs. Nieuwe Vondsten: De onderwerpen die hun systeem vond, waren veel moeilijker dan de standaardtoetsen die experts tegenwoordig gebruiken (zoals WMT of FLORES).
Kort maar Krachtig: Interessant genoeg waren de moeilijkste teksten die ze vonden vaak korter dan de moeilijke teksten in bestaande benchmarks. Dit bewijst dat lengte niet bepaalt wat moeilijk is; het zijn de specifieke, lastige concepten (zoals juridische termen of obscure feiten) die de AI op het verkeerde been zetten.
Echte Zwaktes: De fouten die de AI maakte op deze nieuwe toetsen waren niet zomaar "domme fouten". Het waren diepgaande problemen met terminologie (het verkeerde woord gebruiken voor een specifiek vakgebied) en nauwkeurigheid (feiten verkeerd hebben). Dit laat zien dat de toetsen echte zwaktes vinden, en niet alleen de AI verwarren met lange zinnen.

De "Hack"-Controle

Een slimme lezer zou kunnen vragen: "Heeft de AI gewoon vragen gevonden die moeilijk zijn om te beoordelen door andere AI's, maar makkelijk zijn voor de echte wereld?"

De auteurs controleerden dit door twee verschillende "rechters" (beoordelingssystemen) te gebruiken die niets van elkaar weten. Ze ontdekten dat wanneer het systeem een moeilijk onderwerp vond, beide rechters het eens waren dat het moeilijk was. Dit bewijst dat het systeem niet "hackt" op het beoordelingssysteem; het vindt echt moeilijke inhoud.

De Conclusie

Dit artikel introduceert een tool die automatisch jaagt naar het "final boss"-niveau van moeilijkheid in de AI-wereld. In plaats dat mensen handmatig moeilijke toetsen samenstellen, zoekt het systeem het internet af, leert waar de AI faalt, en bouwt een nieuwe, zwaardere benchmark. Hierdoor kunnen onderzoekers de ware grenzen van AI-modellen zien naarmate ze slimmer worden, zodat we niet zomaar denken dat ze perfect zijn omdat ze de oude, makkelijke toetsen hebben gehaald.

Belangrijkste Inzicht: Het internet is een goudmijn aan moeilijke problemen. Dit artikel geeft ons een kaart om ze snel en goedkoop te vinden, zodat we AI-modellen blijven testen tegen de echte wereld, en niet alleen tegen oude schoolboeken.

Technische Samenvatting: Zoeken op het Internet naar Uitdagende Benchmarks op Schaal

Probleemstelling

Statische benchmarks voor Large Language Models (LLM's) raken snel verzadigd. Naarmate modellen verbeteren, behalen ze bijna perfecte scores op vaste testsets (bijv. WMT, FLORES), waardoor er weinig "ruimte" overblijft om echte zwaktes bloot te leggen. Zelfs door experts samengestelde uitdagingsets raken snel verzadigd naarmate modellen ze "opklimmen", wat kostbare en repetitieve handmatige curatie vereist om ze te vernieuwen. De centrale uitdaging is om automatisch en continu uitdagende benchmarks op schaal te construeren die ware modelbeperkingen onthullen zonder te vertrouwen op menselijke intuïtie, die vaak niet overeenkomt met daadwerkelijke faalmodi van modellen (bijv. mensen kunnen "barokke muziek" als moeilijk ervaren, terwijl modellen falen op "betonnen metselwerk" vanwege gespecialiseerde terminologie).

Methodologie

De auteurs stellen een volledig automatisch kader voor dat het Internet behandelt als een effectief onbegrensde reservoir aan inhoud en de zoektocht naar moeilijke onderwerpen formaliseert als een Multi-Armed Bandit (MAB) probleem.

1. Constructie van de Onderwerpruimte

Het kader construeert een hiërarchische onderwerpruimte ( $T$ ) die begint bij brede zaadcategorieën (bijv. "wetenschap", "business") en deze recursief specialiseert in fijnere subonderwerpen met behulp van een geprompte LLM. Dit proces genereert een boom van ongeveer 3.200 bladeren onderwerpen (bijv. "corporate finance" $\to$ "cashflow-prognoses").

2. Sampling en Schatting van Moeilijkheid

Het systeem werkt via een sample-and-evaluate-lus:

Gegronde Generatie: Voor een geselecteerd onderwerp gebruikt een LLM Google Search om real-world fragmenten op te halen, waarbij tekst en bron-URL's worden geëxtraheerd om gronding te waarborgen.
Moeilijkheidsscore: Het kader genereert modeloutput voor de gesamplede tekst en schat de kwaliteit in.
- Machinevertaling (MT): Gebruikt GEMBA (een LLM-as-a-judge-maatstaf gebaseerd op Gemini-2.5-Pro) om een kwaliteitsscore toe te wijzen. Moeilijkheid wordt gedefinieerd als $100 - \text{kwaliteitsscore}$ .
- Kennisvragen en Antwoorden (KQA): Genereert feitelijke vraag-antwoordparen uit opgehaalde fragmenten. Moeilijkheid wordt geschat aan de hand van het foutpercentage over meerdere modelconfiguraties (bijv. met/zonder "denken" of zoeken).
Kostenmodel: Elke query (sampling + generatie + evaluatie) heeft een eenheidskosten. Het doel is om de top- $k$ moeilijkste onderwerpen te identificeren binnen een vast budget $B$ .

3. Zoekalgoritme: $\epsilon$ -Greedy

De zoektocht wordt gemodelleerd als een Best Arm Identification probleem. De auteurs vergelijken verschillende strategieën:

Brute-force: Willekeurige sampling (inefficiënt).
Greedy: Pure exploitatie van het momenteel beste onderwerp (vereist eerst het samplen van alle onderwerpen eenmaal, wat duur is).
$\epsilon$ -Greedy: Schakelt stochastisch tussen exploratie (sampling van niet-gesamplede onderwerpen met waarschijnlijkheid $\epsilon$ ) en exploitatie (sampling van het momenteel beste onderwerp met waarschijnlijkheid $1-\epsilon$ ).

De $\epsilon$ -greedy-strategie stelt het systeem in staat om vroeg te beginnen met het exploiteren van veelbelovende onderwerpen zonder te hoeven wachten tot elk onderwerp in de ruimte is gescoord, wat de benodigde budget om de moeilijkste inhoud te vinden aanzienlijk verlaagt.

Belangrijkste Resultaten

Efficiëntie en Kostenreductie

Zoekefficiëntie: $\epsilon$ -greedy identificeert moeilijkheidsniveaus die dicht bij die van een orakel liggen door slechts 6% van de zoekruimte te exploreren in de MT-taak en ~10% in de KQA-taak.
Kostenreductie: Dit vertegenwoordigt een 100 $\times$ kostenreductie in vergelijking met exhaustieve evaluatie. Bijvoorbeeld, het bereiken van een top-10 moeilijkheid van 19,7 kostte $104 met $\epsilon$ -greedy, terwijl brute-force $10.403 zou vereisen om vergelijkbare niveaus te bereiken.
Convergentie: $\epsilon$ -greedy convergeert naar accurate moeilijkheidsschattingen ( $\Delta < 0,12$ ) tegen stap 5.000, terwijl brute-force niet convergeert, zelfs niet bij stap 6.000.

Kwaliteit van de Benchmark

Superioriteit ten opzichte van Bestaande Benchmarks: De automatisch ontdekte onderwerpen (bijv. "Gevangenis vs. Jail", "Leasehold Estates") zijn aanzienlijk moeilijker dan subsets van WMT 2024/2025 en FLORES, ondanks een lagere gemiddelde woordtelling. Dit bevestigt dat de moeilijkheid voortkomt uit inhoudelijke complexiteit (terminologie, juridische nuance) en niet uit tekstlengte.
Robuustheid: De ontdekte moeilijkheid is robuust over:
- Talen: Hoge prestaties in zowel high-resource (Engels $\to$ Chinees) als lower-resource (Engels $\to$ Oekraïens) paren.
- Modellen: De uitdagingsonderwerpen blijven moeilijk voor frontier-modellen (Gemini-2.5-Pro) en open-source modellen (Gemma-3-27B).
- Maatstaven: Validatie met onafhankelijke maatstaven (MetricX) bevestigt dat de zoektocht niet louter misbruik maakt van de biases van de primaire schatter (GEMBA).

Foutenanalyse

Analyse van de ontdekte testset met AutoMQM onthult dat 90% van de fouten valt in de categorieën Terminologie (47,7%) en Accuraatheid (42,3%). Vloeiendheid- en stijlfouten zijn minimaal (~10%), wat aangeeft dat moderne LLM's vloeiendheid grotendeels hebben opgelost, en dat de resterende frontier ligt in domeinspecifieke terminologie en feitelijke accuraatheid. Verschillende modellen vertonen distincte foutprofielen op dezelfde data, wat bevestigt dat de benchmark echte, modelspecifieke zwaktes blootlegt.

Reproduceerbaarheid

De volledige pijplijn werd succesvol gerepliceerd met het open-source Gemma-27B-it model voor alle generatiestappen (onderwerpvoorstelling, tekstextractie, moeilijkheidsschatting), wat aantoont dat het kader niet afhankelijk is van propriëtaire frontier-modellen.

Betekenis en Claims

Het artikel claimt een pad te vestigen van statische, handmatig samengestelde benchmarks naar dynamische, automatisch geconstrueerde benchmarks die evolueren naarmate de modelcapaciteiten groeien.

Taakagnostisch Kader: De MAB-formulering werkt effectief over diverse taken (MT en KQA) zonder taakspecifieke aanpassingen.
Mitigatie van Proxy-Overoptimalisatie: De auteurs tonen aan dat het vertrouwen op een enkele maatstaf kan leiden tot "metric hacking". Zij stellen twee kosteloze mitigatiestrategieën voor: (1) Ensembling van architectonisch diverse maatstaven (bijv. GEMBA + MetricX) en (2) Vroege stopzetting geleid door een vastgehouden onafhankelijke maatstaf.
Schaalbaarheid: Het kader schaalt naar willekeurig grote onderwerpruimtes (getest tot 1 miljoen synthetische onderwerpen) met voorspelbare logaritmische winsten in moeilijkheid.
Toegankelijkheid voor de Gemeenschap: Door te bewijzen dat de pijplijn werkt met open-source modellen en door gedetailleerde prompts en pseudocode te verstrekken, maken de auteurs de constructie van uitdagende benchmarks toegankelijk voor de bredere onderzoeksgemeenschap, waardoor de afhankelijkheid van dure, gesloten APIs wordt verminderd.

Kortom, het werk betoogt dat het Internet, wanneer efficiënt wordt doorzocht via banditalgoritmen, een duurzame, goedkope bron van uitdagende inhoud biedt die de ware "staart" van modelprestatieverdelingen blootlegt, en zo de kritieke kwestie van benchmarkverzadiging aanpakt.