💻 computer science

BenchEvolver: Frontier Task Synthesis via Solution-Centric Evolution

BenchEvolver is een oplossingsgericht evolutionair framework dat bestaande programmeerproblemen automatisch transformeert naar moeilijkere, verifieerbare varianten door referentie-oplossingen te evolueren, waardoor hoogwaardige benchmarks zoals LiveCodeBench-Plus worden gecreëerd die de discriminatie van modellen herstellen en effectieve trainingssignalen bieden voor zelfverbetering.

Oorspronkelijke auteurs: Yangzhen Wu, Aaron J. Li, Wenjie Ma, Li Cao, Ziheng Zhou, Mert Cemri, Shu Liu, Yuran Xiu, Chenxiao Yan, Haikun Zhao, Bin Yu, Ion Stoica, Dawn Song

Gepubliceerd 2026-06-02

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Yangzhen Wu, Aaron J. Li, Wenjie Ma, Li Cao, Ziheng Zhou, Mert Cemri, Shu Liu, Yuran Xiu, Chenxiao Yan, Haikun Zhao, Bin Yu, Ion Stoica, Dawn Song

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een videogame voor waarin de spelers (AI-modellen) zo goed zijn geworden dat ze elk level met 100% nauwkeurigheid voltooien. De game-ontwerpers (menselijke onderzoekers) zitten vast omdat ze niet snel genoeg nieuwe levels kunnen maken om deze super-spelers uit te dagen. De oude levels zijn te makkelijk en het spel heeft zijn spanning verloren.

Dit paper introduceert BenchEvolver, een nieuwe tool die fungeert als een "Level-Up Engine" voor deze AI-games. In plaats van dat mensen proberen nieuwe, moeilijke problemen vanaf nul te verzinnen, neemt BenchEvolver een bestaand, makkelijk probleem en muteert dit automatisch naar iets dat veel moeilijker is, terwijl het er tegelijkertijd voor zorgt dat het nieuwe level nog steeds eerlijk en oplosbaar is.

Hier is hoe het werkt, onderverdeeld in eenvoudige concepten:

1. Het Probleem: De "Easy Mode" Valstrik

Op dit moment zijn AI-modellen zo geavanceerd dat ze bijna alle programmeerpuzzels kunnen oplossen. Het is als een student die elke vraag in het tekstboek uit zijn hoofd heeft geleerd. Wanneer ze een toets maken, halen ze overal een 10e cijfer. Dit is om twee redenen slecht:

We kunnen niet zien welke AI echt slimmer is, omdat ze allemaal perfecte scores halen.
De AI stopt met leren omdat het nooit een uitdaging tegenkomt die het niet kan oplossen.

2. De Oplossing: Eerst het "Antwoordmodel" Evolueren

De meeste eerdere pogingen om nieuwe problemen te maken werkten als volgt: "Laten we een nieuw verhaal schrijven over een wiskundeprobleem, en dan maar hopen dat een AI het kan oplossen." Dit leidt vaak tot kapotte puzzels of problemen die te vaag zijn.

BenchEvolver draait het om. In plaats van te beginnen met het verhaal (het probleem), begint het met het antwoordmodel (de oplossing-code).

De Metafoor: Stel je een meesterkok (de AI) voor die weet hoe hij een perfecte chocoladetaart moet bakken (de oplossing).
De Mutatie: BenchEvolver zegt tegen de kok: "Oké, bak nu een taart, maar je moet een geheim ingrediënt gebruiken dat de chemie verandert, en je mag niet dezelfde oveninstellingen gebruiken."
Het Resultaat: De kok schrijft een nieuw, complex recept (de geëvolueerde oplossing).
De Achterwaartse Stap: Zodra de kok dit nieuwe, moeilijke recept heeft, werkt BenchEvolver achterstevoren om de instructies voor de klant te schrijven (de probleemstelling) en creëert het een smaaktest (de tests) om te zien of de taart goed is geworden.

Omdat het probleem is gebouwd rondom een werkende, complexe oplossing, weten we met zekerheid dat de puzzel oplosbaar is en een duidelijk antwoord heeft.

3. De "Zelf-Uitdagende" Lus

Het coolste deel is dat BenchEvolver geen "superintelligente leraar" nodig heeft om de levels moeilijk te maken. Het gebruikt de AI zelf om de nieuwe levels te testen.

De AI probeert het nieuwe, gemuteerde probleem op te lossen.
Als de AI het goed oplost, is het level te makkelijk. BenchEvolver zegt: "Probeer het opnieuw, maak het moeilijker!"
Als de AI het fout heeft, maar de puzzel is nog steeds geldig, succes! We hebben een level gevonden dat de zwakte van de AI blootlegt.

Dit creëert een cyclus waarbij de AI een uitdaging genereert, probeert deze op te lossen, faalt, leert van de fout, en vervolgens een nog moeilijkere uitdaging genereert. Het is als een trainingspartner die sterker wordt elke keer dat je tegen hem vecht.

4. De Resultaten: Een Nieuwe "Hard Mode" Competitie

De onderzoekers hebben dit getest op twee grote sets programmeerpuzzels:

LiveCodeBench: Competitieve programmeerpuzzels (zoals Codeforces).
SciCode: Wetenschappelijke programmeerpuzzels voor onderzoek.

Wat gebeurde er?

Moeilijkheidsgraad Schoot Omhoog: Ze namen problemen waarbij AI-modellen voorheen 90–99% correct scoorden. Na de evolutie daalde hetzelfde model naar 27–62% correct. De "Easy Mode" werd succesvol omgezet in "Hard Mode."
Nieuwe Benchmark: Ze creëerden LIVECODEBENCH-PLUS, een collectie van 91 supermoeilijke problemen. Deze nieuwe testset kan eindelijk weer het verschil tussen de top AI-modellen aangeven.
Trainingskracht: Wanneer ze deze nieuwe, moeilijke problemen gebruikten om de AI te trainen (met een methode genaamd Reinforcement Learning), werd de AI aanzienlijk beter in het oplossen van andere moeilijke problemen die het nog nooit eerder had gezien.

Samenvatting

Beschouw BenchEvolver als een sportschool voor AI. In plaats van te wachten tot mensen nieuwe, zware gewichten bouwen, tilt de AI de bestaande gewichten op, voegt er meer schijven aan toe, en probeert vervolgens de nieuwe, zwaardere versie te tillen. Als de AI het niet kan tillen, leert hij hoe hij sterker kan worden.

Het paper bewijst dat door eerst de oplossingen te evolueren en dan achterstevoren naar de problemen te werken, we automatisch een oneindige stroom van hoogwaardige, moeilijke uitdagingen kunnen creëren die AI-modellen scherp houden en ons werkelijke voortgang meten.

Technische Samenvatting: BenchEvolver: Frontier Taak-synthese via Oplossingsgerichte Evolutie

Probleemstelling

De snelle vooruitgang van frontier Large Language Models (LLM's) heeft geleid tot de verzadiging van veelgebruikte programmeerbenchmarks. Op datasets zoals LiveCodeBench behalen state-of-the-art modellen bijna perfecte pass rates (bijv. >99% op de 'easy' splits, >90% gemiddeld), wat deze benchmarks ineffectief maakt voor het differentiëren van modelcapaciteiten of het bieden van betekenisvolle trainingsgradiënten. Hoewel menselijke constructie van nieuwe, uitdagende datasets mogelijk is, is dit duur en moeilijk schaalbaar. Bestaande methoden voor synthetische datageneratie volgen vaak een asymmetrisch leraar-leerling paradigma (waarbij een sterker model data genereert voor zwakkere modellen) of opereren op instructieniveau zonder de validiteit van de onderliggende uitvoerbare taak (opgave, oplossing en tests) te waarborgen. Bijgevolg ontbreekt het aan mechanismen voor frontier-modellen om geldige, verifieerbare en moeilijke taken te genereren die de generator zelf uitdagen, een vereiste voor closed-loop zelfverbetering.

Methodologie: BenchEvolver

De auteurs introduceren BenchEvolver, een oplossingsgerichte evolutionaire framework ontworpen om verzadigde programmeertaken te transformeren naar moeilijkere, verifieerbare varianten. In tegenstelling tot traditionele benaderingen die eerst een probleemstelling genereren en vervolgens proberen een oplossing te vinden, draait BenchEvolver deze pipeline om:

Oplossingsgerichte Evolutie: Het proces begint met de referentie-oplossing ( $C$ ) van een seed-taak. Een Proposer muteert deze oplossing naar een nieuwe, structureel verschillende referentie-oplossing ( $C'$ ). Deze mutatie wordt gestuurd door het doel om een "dominante algoritmische lift" te introduceren — een substantiële verandering (bijv. het vereisen van een nieuwe datastructuur, een andere complexiteitsklasse, of een wiskundige herformulering) die de ouder-oplossing ontoereikend maakt.
Afleiding van Taakcomponenten: Zodra $C'$ is vastgesteld, leidt het framework de natuurlijke taal probleemstelling ( $S'$ ), publieke voorbeelden en verborgen testsuites ( $T'$ ) direct af van de geëvolueerde oplossing. Dit zorgt ervoor dat de taak geworteld is in uitvoerbare semantiek.
Verificatie en Empirische Selectie: Een Evaluator valideert de kandidaat-taak ( $I' = (S', C', T', E)$ ) via benchmark-specifieke consistentiecontroles (bijv. triangulatie tussen de referentie-oplossing, een brute-force solver en een statement-only oracle voor competitief programmeren; het gebruik van statement-getrouwheid-controles voor wetenschappelijk programmeren). Cruciaal is dat moeilijkheidsgraad niet heuristisch wordt toegewezen maar empirisch wordt gemeten: een kandidaat wordt alleen geaccepteerd als deze resulteert in een lagere pass rate voor een doelpanel van modellen vergeleken met de seed.
Geheugengestuurde Zoektocht: Het framework maakt gebruik van lokale en globale geheugenmodules. Het lokale geheugen houdt de afstamming van een specifieke seed bij (geaccepteerde mutaties, redenen voor falen), terwijl het globale geheugen geaccepteerde mutatiefamilies over alle seeds heen registreert om diversiteit te stimuleren en redundante exploratie te voorkomen. Dit stuurt de Proposer aan om herhaalde fouten te vermijden en onderscheidende algoritmische richtingen te verkennen.

Belangrijkste Bijdragen

BenchEvolver Framework: Een nieuw, closed-loop framework dat verzadigde programmeertaken evolueert door eerst referentie-oplossingen te muteren, en vervolgens de opgaven en tests af te leiden. Dit ontwerp zorgt ervoor dat taken uitvoerbaar en verifieerbaar zijn zonder een strikt sterkere "leraar"-model te vereisen.
Cross-Domain Validatie: Het framework wordt gedemonstreerd te werken over twee verschillende uitvoerbare programmeerdomeinen: competitief programmeren (LiveCodeBench) en wetenschappelijk programmeren (SciCode), waarbij het geldige, diverse en substantieel moeilijkere taken produceert in beide gevallen.
LIVECODEBENCH-PLUS: De auteurs cureren een nieuwe 91-problemen benchmark die geëvolueerde taken combineert met moeilijke originele LiveCodeBench-v6 problemen. Deze benchmark herstelt de duidelijke discriminatie tussen frontier-modellen, met Pass@1 scores variërend van 27,5% tot 62,6%.
Zelfverbeteringssignaal: Het paper levert bewijs dat geëvolueerde taken effectieve trainingssignalen vormen voor het model dat ze genereerde. Reinforcement Learning (RL) op geëvolueerde taken verbetert de helder-gehouden programmeerprestaties buiten de oorspronkelijke seed-set alleen.

Resultaten

Taakmoeilijkheid en Validiteit: Toegepast op LiveCodeBench en SciCode, genereert BenchEvolver succesvol geldige geëvolueerde taken die de pass rates van doelmodellen aanzienlijk verlagen. Bijvoorbeeld, op LiveCodeBench Hard seeds daalde de gemiddelde Pass@1 over modellen van 87,0% naar 45,7% op geëvolueerde taken.
Algoritmische Diversiteit: Menselijke evaluatie door experts in competitief programmeren toonde aan dat geëvolueerde taken het algoritmische oppervlak verbreden. Terwijl seed-problemen gedomineerd werden door "Search/simulation" (32,7%), verdeelden geëvolueerde taken de massa over geavanceerde categorieën zoals HLD/LCT, AC automata en polynomiale methoden. Het aantal onderscheidende algoritmische categorieën steeg van 19 in de seeds naar 30 in de geëvolueerde set.
RL Prestatiewinst: Door gpt-oss-20b te gebruiken als zowel de evolver als het doelmodel, leverde training op een mix van seed- en geëvolueerde taken significante winsten op helder-gehouden benchmarks:
- LCB v6 Hard: +8,7 Pass@1 winst ten opzien van de seed-only baseline (een relatieve verbetering van 70,7% over de seed-only winst).
- LCB-Pro Easy: +8,3 Pass@1 winst ten opzien van de seed-only baseline (een relatieve verbetering van 34,8%).
- Transfer: Training op zelf-gegenereerde geëvolueerde taken verbeterde ook de prestaties op een onafhankelijk geëvolueerde benchmark (gegenereerd door Gemini-3-Flash), wat suggereert dat het signaal zich verspreidt buiten de specifieke distributie van de generator.

Betekenis en Claims

Het paper claimt dat BenchEvolver de bottleneck van benchmark-verzadiging aanpakt door statische, verzadigde datasets om te zetten in frontier-niveau evaluatie-suites en herbruikbare trainingssignalen. De kern van de betekenis ligt in het oplossingsgerichte ontwerp, dat de taakgeneratie fundeert in uitvoerbare semantiek, waardoor moeilijkheidsgraad een eigenschap is van de berekening in plaats van oppervlakkige complexiteit.

De auteurs stellen dat deze benadering een mechanisme voor closed-loop zelfverbetering mogelijk maakt: modellen kunnen inference-time computation gebruiken om hun eigen zwaktes te ontdekken, deze mislukkingen om te zetten in geverifieerde trainingsomgevingen en zichzelf te verbeteren via RL. Dit gaat verder dan de traditionele visie op benchmarks als statische artefacten die onvermijdelijk verzadigen, en stelt in plaats daarvan een "levende benchmark" paradigma voor waarbij evaluatie- en trainingsdatasets meeevolueren met modelcapaciteiten. De resultaten suggereren dat geëvolueerde taken niet louter moeilijkere evaluatie-items zijn, maar actieve trainingssignalen bieden die modellen helpen verbeteren op moeilijke programmeerregimes die buiten hun oorspronkelijke trainingsdistributie liggen.