Technische Samenvatting: Evo-Bench – Kunnen taalmodellen de agent-harness verbeteren?

Probleemstelling

Hoewel Large Language Models (LLMs) de vooruitgang van autonome agenten hebben versneld, blijft de huidige evaluatie grotendeels beperkt tot statische taakoplossing binnen vaste, door mensen ontworpen "harnesses" (de codestructuren die redeneren, toolgebruik en geheugen orkestreren). Een cruciale grens is harness-evolutie: het vermogen van een agent om zijn eigen operationele harness autonoom te optimaliseren. Het systematisch benchmarken van dit vermogen wordt echter belemmerd door drie specifieke uitdagingen:

1. Harness-gevoeligheid: Standaard benchmarks falen vaak in het isoleren van harness-verbeteringen van de onderliggende kracht van het basismodel, waardoor het moeilijk is te bepalen of prestatiewinst voortkomt uit betere code of een slimmer model.
2. Cross-split Generalisatie: Bestaande evaluaties lopen het risico op taakspecifieke overfitting, waarbij validatie- en evaluatiesplits geen afgestemde responsiviteit vertonen op variaties in de harness.
3. Long-Horizon Evolutie: Het vastleggen van het vermogen om multi-ronde iteratieve verfijning (het diagnosticeren van fouten, het formuleren van hypothesen voor verbetering en het bijwerken van code) te behouden, blijft moeilijk.

De huidige literatuur mist een gecontroleerde omgeving om het intrinsieke vermogen van foundation models te evalueren om als long-horizon harness engineers te fungeren over heterogene domeinen.

Methodologie: Evo-Bench

Om deze uitdagingen aan te pakken, introduceren de auteurs Evo-Bench, de eerste benchmark die ontworpen is om de intrinsieke harness-evoluerende vermogens van modellen te evalueren. Het framework maakt gebruik van een nieuw harness-gestuurd constructieproces en een gecontroleerd evaluatieprotocol.

1. Benchmark Constructieframework

De constructie van Evo-Bench volgt een tweefasig proces om ervoor te zorgen dat taken werkelijk gevoelig zijn voor harness-verbeteringen:

• Fase 1: Auxiliaire Harness Generatie: De auteurs verzamelen een hulpset van taken (320 taken) die losstaat van de uiteindelijke benchmarks. Ze voeren onafhankelijke evolutie-experimenten uit op deze taken met vier frontier modellen (GLM-5.2, Claude-Opus-4.8, Claude-Sonnet-5, GPT-5.6-Sol) om een diverse set van 12 representatieve geëvolueerde harnesses ($H_{aux}$) te genereren.
• Fase 2: Harness-gestuurde Taakselectie: Kandidaattaken uit vijf gevestigde benchmarks (BrowseComp, HLE, GDPval, APEX-Agents, Claw-Eval) worden geëvalueerd tegen $H_{aux}$. Taken worden gefilterd op basis van Harness-gevoeligheid ($Sens(x)$), gedefinieerd als de Pearson-correlatie tussen de score van een taak en de algehele kwaliteit van de harnesses. Alleen taken met een positieve sensitiviteit en passende moeilijkheidsgraad worden geselecteerd.
• Gestratificeerde Splitsing: De uiteindelijke dataset wordt gesplitst in een zichtbare Validatiesuite ($D_{val}$, 160 taken) en een disjuncte Evaluatiesuite ($D_{eval}$, 448 taken) met behulp van sensitiviteitsbewuste gestratificeerde splitsing om distributionele consistentie te waarborgen en overfitting te voorkomen.

2. Evaluatieprotocol

• Domeinen: De benchmark beslaat drie domeinen: Search (webnavigatie), Office (documentverwerking) en General (diverse agent-taken).
• Proces: Een vast Policy Model ($\pi$) voert taken uit met een mutabele Policy Harness ($H_t$). Een Evolver ($E$), werkend via een vaste "evolve harness"-instructie, inspecteert iteratief foutpatronen, formuleert hypothesen en bewerkt $H_t$.
• Restricties: Het proces wordt begrensd door een resourcebudget (iteraties, tijd, stappen). De evolver heeft tijdens het proces alleen toegang tot $D_{val}$; $D_{eval}$ is gereserveerd voor de uiteindelijke beoordeling van de bevroren harness ($H_T$).
• Metrieken:
  • Overall Score: Prestaties op de uitgesloten $D_{eval}$.
  • Anytime Validation Score: Het gemiddelde van de beste tot nu toe behaalde validatieprestaties over het evolutiebudget, wat de efficiëntie van het evolutieproces meet.

Belangrijkste Bijdragen

1. Evo-Bench: Een nieuwe benchmark die het intrinsieke vermogen evalueert van LLM's om autonoom uitvoerbare code-harnesses te verfijnen over de domeinen Search, Office en General, bewegend voorbij statische taakoplossing.
2. Harness-gestuurd Constructieframework: Een methodologie die gebruikmaakt van hulp-taak-evolutie om harness-gevoelige taken te identificeren en sensitiviteitsbewuste gestratificeerde splitsing gebruikt om robuuste cross-suite generalisatie te garanderen.
3. Systematische Analyse van Harness-evolutie: Een uitgebreide evaluatie over negen frontier en open-weight modellen, die prestatiewinsten, temporele anomalieën (bijv. vroege verzadiging) en de overdraagbaarheid van geëvolueerde structuren karakteriseert.

Experimentele Resultaten

De auteurs evalueerden negen modellen (waaronder GPT-5.6-Sol, Claude Opus 4.8, GLM-5.2, Qwen3.7-Max en anderen) tegen een CodeAct seed harness en een door mensen ontworpen "Artificial Harness" baseline.

• Prestatiewinsten: Topmodellen behaalden enorme absolute winsten. GPT-5.6-Sol en Claude Opus 4.8 verbeterden de Overall Score respectievelijk met 16,6 en 16,1 punten, waarbij ze 46,3 en 45,8 bereikten. Deze scores benaderen de door mensen ontworpen baseline van 47,5 nauwgezet.
• Domeinspecifieke Variantie:
  • Search: Evolutie was zeer effectief; Claude Opus 4.8 won +34,8 punten, waarmee de menselijke baseline bijna werd evenaart. Modellen slaagden erin ontbrekende web-navigatie logica te synthetiseren.
  • General: Top evolvers (bijv. GPT-5.6-Sol, Qwen3.7-Max) overtroffen de door mensen ontworpen baseline, wat aantoont dat autonome redeneerstructuren in dit domein handmatige ontwerpen kunnen overtreffen.
  • Office: Modellen hadden aanzienlijke moeite, met marginale verbeteringen of lichte regressies. De auteurs schrijven dit toe aan de moeilijkheid van het ontdekken van zeer specifieke verwerkingsworkflows die vereist zijn voor office-taken.
• Temporele Anomalieën: Analyse onthulde vroege verzadiging, waarbij modellen snel hoogwaardige structuren ontdekken maar vaak schadelijke wijzigingen introduceren in latere rondes, wat leidt tot voortijdige beëindiging of prestatiedips.
• Overdraagbaarheid: Geëvolueerde harnesses vertoonden robuuste cross-policy generalisatie. Wanneer toegepast op verschillende policy-modellen (Qwen, DeepSeek, GLM), verhoogden de gesynthetiseerde harnesses de prestaties consistent, wat aangeeft dat ze fungeren als overdraagbare redeneerstructuren in plaats van te overfitten op de tekortkomingen van een enkel model.
• Kostenefficiëntie: Een Pareto-front analyse toonde een steile logaritmische trade-off tussen kosten en prestaties. Hoewel topresultaten aanzienlijke middelen vereisten (bijv. >$500 voor GPT-5.6-Sol), behaalden modellen zoals GLM-5.2 en Qwen3.7-Max sterke resultaten voor minder dan $40.

Betekenis en Claims

Het artikel beweert dat Evo-Bench een rigoureus, gecontroleerd framework biedt om echte harness-evoluerende capaciteit te onderscheiden van de kracht van het basismodel en stochastische ruis. De resultaten suggereren dat hoewel huidige frontier modellen het vermogen bezitten om te fungeren als autonome research engineers — met name in de domeinen Search en General — ze nog steeds de diepe systeem-niveau optimalisatie en persistentie missen van menselijke engineers, vooral in complexe Office-workflows.

De auteurs positioneren Evo-Bench als een fundamenteel testbed om toekomstig onderzoek naar zelf-evoluerende agent-architecturen te katalyseren. Ze stellen dat door het vermogen te versterken om causale foutpatronen te abstraheren en grootschalige architecturale refactoring uit te voeren, toekomstige modellen het potentieel hebben om menselijke experts in harness engineering consequent te overtreffen. Het artikel claimt niet dat het zelfverbetering heeft opgelost, maar biedt de eerste systematische metriek om deze specifieke evolutionaire capaciteit te meten en te benchmarken.