🤖 AI

OPT-BENCH: Evaluating the Iterative Self-Optimization of LLM Agents in Large-Scale Search Spaces

Dit artikel introduceert OPT-BENCH, een benchmark die machine learning en NP-hard taken combineert om de zelfoptimalisatiecapaciteiten van LLM-agenten te evalueren, en stelt het OPT-Agent-kader voor, waaruit blijkt dat hoewel sterkere modellen feedback beter benutten voor iteratieve verbetering, hun aanpassingsvermogen fundamenteel beperkt blijft door de basiscapaciteit en onderblijft van de prestaties van menselijke experts.

Oorspronkelijke auteurs: Xiaozhe Li, Jixuan Chen, Xinyu Fang, Shengyuan Ding, Haodong Duan, Qingwen Liu, Kai Chen

Gepubliceerd 2026-05-12

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Xiaozhe Li, Jixuan Chen, Xinyu Fang, Shengyuan Ding, Haodong Duan, Qingwen Liu, Kai Chen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een zeer slim robotassistent voor. Je geeft het een taak, het probeert deze op te lossen, en als het faalt, zeg je: "Hé, dat werkte niet, probeer het opnieuw." De grote vraag die dit artikel stelt is: Kan deze robot echt leren van zijn fouten en zelfstandig beter worden, of blijft hij gewoon blindelings gissen?

De auteurs hebben een nieuwe test ontwikkeld genaamd OPT-BENCH om dit uit te zoeken. Denk hierbij aan een "Gym voor Robotbreinen" waar ze 19 verschillende AI-modellen door een rigoureuze training sturen om te zien of ze werkelijk zichzelf kunnen verbeteren.

Hier is een overzicht van wat ze deden en wat ze ontdekten, met gebruikmaking van eenvoudige analogieën:

1. De Twee Soorten Gyms (De Benchmark)

De onderzoekers gaven de robots niet slechts één type puzzel. Ze bouwden twee zeer verschillende soorten uitdagingen om te zien hoe de robots ermee omgingen:

De "Vlotte Helling" (Machine Learning Taken):
Stel je voor dat je een radio probeert af te stemmen om het helderste signaal te krijgen. Je draait de knop een beetje, het geluid wordt iets beter. Je draait nog een beetje, het wordt nog beter. Dit is een continue ruimte. De feedback is een getal (zoals "95% nauwkeurigheid").
- De Test: De robots moesten computercode aanpassen om real-world data-problemen op te lossen (zoals het voorspellen van huizenprijzen of verkopen).
- Het Resultaat: De slimme robots waren hier uitstekend in. Ze luisterden naar de "volumeknop" (de feedbackgetallen) en maakten kleine, slimme aanpassingen om dichter bij het perfecte signaal te komen.
De "Ruwe Berg" (NP-Hard Problemen):
Stel je nu voor dat je een doolhof probeert op te lossen of een legpuzzel met gekartelde stukken. Als je één stuk verplaatst, kan het hele plaatje kapot gaan. Er is geen "iets beter" positie; het is óf een geldige oplossing óf een puinhoop. Dit is een discrete ruimte.
- De Test: De robots moesten klassieke logica-puzzels oplossen, zoals het "Reizende Verkoper Probleem" (de kortste route vinden om vele steden te bezoeken) of het kleuren van een kaart zodat geen aangrenzende gebieden dezelfde kleur hebben.
- Het Resultaat: Hier hadden de robots moeite. Wanneer ze een "Fout" signaal kregen, konden ze vaak niet uitzoeken hoe ze precies één stuk konden repareren. In plaats van het kapotte puzzelstuk te herstellen, gooiden ze vaak het hele puzzel weg en begonnen ze opnieuw vanaf nul. Ze konden de "berg" niet stap voor stap beklimmen.

2. De Strategie van de Robot (OPT-Agent)

Om dit te testen, bouwden de auteurs een raamwerk genaamd OPT-Agent. Denk hierbij aan een "Menselijke Leerlus". In plaats van de robot slechts een prompt te geven en te wachten op een antwoord, doorloopt de robot drie stappen herhaaldelijk:

Concept: Het probeert een oplossing.
Geheugen: Het kijkt naar wat er eerder gebeurd is (Ging het mis? Ging de score omhoog?).
Redenering: Het denkt: "Oké, vorige keer deed ik X en het mislukte. Ik moet Y veranderen." Dan probeert het het opnieuw.

3. Wat Ze Ontdekten (De Resultaten)

Ze testten 19 verschillende AI-modellen, variërend van kleine, goedkope modellen tot enorme, dure "super-breinen".

Groter is Beter (Maar Alleen Soms): De grootste, krachtigste modellen waren veel beter in het leren van feedback dan de kleine modellen. Het is alsof een promovendus veel sneller leert van een fout dan een middelbare scholier.
De "Denkende" Modellen Winnen: Modellen die specifiek zijn ontworpen om te "denken" voordat ze spreken (met behulp van een techniek genaamd Chain-of-Thought) presteerden aanzienlijk beter, vooral bij de moeilijke logica-puzzels. Ze waren beter in het begrijpen waarom ze faalden.
De Menselijke Kloof: Zelfs de beste robots ter wereld konden het niveau van een menselijk expert nog niet bereiken.
- Bij de "Vlotte Helling" (datataken) kwamen ze vrij dicht bij de menselijke prestatie.
- Bij de "Ruwe Berg" (logica-puzzels) botsten ze tegen een muur. Ze konden een beetje verbeteren, maar ze konden de top van de berg niet bereiken zoals een mens dat zou kunnen.

4. De Grote Conclusie

Het artikel concludeert dat AI, hoewel het steeds beter wordt in het aanpassen van getallen en het regelen van instellingen (zoals het afstemmen van een radio), nog steeds het diepe, structurele redeneren mist dat nodig is om kapotte logica-puzzels stukje bij beetje te repareren.

Kortom: AI is geweldig in "fine-tuning" maar worstelt nog steeds met "heropbouwen". Het kan leren om een auto beter te besturen door naar het motorgeluid te luisteren, maar het heeft moeite om een kapotte motor te repareren wanneer de auto stopt met werken. De auteurs zeggen dat dit een grote hindernis is voor het creëren van echt autonome, zichzelf verbeterende AI.

Technische Samenvatting: OPT-BENCH

Probleemstelling

Hoewel Large Language Models (LLM's) opmerkelijke capaciteiten hebben aangetoond op het gebied van redeneren en het gebruik van hulpmiddelen, worden hun fundamentele cognitieve vermogens – perceptie, redeneren en geheugen – vaak geëvalueerd via statische, single-pass benchmarks. Deze evaluaties negeren de kritieke menselijke capaciteit van iteratieve zelfoptimalisatie: het vermogen om oplossingen continu te verfijnen als reactie op dynamische omgevingsfeedback. Bestaande benchmarks meten voornamelijk het vermogen van een model om correcte antwoorden te genereren in één poging of focussen op taakvoltooiing via het gebruik van hulpmiddelen, en falen erin om te beoordelen of agenten kunnen aanpassen door intrinsieke zelfreflectie in plaats van door uit het hoofd te leren of brute-force berekening. Er ontbreekt een unified raamwerk om te evalueren hoe agenten complexe zoekruimtes navigeren door te leren van ervaring, met name door onderscheid te maken tussen continue optimalisatie en discrete combinatorische redenering.

Methodologie

OPT-BENCH: De Benchmark

Om deze kloof aan te pakken, introduceren de auteurs OPT-BENCH, een uitgebreide benchmark ontworpen om zelfverbeteringscapaciteiten in grote zoekruimtes te evalueren. Het integreert 30 distincte taken verdeeld over twee contrasterende feedbacklandschappen:

Continue Parametrische Optimalisatie (ML-taken): 20 real-world Machine Learning-taken afkomstig van Kaggle. Deze taken omvatten continue zoekruimtes waar feedback ruwe maar directionele gradiënten biedt (bijvoorbeeld het verbeteren van validatie-accuraatheid of het verminderen van MSE).
Discrete Combinatorische Redenering (NP-taken): 10 klassieke NP-hard problemen (bijvoorbeeld Hamiltoniaanse Cyclus, Travelling Salesman Problem, Graph Coloring). Deze vertegenwoordigen discrete combinatorische ruimtes gekenmerkt door breekbare constraints en lokale optima, waar feedback vaak binair is (Geldig/Ongeldig) of specifieke foutsporen biedt zonder directionele gradiënten.

De benchmark stelt rigoureuze baselines vast:

Ondergrens: Een "Random Rollout" waarbij de agent oplossingen genereert zonder historische context (geheugenloos).
Bovengrens: Menselijke Expert Baselines, afgeleid van Kaggle Gold Medal-oplossingen voor ML-taken en Menselijke-Expert Heuristieken (bijvoorbeeld Simulated Annealing) voor NP-taken, die een redeneerplafond vertegenwoordigen in plaats van brute-force optima.

OPT-Agent: Het Evaluatiekader

De auteurs stellen OPT-Agent voor, een raamwerk dat een mensachtige cognitieve aanpassingslus nabootst bestaande uit Perceptie–Geheugen–Redenering. In tegenstelling tot complexe agent-architecturen die vertrouwen op geengineerde prompts of externe oplosprogramma's, werkt OPT-Agent via drie iteratieve fasen:

Opstellen (Initialisatie): De agent genereert een eerste hypothese (een Python-script voor ML, een discrete structuur voor NP) om de optimalisatie op gang te brengen.
Verbeteren (Verfijning): Na het vinden van een geldige oplossing, haalt de agent historische context op (vorige code/paden, metrieken, feedbacktrends) om inductief redeneren uit te voeren (aanpassen van hyperparameters) of deductieve logica toe te passen (verfijnen van discrete structuren).
Debuggen (Correctie): Wanneer de omgeving een faalsignaal teruggeeft (runtime-fout of constraint-overtreding), analyseert de agent foutlogboeken om fouten te diagnosticeren en te herstellen vanuit ongeldige staten.

Experimentele Opstelling

De studie evalueert 19 LLM's uit 7 model-families, variërend van 3B tot 235B parameters, inclusief propriëtaire modellen (bijvoorbeeld GPT-4o, Claude-3.5), redeneringsmodellen (bijvoorbeeld o3-mini, Deepseek-V3.1-Thinking) en open-source modellen. De evaluatiemetrics omvatten:

Win Aantal: Het aantal taken waar de agent de geheugenloze baseline overtreft.
Verbeteringsrate (IR): De relatieve prestatiewinst ten opzichte van de baseline.
Expert Gap (EG): De genormaliseerde afstand tussen de uiteindelijke oplossing van de agent en de menselijke expert-baseline.
Buggy Rate: Het aandeel ongeldige oplossingspogingen.

Belangrijkste Resultaten

1. Schaalwet van Zelfverbetering

Er bestaat een sterke correlatie tussen modelschaal en zelfoptimalisatie-capaciteit. Grotere modellen zijn aanzienlijk effectiever in het benutten van historische feedback. Bijvoorbeeld, in ML-taken bereikt het 72B-parametermodel (Qwen2.5-72B) een Expert Gap van 0,45, terwijl het 7B-model slechts 0,20 bereikt. Kleinere modellen interpreteren complexe foutsporen vaak als ruis vanwege beperkt semantisch werkgeheugen, terwijl grotere modellen emergente capaciteiten vertonen voor multi-staps inductief redeneren.

2. Divergentie tussen Continue en Discrete Domeinen

Het paper onthult een fundamentele divergentie in hoe LLM's verschillende zoekruimtes hanteren:

Continue (ML) Domeinen: Sterke modellen functioneren effectief als inductieve optimalisatoren. Ze interpreteren numerieke feedback als directionele gradiënten om zelfoptimalisatie te sturen. Propriëtaire modellen zoals GPT-4o bereiken dominante Win Counts (18/2) ten opzichte van random baselines, wat bevestigt dat prestatiewinsten voortkomen uit doelgerichte, geschiedenisgedreven verfijning.
Discrete (NP) Domeinen: Omgevingsfeedback levert afnemende meeropbrengst op. Discrete errorsignalen (bijvoorbeeld "Ongeldige Cyclus") missen directionele gradiënten, waardoor het voor modellen moeilijk is deze om te zetten in structurele reparaties. Gevolg is dat zelfoptimalisatie vaak degenereren tot "random search met geheugen". Zelfs frontier-modellen worstelen met incrementele verfijning in combinatorische ruimtes en resetten oplossingen vaak in plaats van ze te repareren.

3. De Rol van Redeneringsmodellen

Redeneringsmodellen (die Chain-of-Thought gebruiken) presteren consequent beter dan algemene instructie-getrainde modellen, met name in NP-taken. Bijvoorbeeld, Deepseek-V3.1-Thinking bereikt een buggy rate van 0,00 en de hoogste Expert Gap (~0,79) in NP-taken. Dit suggereert dat CoT-redenering essentieel is voor het handhaven van globale topologische consistentie en het verifiëren van oplossingsvaliditeit, een capaciteit die vaak ontbreekt bij standaardmodellen.

4. Temperatuur en Exploratie

De studie vindt dat optimale temperatuur-instellingen verschillen per domein:

ML: Deterministische decoding ( $T=0$ ) maximaliseert prestaties door strikt vast te houden aan directionele feedbacksignalen.
NP: Matige stochasticiteit ( $T=0,2$ ) leidt vaak tot lagere buggy rates door agenten te helpen lokale optima te ontsnappen in "ruwe" landschappen, terwijl $T=0$ kan leiden tot fixatie op ongeldige structurele patronen.

Betekenis en Claims

Het paper claimt dat OPT-BENCH een rigoureuze setting biedt om te beoordelen of agenten kunnen aanpassen door intrinsieke zelfreflectie in plaats van door rote toepassing van hulpmiddelen. De primaire bijdragen zijn:

Een Nieuwe Benchmark: Het naast elkaar plaatsen van continue (ML) en discrete (NP) taken om intrinsieke zelfoptimalisatie te evalueren, verdergaand dan single-pass correctheid.
Een Cognitief Kader: Het introduceren van OPT-Agent om de menselijke perceptie-geheugen-redeneringslus te simuleren, waardoor de beoordeling mogelijk wordt van hoe modellen historische omgevingsfeedback benutten.
Empirische Inzichten: Het onthullen dat hoewel sterke modellen uitblinken in inductieve optimalisatie in continue ruimtes, ze fundamentele redeneerbarrières ondervinden in discrete combinatorische verfijning.

De auteurs concluderen dat er een aanzienlijke kloof blijft bestaan tussen zelfs de sterkste LLM's en menselijke expert-prestaties. Huidige "Zelfoptimalisatie" lijkt in wezen een lokaal zoekmechanisme te zijn dat begrensd wordt door de inherente redeneerdiepte van het model. Het bereiken van ware autonome optimalisatie vereist globale planning en hoog-niveau redeneercapaciteiten die huidige modellen nog niet volledig onder de knie hebben, wat een belangrijke richting markeert voor toekomstig AGI-onderzoek. Het paper noteert bescheiden dat de huidige resultaten beperkt zijn door de scope van 30 taken en de uitsluiting van de allerlaatste modelreleases (bijvoorbeeld Gemini 3, GPT-5) vanwege resource-beperkingen.