🤖 AI

The Optimizer Is the Agent: Reasoning-Driven Search across Prompts, Programs, and ML Workflows

Het artikel introduceert ReASearch, een verenigd framework waarin een enkele redeneergestuurde agent autonoom het gehele optimalisatieproces voor prompts, programma's en ML-workflows beheert, waardoor complexe zoekbeleid effectief wordt geïnternaliseerd en gespecialiseerde systemen over diverse taken heen wordt overtroffen.

Oorspronkelijke auteurs: Junbo Li, Boyi Liu, Canwen Xu, Yite Wang, Yuxiong He, Zhangyang Wang, Qiang Liu, Zhewei Yao

Gepubliceerd 2026-08-10

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Junbo Li, Boyi Liu, Canwen Xu, Yite Wang, Yuxiong He, Zhangyang Wang, Qiang Liu, Zhewei Yao

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren een puzzel op te lossen, een gedicht te schrijven of een personage in een videogame te trainen om te winnen. In de wereld van kunstmatige intelligentie wordt dit "optimalisatie" genoemd. Meestal treden mensen op als de strenge coaches aan de zijlijn. Zij ontwerpen een rigide strijdplan: "Probeer dit, probeer dan dat, en als het mislukt, ga dan terug en probeer iets anders." De robot (een groot taalmodel) is slechts de speler die blindelings bevelen opvolgt om kleine wijzigingen aan te brengen, terwijl de menselijke coach de grote strategie bepaalt. Maar wat als de robot ook de coach zou kunnen zijn? Wat als de robot naar de scorebord kan kijken, kan begrijpen waarom hij heeft verloren, kan besluiten de regels van het spel te veranderen, of zelfs kan beseffen dat hij vastloopt en een compleet nieuwe aanpak nodig heeft—alleen op eigen kracht? Dit artikel onderzoekt precies die vraag: Kan een enkele, slimme AI-agent leren om zijn eigen zoektocht naar de beste oplossing te beheren, zonder een door een mens geschreven script dat hem vertelt hoe hij moet denken?

De onderzoekers achter deze studie, gepubliceerd op de COLM 2026 conferentie, introduceren een nieuw systeem genaamd ReASearch. Zie het als het overhandigen van een Zwitsers zakmes aan de robot in plaats van alleen een hamer. In het verleden waren AI-optimizers als een fabrieksassemblagelijn met een vaste lopende band: een door mensen ontworpen algoritme bepaalde welke kandidaat-oplossing als volgende getest moest worden, hoeveel tijd eraan besteed moest worden en wanneer er opgegeven moest worden. De enige taak van de AI was om een kleine aanpassing aan de huidige oplossing te fluisteren. ReASearch draait het scenario om. Het geeft de AI-agent een set gereedschappen—zoals een Python-interpreter om code uit te voeren, een geheugendocument om eerdere fouten te onthouden, en de mogelijkheid om experimenten uit te voeren—en laat de agent vervolgens alles zelf beslissen. De agent vraagt zichzelf af: "Moet ik dit idee eerst op een kleine steekproef testen? Heb ik zojuist twee keer dezelfde fout gemaakt? Moet ik mijn huidige plan weggooien en teruggaan naar een beter plan dat ik eerder heb geprobeerd?" De agent raadt niet alleen maar; de agent redeneert door het proces en bouwt gaandeweg een strategie op.

Het team testte deze "zelf-coachende" agent op 14 verschillende uitdagingen, variërend van het verfijnen van tekstprompts om ze slimmer te maken, tot het evolueren van computerprogramma's om wiskundige puzzels op te lossen, en zelfs het optimaliseren van workflows voor het trainen van machine learning. De resultaten waren verrassend sterk. In veel gevallen versloeg ReASearch gespecialiseerde systemen die door menselijke experts waren gebouwd met specifieke, hard-gecodeerde regels. Bijvoorbeeld, in een taak genaamd "Circle Packing" (het zo strak mogelijk in een vierkant passen van cirkels), ontdekte de agent oplossingen die beter waren dan de best bekende resultaten die mensen tot nu toe hadden gevonden. In andere taken verbeterde de prestatie met ergens tussen de 2% en een enorme 40%.

Wat echt fascinerend is, is hoe de agent het deed. De onderzoekers ontdekten dat de agent van nature begon te handelen als een ervaren wetenschapper of een grootmeester bij schaken, ook al was dat niet gezegd. De agent begon veelbelovende ideeën te "dubbelchecken" voordat hij zich er volledig op committeerde. De agent leerde om terug te keren naar eerdere, veiligere versies van een oplossing wanneer een nieuw pad in een doodlopende weg uitliep. De agent begon een "lessen geleerd"-dagboek bij te houden om te voorkomen dat dezelfde fouten werden herhaald. Het meest indrukwekkend was dat de agent ontdekte dat je soms twee verschillende technieken moet combineren om een probleem op te lossen, een ontdekking die normaal gesproken diep menselijk inzicht vereist. Het artikel suggereert dat wanneer je een AI de juiste instrumenten geeft en het laat redeneren door het proces, de AI complexe zoekstrategieën kan internaliseren die we voorheen dachten dat een door mensen ontworpen algoritme nodig hadden om te beheren. Het blijkt dat de optimizer niet een aparte, rigide controller hoeft te zijn; de optimizer kan de agent zelf zijn.

Technische Samenvatting: De Optimizer Is de Agent (ReASearch)

Probleemstelling

Het optimaliseren van tekstgebaseerde artefacten—specifiek systeemprompts, programma's en machine learning (ML)-workflows—blijft een centrale uitdaging in de moderne AI. Traditionele benaderingen vertrouwen doorgaans op externe, handmatig ontworkte algoritmische controllers (bijv. evolutionaire zoekopdrachten, bandits, Bayesiaanse optimalisatie of tekstuele gradiënten) om het zoekbeleid te beheren. In deze kaders fungeren Large Language Models (LLMs) slechts als staatloze "mutatoren" of "voorstelgeneratoren" die lokale wijzigingen uitvoeren binnen een rigide, vooraf gedefinieerde lus. De auteurs stellen dat deze scheiding een fundamentele vraag onbeantwoord laat: Hoeveel van het zoekbeleid kan worden geïnternaliseerd door een enkele redenerende agent?

Methodologie: ReASearch

Het papier introduceert ReASearch (Reasoning-driven Agentic Search), een verenigd, "controller-licht" framework dat een tool-gebruikende LLM-agent volledig de controle geeft over de optimalisatielus. In plaats van te vertrouwen op een externe wiskundige meta-heuristiek om exploratie, budgetallocatie en kandidaatselectie aan te sturen, legt ReASearch het gehele optimalisatieproces bloot als een reeks tools die de agent autonoom kan aanroepen.

Kernarchitectuur

Unified Agent Loop: Het systeem maakt gebruik van een enkel, taak-agnostisch agent-scaffold. De agent ontvangt een systeemprompt met domeingids en de huidige optimalisatiestatus, samen met zijn interactiegeschiedenis.
Tool-gebaseerde Interface: Alle optimalisatie-operaties zijn verpakt als tools. De agent beslist welke tool hij als volgende aanroept op basis van zijn redenering. Belangrijke tools zijn:
- Executie & Analyse: python_exec stelt de agent in staat om analyse-scripts te schrijven, statistieken te berekenen en foutpatronen programmatisch te diagnosticeren.
- Evaluatie: Domeinspecifieke tools (bijv. validate_candidate, run_experiment, evaluate) stellen de agent in staat om hypothesen te testen.
- Bewerking: Tools zoals edit_code of edit_train_file sturen wijzigingen naar sub-agents om de context van de hoofdagent schoon te houden.
- Geheugen: Een persistent lessons.md-bestand en mechanismen voor contextcompressie stellen de agent in staat om inzichten op lange termijn te behouden (wat werkte, wat faalde, en wat de volgende stap is) over contextvensters heen.
Domeinadaptatie: Dezelfde agent-scaffold wordt toegepast op drie verschillende domeinen door enkel de beschikbare tools en de systeemprompt te wijzigen:
1. Prompt Optimalisatie: De agent samplet adaptief trainings-minibatches, evalueert kandidaten op validatiesets (met geaggregeerde metrieken om overfitting te voorkomen) en diagnosticeert faalmodi.
2. Programma Evolutie: De agent wijzigt iteratief code voor single-instance harde problemen (bijv. ARC-AGI-2, circle packing), waarbij sub-agents worden gebruikt voor codebewerking en verificatie, terwijl een persistente redeneringscontext wordt behouden voor hypothesevorming.
3. ML Workflow Optimalisatie: De agent wijzigt trainingsscripts, voert tijdgebonden experimenten uit en analyseert trainingscurves om knelpunten te diagnosticeren (bijv. learning rate schedules, architectuurkeuzes, regularisatie).

Emergente Gedragingen

Het paper observeert dat complexe zoekgedragingen, die normaal gesproken door expliciete controllers worden geïmplementeerd, natuurlijk emergeren uit het redeneerproces van de agent zonder dat ze hard-coded zijn:

Dubbele Verificatie: Het opnieuw controleren van veelbelovende winsten op aanvullende samples voordat men overgaat tot dure validatie.
Hypothese-gestuurde Revisie: Het vormen van structurele hypothesen op basis van geaccumuleerde bewijslast en het testen daarvan.
Herstel via Reversie: Het doelbewust terugkeren naar eerdere, bekende goede takken wanneer een pad faalt, in plaats van blind door te gaan.
Adaptieve Exploratie: Het aanpassen van zoekstrategieën op basis van budgetbeperkingen en geobserveerde variantie.

Belangrijkste Bijdragen

Verenigd Framework: ReASearch presenteert tekstgebaseerde optimalisatie als een sequentieel redeneerprobleem, en demonstreert dat een enkele agent-ontwerp prompts, programma's en ML-workflows kan optimaliseren.
Prestatiewinsten: Over 14 diverse taken heen presteert ReASearch consistent gelijk aan of beter dan gespecialiseerde, state-of-the-art systemen (bijv. GEPA, AdaEvolve, Claude Code) binnen dezelfde computationele budgetten. De winsten variëren van 2% tot 40% ten opzichte van sterke domeinspecifieke baselines.
Menselijk Niveau van Ontdekking: In specifieke taken zoals Circle Packing en Heilbronn Triangle ontdekte ReASearch oplossingen die verbetering brachten op de voorheen bekende menselijke resultaten.
Geïnternaliseerde Zoeklogica: Het werk demonstreert dat frontier tool-gebruikende agents een aanzienlijk deel van de zoeklogica kunnen internaliseren die voorheen werd gedelegeerd aan externe wiskundige meta-heuristieken, inclus\n bij kandidaatverificatie, causale diagnose en adaptieve exploratie.

Experimentele Resultaten

De auteurs evalueerden ReASearch tegen gespecialiseerde baselines in drie categorieën:

Prompt Optimalisatie: Op AIME, GSM8K, HotpotQA en Terminal-Bench 2.0 presteerde ReASearch beter dan GEPA. Op Terminal-Bench 2.0 behaalde het bijvoorbeeld 53,33% nauwkeurigheid vergeleken met 42,22% van GEPA. De agent slaagde erin gestructureerde taakbegrippen op te bouwen en selecteerde definitieve prompts op basis van de volledige optimalisatiegeschiedenis in plaats van alleen de piek-validatiescores.
Programma Evolutie:
- Circle Packing: ReASearch behaalde resultaten (bijv. 2.940 voor $n=32$ ) die de beste bekende menselijke resultaten (2.939) evenaarden of licht overtroffen, waarmee het AdaEvolve aanzienlijk versloeg.
- Heilbronn Triangle: De agent identificeerde wiskundige symmetrieën (D4-symmetrie) om de zoekruimte te verkleinen, en behaalde bijna optimale resultaten (0.03260 voor $n=12$ ) waar baselines faalden.
- ARC-AGI-2: ReASearch behaalde 50,0% testnauwkeurigheid (Sonnet 4.6), een 4x verbetering ten opzichte van de 12,5% van AdaEvolve, door iteratieve analyse te gebruiken om transformatieregels af te leiden in plaats van brute-force zoeken.
ML Workflow Optimalisatie: Vergeleken met Claude Code (AutoResearch setup) toonde ReASearch duidelijke voordelen in IMG-100 (83,99% vs 78,59%), Atari Q*bert (4500 vs 1250 reward) en MuJoCo (5267 vs 3986 reward). Opvallend genoeg verbeterde ReASearch in een Kaggle Crypto-voorspellingsopdracht de leaderboard-rangschikking van 36e naar 6e binnen 15 experimenten, terwijl de baseline stagneerde.

Betekenis en Claims

Het paper betoogt dat redeneren niet alleen bedoeld is voor het oplossen van taken, maar zelf een krachtige motor voor open-ended search kan zijn. De betekenis van ReASearch ligt in de demonstratie dat de "optimizer" geen aparte, handmatig ontworpen algoritmische controller hoeft te zijn. In plaats daarvan kan een enkele, redeneringsgestuurde agent, uitgerust met de juiste tools, complexe zoekbeleidjes internaliseren—zoals budgetbeheer, faaldiagnose en strategie-adaptatie—die voorheen het domein waren van externe meta-heuristieken.

De auteurs claimen dat deze benadering een flexibeler en potentieel krachtiger paradigma biedt voor optimalisatie, waarbij het vermogen van de agent om lessen te accumuleren, te redeneren over causale fouten en de strategie over lange termijn aan te passen, leidt tot superieure prestaties over diverse modaliteiten. Het werk suggereert een toekomst waarin het onderscheid tussen de "zoeker" (searcher) en de "oplosser" (solver) vervaagt, waarbij de agent beide rollen vervult.