💬 NLP

optimize_anything: A Universal API for Optimizing any Text Parameter

Het artikel introduceert "optimize_anything", een universeel op LLM's gebaseerd optimalisatiekader dat state-of-the-art resultaten bereikt in zes diverse domeinen – waaronder agent-architectuurontwerp, kostenreductie in de cloud en CUDA-kernelgeneratie – door tekstgebaseerde zoekopdrachten te verenigen met multi-task transfer en toepasbare zijinformatie om gespecialiseerde algoritmes te overtreffen.

Oorspronkelijke auteurs: Lakshya A Agrawal, Donghyun Lee, Shangyin Tan, Wenjie Ma, Karim Elmaaroufi, Rohit Sandadi, Sanjit A. Seshia, Koushik Sen, Dan Klein, Ion Stoica, Joseph E. Gonzalez, Omar Khattab, Alexandros G. Dimakis

Gepubliceerd 2026-05-20

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Lakshya A Agrawal, Donghyun Lee, Shangyin Tan, Wenjie Ma, Karim Elmaaroufi, Rohit Sandadi, Sanjit A. Seshia, Koushik Sen, Dan Klein, Ion Stoica, Joseph E. Gonzalez, Omar Khattab, Alexandros G. Dimakis, Matei Zaharia

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een meesterchef hebt (een Large Language Model, of LLM) die ongelooflijk getalenteerd is in het schrijven van recepten, maar die niet weet hoe te koken. Normaal gesproken moet je voor een heerlijk gerecht een andere specialist inhuren voor elk gerecht: een banketbakker voor het dessert, een grillmeester voor de biefstuk en een sous-chef voor de soep.

Het artikel introduceert optimize_anything, een nieuw systeem dat fungeert als een universele "proef- en coachingslus". Het beweert dat je niet voor elke taak een andere specialist nodig hebt. In plaats daarvan kun je dit ene systeem gebruiken om elke tekstgebaseerde oplossing te verbeteren, of het nu gaat om een computerprogramma, een reeks instructies, het brein van een robot, of zelfs een tekening.

Hier is hoe het werkt, opgesplitst in eenvoudige concepten:

1. De Kernidee: Het "Tekst Artifact"

De auteurs realiseerden zich dat bijna elk probleem kan worden omgezet in een stuk tekst.

Code is gewoon tekst.
De instructies van een robot zijn gewoon tekst.
Een wiskundige formule is gewoon tekst.
Een tekening (zoals een SVG) is gewoon tekstcode.

De Analogie: Denk aan het "tekstartifact" als een ruwe conceptversie van een verhaal. De taak van het systeem is om dat concept te nemen, het te lezen, te zien hoe goed het werkt, en vervolgens de AI-chef te vragen om het opnieuw te schrijven om het beter te maken.

2. De Geheime Ingrediënten: "Bijzondere Informatie" (De Notities van de Coach)

In het verleden, als je een AI vroeg om iets te verbeteren, kreeg het alleen een score (bijvoorbeeld: "Deze code kreeg 60%"). Het wist niet waarom het faalde. Het was als een student die een "C" krijgt op een toets zonder feedback over welke vragen fout waren.

optimize_anything verandert de regels. Het systeem geeft niet alleen een score; het geeft Bijzondere Informatie (BI).

De Analogie: Stel je een coach voor die een atleet hardlopen ziet. In plaats van alleen te zeggen "Je liep in 10 seconden", zegt de coach: "Je liep in 10 seconden, maar je struikelde over de derde hindernis omdat je schoenveter loszat en je te ver naar links leunde."
Hoe het helpt: De AI gebruikt deze specifieke notities (zoals foutberichten, crashlogs of visuele beschrijvingen) om het exacte probleem op te lossen. Het artikel toont aan dat dit de AI 4 tot 6 keer sneller laat leren en veel hogere scores laat behalen dan wanneer het alleen een simpele score had.

3. De Drie Manieren om te Spelen

Het systeem heeft drie verschillende modi, zoals verschillende spelmodi in een videospel:

Single-Task Modus (De Solo Speler): Je geeft het systeem één specifiek probleem om op te lossen, zoals "Verpakk 26 cirkels in een vierkant". De AI probeert alleen dat ene ding op te lossen.
Multi-Task Modus (De Studie-groep): Je geeft het systeem een batch aan gerelateerde problemen, zoals "Schrijf 30 verschillende computerprogramma's om wiskunde te versnellen". De AI lost ze allemaal samen op.
- De Magie: Als de AI een truc bedenkt voor Probleem #1 (zoals "gebruik een snellere geheugentruc"), kan het diezelfde truc direct toepassen op Probleem #15. Het is als een student die een wiskundekorte weg leert in algebra en deze gebruikt om calculus perfect te maken. Het artikel vond dat deze modus veel beter was dan het oplossen van problemen één voor één.
Generalisatie Modus (De Masterclass): Je geeft de AI een trainingsset en een testset. Het doel is om een oplossing te creëren die werkt op nieuwe, ongezette problemen.
- Voorbeeld: De AI leerde een "vaardigheidsgids" schrijven voor een coderende robot. Het trainde op een set coderingstaken en werd vervolgens zo goed in de gids dat het de robot hielp om hele nieuwe coderingstaken op te lossen die het nog nooit eerder had gezien.

4. Wat Hebben Ze Eigenlijk Bereikt?

Het artikel testte dit systeem op zes zeer verschillende soorten problemen. Hier is wat er gebeurde:

Robotbreinen (Agent Architectuur): Ze gaven de AI een zeer eenvoudig robotbrein van 10 regels. Het systeem evolueerde dit naar een complex brein van meer dan 300 regels. Het resultaat? De nauwkeurigheid van de robot op een moeilijk logisch raadsel (ARC-AGI) steeg van 32,5% naar 89,5%.
Cloudkosten: Ze vroegen de AI om een schema voor cloudservers te schrijven. Het nieuwe schema bespaarde 40% van het geld in vergelijking met standaardmethoden.
Computersnelheid (CUDA Kernels): Ze vroegen de AI om code te schrijven om videokaarten sneller te maken. 87% van de door de AI geschreven code was even snel of sneller dan de beste door mensen geschreven code.
Wiskundige Raadsels: Ze verbeterden een wiskundetoetsprompt, waardoor de score van de AI steeg van 46,6% naar 60%.
Cirkelpakking: Ze vroegen de AI om cirkels zo strak mogelijk te verpakken. De AI vond een oplossing die beter was dan een beroemde eerdere AI (AlphaEvolve) en deed dit met minder rekenkracht.
3D-modellen: In een "zaadloze" modus (waar de AI vanaf nul moest beginnen zonder code) slaagde het erin om een 3D-model van een eenhoorn te genereren.

5. Waarom Dit Belangrijk Is

Voorheen, als je een robot wilde optimaliseren, had je een robotexpert nodig. Als je een cloudserver wilde optimaliseren, had je een cloudexpert nodig.

optimize_anything beweert de eerste "Universele API" te zijn. Het zegt: "Geef me de tekst, geef me de regels voor hoe het te scoren, en ik zorg voor de rest." Het verenigt deze verschillende werelden onder één eenvoudige interface.

De Haken (Beperkingen):

Het werkt alleen op dingen die als tekst kunnen worden geschreven.
Het heeft een "scoregever" (een evaluator) nodig om te vertellen hoe goed de tekst presteert.
De kwaliteit van het resultaat hangt af van hoe slim de AI-"chef" is.
Soms, als je het vraagt om te veel totaal verschillende problemen tegelijk op te lossen (zoals het verpakken van cirkels van verschillende maten), raakt het in de war. Het werkt het beste wanneer de problemen gerelateerd zijn.

Samenvatting

optimize_anything is een tool die het mogelijk maakt dat een enkel AI-systeem leert een meester-optimizer te worden voor bijna alles wat in tekst is geschreven. Door de AI gedetailleerde feedback te geven (niet alleen een score) en het toe te staan om van meerdere problemen tegelijk te leren, kan het oplossingen ontdekken die vaak beter zijn dan gespecialiseerde tools die door menselijke experts voor specifieke taken zijn gebouwd.

Technische Samenvatting: optimize_anything

Probleemstelling

Huidige optimalisatiesystemen voor Large Language Models (LLM) zijn grotendeels gescheiden per artifacttype en optimalisatiemodus. Bestaande tools zoals AlphaEvolve en OpenEvolve zijn gespecialiseerd in evolutie van code voor één enkele taak, terwijl frameworks zoals GEPA en MIPROv2 zich uitsluitend richten op promptoptimalisatie met generalisatievermogen. Geen enkel systeem heeft tot nu toe aangetoond fundamenteel verschillende tekstartefacten—variërend van code en prompts tot agentarchitecturen en parameters voor beeldgeneratie—gelijktijdig te kunnen optimaliseren. Bovendien missen eerdere systemen vaak een uniform mechanisme voor het benutten van diagnostische feedback (Bijkomende Informatie) of ondersteuning voor meerdaagse zoekopdrachten waarbij inzichten overdragen worden tussen gerelateerde problemen.

Het artikel stelt dat een breed scala aan optimalisatieproblemen kan worden verenigd onder één formulering: het optimaliseren van een tekstartefact $x$ dat wordt beoordeeld door een scorefunctie $f(x)$ die een score en optionele diagnostische feedback retourneert. Het doel is het creëren van een universele API die zoekopdrachten voor één enkele taak, meerdaagse zoekopdrachten met overdracht tussen problemen en generalisatie naar onbekende invoer in diverse domeinen ondersteunt.

Methodologie: optimize_anything

De auteurs presenteren optimize_anything, een declaratieve API die een universele optimalisatielus voor tekst implementeert. Het systeem is backend-agnostisch, maar gebruikt standaard een extensie van het GEPA-algoritme, aangepast voor willekeurige tekstartefacten.

Kerninterface

Het systeem vereist drie primaire invoerparameters:

Seed-artefact: Een starttekst (bijvoorbeeld code, prompt, agentdefinitie). In de "seedloze modus" bootstrapt het systeem het eerste kandidaat uitsluitend vanuit een natuurlijke taaldoelstelling.
Evalueerder: Een functie die het artefact uitvoert en een tuple retourneert van een score (hoger is beter) en Bijkomende Informatie (SI).
Dataset/Validatieset: Optionele invoer om de optimalisatiemodus te definiëren.

Drie Optimalisatiemodi

Het systeem verenigt drie distincte modi onder één interface, bepaald door de aanwezigheid van datasets:

Zoekopdracht voor één enkele taak: Optimaliseert één enkel artefact voor een specifiek probleem (bijvoorbeeld cirkelpakking). De evalueerder beoordeelt het artefact direct.
Meerdaagse zoekopdracht: Optimaliseert een batch gerelateerde taken gelijktijdig. Het systeem onderhoudt een gedeelde Pareto-grens over taken heen, waardoor optimalisatiepatronen die voor één taak worden ontdekt (bijvoorbeeld een CUDA-kerneloptimalisatie) naar andere kunnen worden overgedragen.
Generalisatie: Optimaliseert een artefact om goed te presteren op een trainingsset, terwijl het wordt gevalideerd op een aparte, onbekende validatieset. Deze modus reikt verder dan prompts tot agentarchitecturen en planningsbeleid.

Belangrijkste Algoritmische Mechanismen

Bijkomende Informatie (SI) als eersteklas contract: In tegenstelling tot traditionele op gradiënten gebaseerde optimalisatoren die vertrouwen op scalair feedback, behandelt optimize_anything diagnostische feedback (compilerfouten, profilerdata, uitvoeringstraces, gerenderde afbeeldingen) als een primaire invoer. De LLM-proposer gebruikt deze SI tijdens een "reflectie"-stap om fouten te diagnosticeren en gerichte oplossingen voor te stellen, wat een ingenieur nabootst die iteraties uitvoert op een prototype.
Op Pareto gebaseerde zoekopdracht: In plaats van multidimensionale scores te comprimeren tot één aggregate, houdt het systeem scores bij per taak of per metriek. Het onderhoudt een Pareto-grens van niet-gedomineerde kandidaten. Dit behoudt complementaire sterktes (bijvoorbeeld een kandidaat die goed is in Taak A maar gemiddeld in Taak B) en voorkomt voortijdige convergentie.
Selectie en reflectie van kandidaten: Kandidaten worden geselecteerd voor mutatie op basis van hun frequentie op de Pareto-grens. De proposer krijgt een minibatch voorbeelden en de bijbehorende SI te zien om een verbeterd artefact te genereren. Een "verfijner"-stap vangt veelvoorkomende generatie-artefacten (bijvoorbeeld syntaxisfouten) op voordat de evaluatie plaatsvindt.

Belangrijkste Bijdragen

Gerenereerde optimalisatie over domeinen: Het artikel toont aan dat één enkel op LLM gebaseerd systeem state-of-the-art resultaten kan bereiken in zes fundamenteel verschillende domeinen: zoekopdrachten voor agentarchitectuur, cloudplanning, generatie van CUDA-kernels, promptoptimalisatie, cirkelpakking en beeldgeneratie.
Eerste meerdaagse modus voor LLM-evolutie: Het systeem introduceert een meerdaagse zoekmodus waarbij het oplossen van een batch gerelateerde problemen overdracht van optimalisatiepatronen mogelijk maakt, wat beter presteert dan onafhankelijke optimalisatie voor één enkele taak.
Hanteerbare Bijkomende Informatie: De auteurs formaliseren diagnostische feedback als een uniforme API-contract. Ablatiestudies tonen aan dat hanteerbare SI leidt tot 4–6 $\times$ snellere convergentie en aanzienlijk hogere eindscores in vergelijking met feedback die alleen scores bevat.
Open-source implementatie: Het systeem wordt vrijgegeven als onderdeel van het GEPA-project, met ondersteuning voor meerdere backends en een declaratieve interface die mutatieprompts, eilandconfiguraties en taakspecifieke sjablonen abstracteert.

Experimentele Resultaten

Het systeem is geëvalueerd over zes primaire domeinen:

Agentarchitectuur (ARC-AGI): Optimaliseerde een agentsysteem (code + prompts) van een seed van 10 regels tot een systeem van meer dan 300 regels, waarbij de nauwkeurigheid op de ARC-AGI-testset verdrievoudigde van 32,5% naar 89,5%.
Cloudplanning: Ontdekte planningsalgoritmen die de kosten voor data-egress in de cloud met 40,2% verlaagden (CloudCast) en de benutting van spot-instanties verbeterden (Can't Be Late), wat beter presteerde dan bestaande benchmarks.
CUDA-kernels: Genereerde kernels voor 31 PyTorch-operaties waarbij 87% de PyTorch-baselines matchte of versloeg. De meerdaagse modus presteerde significant beter dan de modus voor één enkele taak op snelheidsthrsholds.
Promptoptimalisatie: Verbeterde de nauwkeurigheid van GPT-4.1-mini op wiskundeproblemen uit AIME 2025 van 46,67% naar 60,00%, wat beter presteerde dan MIPROv2.
Cirkelpakking: Versloeg de gerapporteerde oplossing van AlphaEvolve voor het packen van 26 cirkels, waarbij een hogere som van stralen werd bereikt met minder evaluaties.
Beeldgeneratie: Optimaliseerde SVG- en CAD-code, waarbij menselijke beoordelaars de resultaten verkiesten boven zero-shot baselines.

Ablatiebevindingen:

Bijkomende Informatie: Het verwijderen van SI verminderde de eindsprestatie aanzienlijk (bijvoorbeeld daalde de score voor cirkelpakking naar 94% van het optimum; snelheidswinsten voor kernels daalden van 40% naar 0% boven de 1,1 $\times$ ).
Meerdaags versus één enkele taak: Meerdaagse zoekopdrachten presteerden consistent beter dan zoekopdrachten voor één enkele taak op gerelateerde taken (CUDA-kernels) vanwege patroonoverdracht. Echter, op niet-gerelateerde taken (cirkelpakking met verschillende $N$ ) introduceerde meerdaagse zoekopdrachten ruis en verslechterde de prestatie.
Sensitiviteit van de proposer: Hoewel grotere modellen (GPT-5.1) een hogere eindkwaliteit bereikten, leverden goedkopere modellen (GPT-5-nano) nog steeds aanzienlijke verbeteringen ten opzichte van seeds, voor een fractie van de kosten.

Betekenis en Claims

Het artikel claimt tekstoptimalisatie met op LLM gebaseerde zoekopdrachten te vestigen als een algemeen probleemoplossend paradigma. Het betoogt dat door optimalisatieproblemen te behandelen als de verbetering van tekstartefacten die worden beoordeeld door scorefuncties met diagnostische feedback, de behoefte aan domeinspecifieke algoritmen wordt verminderd.

De betekenis ligt in:

Unificatie: Het verenigen van taken die traditioneel verschillende algoritmes vereisen (code-evolutie, prompt-engineering, agentontwerp) onder één framework.
Schaalbaarheid van overdracht: Het aantonen dat optimalisatiepatronen kunnen overdragen tussen gerelateerde problemen, waarbij de voordelen schalen met het aantal taken.
Hanteerbare feedback: Het tonen dat het omzetten van scalair scores in hanteerbare diagnostische signalen (SI) cruciaal is voor de efficiëntie en effectiviteit van op LLM gebaseerde optimalisatie.

De auteurs concluderen dat optimize_anything een declaratieve interface biedt waarbij gebruikers definiëren wat er moet worden geoptimaliseerd (artefact, evalueerder, doel), en het systeem de hoe afhandelt (zoekstrategie, reflectie, selectie), waardoor complexe optimalisatietaken effectief worden gedemocratiseerd.