From Heuristic Selection to Automated Algorithm Design: LLMs Benefit from Strong Priors

Each language version is independently generated for its own context, not a direct translation.

Titel: Van Gokken naar Gidsen: Hoe AI-robots betere algoritmes leren bouwen

Stel je voor dat je een groep zeer slimme, maar soms wat verwarde robots hebt. Deze robots zijn gespecialiseerd in het bouwen van recepten voor probleemoplossing (in de tech-taal: algoritmes). Ze kunnen bijvoorbeeld een recept bedenken om de kortste route voor een bezorger te vinden, of de beste manier om energie te besparen.

Deze robots worden LLMs (Large Language Models) genoemd. Ze zijn als super-intelligente kokken die elke taal spreken en elke code kunnen schrijven. Maar er is een probleem: als je ze vraagt om een nieuw recept te bedenken, beginnen ze vaak met een willekeurig idee. Soms werkt het, soms niet. Het is een beetje alsof je een kok vraagt om een gerecht te maken, maar je geeft alleen een vaag idee: "Maak iets lekkers."

Het Grote Geheim: De Kracht van de "Voorbeeldrecepten"

In dit onderzoek ontdekten de auteurs iets belangrijks. Ze keken precies naar wat de robots in hun hoofd "lezen" terwijl ze een recept schrijven. Ze ontdekten dat de robots niet zo veel luisteren naar de lange, ingewikkelde uitleg over wat ze moeten doen.

In plaats daarvan kijken ze vooral naar voorbeelden.

De Analogie van de Leerling:
Stel je voor dat je een leerling vraagt om een taak te doen.

Situatie A: Je zegt: "Wees creatief, bedenk iets nieuws!" (Dit is wat de meeste onderzoekers deden). De leerling kijkt om zich heen, twijfelt, en probeert iets willekeurigs.
Situatie B: Je zegt: "Kijk naar dit recept voor pannenkoeken. Het is goed, maar het kan nog beter. Pas het aan voor een chocoladetaart." (Dit is wat de auteurs voorstelden). De leerling kijkt naar het bestaande recept, begrijpt de structuur, en bouwt daarop verder.

De onderzoekers ontdekten dat de robots veel beter presteren als je ze bestaande, sterke voorbeelden geeft. Ze noemen dit "sterke priors" (sterke uitgangspunten).

De Oplossing: BAG (De Gids)

De auteurs bedachten een nieuwe methode, genaamd BAG (Benchmark-assisted Guided Evolutionary approach). Laten we dit uitleggen met een analogie:

De oude manier (Gokken): Je laat de robot elke keer opnieuw een recept bedenken, zonder hulp. Hij probeert duizenden willekeurige combinaties. Het kost veel tijd en energie, en hij mist vaak de beste oplossing.
De nieuwe manier (BAG): Je geeft de robot een map met de beste recepten die ooit zijn gemaakt voor soortgelijke problemen (dit noemen ze "benchmark-algoritmes").
- De robot begint niet bij nul, maar kiest een goed recept uit die map.
- Vervolgens vraagt hij de AI: "Kijk naar dit recept. Hoe kunnen we het verbeteren?"
- Soms vraagt hij: "Maak iets heel nieuws, maar gebruik dit als inspiratie."

Het is alsof je een beginnende chef-kok niet laat beginnen met het uitvinden van het concept "eten", maar hem laat beginnen met het perfectioneren van een recept dat al door een sterrenchef is getest.

Wat Hadden Ze Ontdekt?

Voorbeelden zijn koning: De robots letten veel meer op de code (het recept zelf) dan op de tekstuele uitleg. Als je een goed voorbeeld geeft, volgen ze dat pad.
Richting geven werkt: Door specifieke voorbeelden te geven, kun je de robot "sturen" naar een specifiek gebied van oplossingen. Het is alsof je de robot een kompas geeft in plaats van hem blindelings te laten lopen.
Beter en Sneller: Toen ze deze methode testten op twee grote verzamelingen van moeilijke problemen (één met ja/nee-vragen en één met continue getallen), bleek dat hun methode (BAG) veel beter en sneller was dan de beste andere methoden die er op dat moment waren.

Waarom is dit belangrijk?

Vroeger moesten mensen handmatig zoeken naar de beste manier om een probleem op te lossen, of ze moesten duizenden pogingen doen met AI. Met deze nieuwe methode kunnen we de AI slimmer sturen.

Het is alsof we van een wereld waar we blindelings gidsen door een donker bos, naar een wereld waar we een fakkeldrager hebben die ons de beste paden wijst die anderen al hebben ontdekt.

Kort samengevat:
Deze paper laat zien dat we AI-robots niet hoeven te laten gokken. Als we ze goede voorbeelden geven van wat er al bestaat, kunnen ze die gebruiken als springplank om nog betere oplossingen te vinden. Het is de overstap van "uitvinden" naar "verbeteren", en dat werkt veel efficiënter.

Each language version is independently generated for its own context, not a direct translation.

Titel: Van Heuristische Selectie naar Geautomatiseerd Algoritmeontwerp: LLM's profiteren van Sterke Priors

Auteurs: Qi Huang, Furong Ye, Ananta Shahane, Thomas Bäck, Niki van Stein (Leiden University).

1. Probleemstelling

Grote Taalmodellen (LLM's) zijn recentelijk succesvol ingezet voor het geautomatiseerde ontwerpen van algoritmen (Automated Algorithm Design - AAD), waarbij ze nieuwe heuristieken genereren en evolueren. Echter, bestaande methoden vertonen enkele kritieke tekortkomingen:

Afhankelijkheid van intuïtie: De zoekstrategieën worden voornamelijk geleid door promptontwerpen die op intuïtie zijn gebaseerd, zonder diepgaand inzicht in hoe LLM's reageren op specifieke promptelementen.
Gebrek aan structuur: In "Black-Box Optimization" (BBO), waar de interne structuur van de objectieve functie onbekend is, is het kiezen van de beste optimizer of het construeren van een specifieke optimizer een uitdaging. Traditionele AAD-methoden vertrouwen vaak op zelfgeleide zoekopdrachten of feature-based learning binnen vooraf gedefinieerde kaders.
Efficiëntie en Robuustheid: Bestaande LLM-gedreven methoden (zoals EoH, LLaMEA) genereren vaak veel samples of vertrouwen op willekeurige variatie, wat leidt tot inefficiëntie en minder robuuste resultaten vergeleken met gevestigde benchmark-algoritmen.

De kernvraag is: Hoe kunnen we het zoekproces van LLM's voor het ontwerpen van optimalisatiealgoritmen sturen en verbeteren door gebruik te maken van bestaande kennis (priors)?

2. Methodologie

De auteurs hanteren een drieledige aanpak: analyse, sturing en integratie.

A. Token-wijze Analyse van Prompts (AttnLRP)

Om te begrijpen waarom LLM's bepaalde algoritmes genereren, gebruiken de auteurs AttnLRP (Attention-aware Layer-wise Relevance Propagation).

Doel: Het kwantificeren van de bijdrage van elk token in de prompt tot de gegenereerde code.
Vindt: De analyse toont aan dat code-gerelateerde inhoud (bestaande codevoorbeelden en de bijbehorende strategie-instructies) de sterkste invloed heeft op de output van de LLM. Taalbeschrijvingen van taken of fitness-waarden hebben daarentegen een veel geringere impact.
Conclusie: Het bieden van hoogwaardige codevoorbeelden is cruciaal voor de prestaties.

B. Sturen van het Zoekgebied

Gebaseerd op de bovenstaande bevindingen, testen de auteurs of het sturen van LLM's naar specifieke zoekgebieden mogelijk is door specifieke "sterke priors" (bestaande algoritme-codes) in de prompt te plaatsen.

Strategie: In plaats van te starten met willekeurige zoekopdrachten, wordt de LLM gevraagd om een specifiek, goed presterend algoritme (uit een benchmark-set) te verfijnen.
Resultaat: Dit beperkt het zoekgebied effectief tot een "neighbourhood" rondom een veelbelovend algoritme, wat leidt tot snellere convergentie en betere resultaten dan pure exploratie.

C. De BAG-methode (Benchmark-assisted Guided Evolutionary Approach)

De auteurs stellen BAG voor, een nieuwe framework die bestaande benchmark-kennis integreert in het evolutionaire proces van LLM's.

Architectuur: BAG gebruikt een (1+1) elitistische zoekstrategie.
Inspiratie: Het proces start niet met willekeurige code, maar selecteert een veelbelovend algoritme uit een benchmark-set ( $A_{bench}$ ) als startpunt.
Iteratief Proces:
1. De LLM krijgt een prompt met een voorbeeldcode (een algoritme uit $A_{bench}$ ).
2. De LLM wordt gevraagd om dit algoritme te verfijnen (verbeteren) of een nieuw algoritme te creëren.
3. Om diversiteit te behouden en niet vast te lopen in lokale optima, wordt elke $q$ iteraties een nieuw, willekeurig algoritme uit de benchmark-set gekozen als startpunt voor verfijning.
Voordeel: Dit combineert de exploratiekracht van LLM's met de robuustheid van gevestigde benchmark-algoritmen.

3. Belangrijkste Bijdragen

Systematische Analyse: De eerste systematische analyse van de token-wijze bijdrage van prompt-elementen in LLM-gedreven optimalisatie, waarbij wordt aangetoond dat codevoorbeelden de belangrijkste drijfveer zijn voor de output.
Sturing van LLM-gedrag: Het aantonen dat het bieden van specifieke codevoorbeelden het zoekgedrag van LLM's effectief kan sturen en beperkt tot veelbelovende regio's van de zoekruimte.
BAG Framework: De ontwikkeling van een competitieve, benchmark-gestuurde methode die significant betere prestaties levert dan state-of-the-art methoden op twee standaard BBO-benchmarks.
Integratie van Benchmarks: Een nieuw perspectief dat klassieke benchmarkstudies en LLM-gedreven optimalisatie verenigt, wat leidt tot efficiëntere en robuustere methoden.

4. Resultaten

De methode is getest op twee uitgebreide benchmark suites:

PBO (Pseudo-Boolean Optimization): 23 problemen (o.a. OneMax, LeadingOnes).
BBOB (Continuous Black-Box Optimization): 24 problemen (o.a. Sphere, Rastrigin).

Vergelijking:
BAG is vergeleken met vijf state-of-the-art LLM-gedreven methoden: EoH, LHNS, LLaMEA, MCTS-AHD en ReEvo, gebruikmakend van drie verschillende LLM's (Gemini 2.0 Flash, GPT 5 Nano, Qwen3 Coder Flash).

Kernbevindingen:

Superieure Prestaties: BAG behaalde consistent de beste resultaten op de PBO-suite en presteerde aanzienlijk beter dan de baselines op de BBOB-suite (gemiddeld 14% verbetering ten opzichte van de op één na beste methode).
Efficiëntie: BAG vereist slechts één LLM-query om een nieuw algoritmekandidaat te genereren, terwijl methoden zoals EoH meerdere prompts nodig hebben voor één kandidaat.
Convergentie: De analyse van de convergentie (via AUC-metingen) toont aan dat BAG sneller betere oplossingen vindt. De introductie van nieuwe benchmark-algoritmen tijdens het proces (elke $q$ iteraties) zorgt voor sprongen in prestatie, wat aantoont dat de "priors" effectief werken.
Code-Overeenkomst: Meting via CodeBLEU toont aan dat gegenereerde algoritmes sterk lijken op de ingevoerde benchmark-codes, maar met verbeteringen, wat bevestigt dat de LLM effectief "leert" van de voorbeelden.

5. Betekenis en Conclusie

Dit paper biedt een paradigmaverschuiving in het veld van geautomatiseerd algoritmeontwerp met LLM's. De belangrijkste implicaties zijn:

Van "Blind Search" naar "Informed Search": Het paper weerlegt het idee dat LLM's puur op linguïstische instructies moeten vertrouwen. In plaats daarvan blijkt dat het integreren van functionele codevoorbeelden (priors) de meest effectieve manier is om LLM's te sturen.
Brug tussen Traditie en AI: Het toont aan dat klassieke optimalisatie-onderzoek (benchmark suites) en moderne generatieve AI niet in conflict hoeven te zijn, maar juist versterkend kunnen werken. Bestaande kennis kan als een "sterke prior" dienen om de zoekruimte van LLM's te verkleinen en te optimaliseren.
Toekomstperspectief: De auteurs suggereren dat toekomstig werk zich moet richten op het integreren van benchmark-kennis in populatie-gebaseerde frameworks (in plaats van alleen (1+1) strategieën) om nog meer diversiteit en robuustheid te bereiken.

Samenvattend bewijst dit onderzoek dat het bewust inbouwen van bestaande, hoogwaardige algoritme-kennis in de prompts van LLM's leidt tot aanzienlijk betere, snellere en betrouwbaardere geautomatiseerde algoritmeontwerp-methoden voor black-box optimalisatie.