💻 computer science

LLM-Driven Evolutionary Generation of Multi-Objective Bayesian Optimization Algorithms

Dit artikel breidt het LLaMEA-framework uit naar multi-objective Bayesiaanse optimalisatie door gebruik te maken van grote taalmodellen als evolutionaire operatoren om automatisch algoritme-implementaties te genereren, die werden aangetoond de state-of-the-art qParEGO-baseline te evenaren of te overtreffen in nauwkeurigheid, terwijl ze de computationele kosten voor zowel synthetische als reële technische problemen aanzienlijk verminderden.

Oorspronkelijke auteurs: Georgios Laskaris, Reuben Brasher, Niki van Stein, Elena Raponi, Thomas Bäck, Florian Neukart

Gepubliceerd 2026-07-13

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Georgios Laskaris, Reuben Brasher, Niki van Stein, Elena Raponi, Thomas Bäck, Florian Neukart

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je op zoek bent naar het perfecte recept voor een cake. Je wilt dat hij de zoetste, de luchtigste en de goedkoopste om te maken is, allemaal tegelijkertijd. Maar hier zit de crux: het zoeter maken kan ervoor zorgen dat de cake minder luchtig wordt, en het gebruik van goedkopere ingrediënten kan de textuur verruïneren. Dit is een "multi-objective" probleem, en het oplossen ervan is een nachtmerrie voor menselijke chefs omdat er te veel keuzes tegelijk te managen zijn.

Meestal brengen deskundige chefs (algoritmen) jaren door met het verfijnen van hun recepten om een balans te vinden. Maar in dit paper besloten een team van onderzoekers een super-slimme robotchef, aangedreven door een Large Language Model (LLM), het koken te laten doen. Ze vroegen de robot niet alleen om een paar kruiden aan te passen; ze vroegen het om geheel nieuwe kookmethoden vanaf nul uit te vinden.

De Evolutionaire Keuken van de Robotchef

De onderzoekers richtten een digitale keuken in genaamd LLaMEA-MOBO. Denk aan dit als een high-tech kookprogramma waar de robotchef niet alleen één gerecht kookt; hij evolueert.

De Deelnemers: De robot begint met een paar basisrecepten (algoritmen).
Mutatie en Crossover: Net als in de natuur neemt de robot een recept en brengt het een willekeurige verandering aan (mutatie), of neemt het twee verschillende recepten en mengt deze samen om een nieuw hybride recept te creëren (crossover).
De Proeverij: De nieuwe recepten worden getest op 12 verschillende "synthetische" cake-uitdagingen (wiskundige problemen die lijken op echte puzzels). De robot meet hoe goed elk recept de balans houdt tussen zoetheid, luchtigheid en kosten.
De Loop: De beste recepten overleven de volgende ronde, worden opnieuw aangepast, en het proces herhaalt zich. De robot doet dit ongeveer 900 keer, waardoor een hele nieuwe generatie kookmethoden ontstaat.

De Grote Ontdekking: Snelheid en Slimheid

Het paper vond dat deze robotchef niet alleen leerde koken; hij leerde ook sneller en beter te koken dan de menselijke experts.

Een van de creaties van de robot, genaamd MOEAD-EI Hybrid, was de ster van de synthetische show. Het behaalde een "normalized hypervolume" score van 0,971. Om dit in perspectief te plaatsen: het huidige beste door mensen ontworpen recept, genaamd qParEGO, scoorde slechts 0,869.

Maar de echte magie zat niet alleen in de smaak; het was de snelheid. Het recept van de robot was ongeveer 60 keer sneller dan dat van de menselijke expert. Terwijl de menselijke chef een lange tijd nodig had om te bakken (hoge "wall-clock time"), bereidde de methode van de robot dezelfde (of betere) resultaten in een fractie van de tijd.

Toen de onderzoekers deze robotrecepten testten op drie echte wereld techniekproblemen—zoals het ontwerpen van een vakwerkconstructie voor een brug of een raketinjector—nam de robotchef Improved-Scalarized-EI de toppositie in. Het scoorde 0,985, waarmee het de menselijke expert met 0,971 versloeg, en deed dit in ongeveer 3,4 keer minder tijd.

Wat de Robot Wel (en Niet) Deed

Het is belangrijk om te weten wat dit experiment niet bewezen heeft. Het paper sluit expliciet de mogelijkheid uit dat de robot gewoon geluk had of dat het voor elk mogelijk probleem werkt.

Het is geen toverstaf voor alles: De robot werd getest op specifieke soorten problemen (12 synthetische en 3 echte technische problemen). Het paper beweert niet dat het elk probleem in het universum kan oplossen, alleen dat het goed werkt voor dit specifieke type optimalisatie-uitdaging.
Het is geen "opgelost" probleem: De auteurs zijn voorzichtig en zeggen dat ze getoond hebben dat de robot deze ontwerpen kan vinden, maar ze beweren niet dat het probleem van algoritme-ontwerp nu "opgelend" is. Ze suggereren dat dit een nieuwe manier is om oplossingen te vinden, niet een definitief antwoord.
De "Stochastische" Valstrik: Het paper merkt een grappige glitch op: soms probeerde de robotchef te deterministisch te zijn (zoals een robot die altijd een munt op exact dezelfde manier opgooit). De onderzoekers moesten dit oplossen door de robot te dwingen weer echt willekeurig te zijn, anders zouden de resultaten nep zijn. Dit laat zien dat het proces nog niet perfect is.

De "Tijd vs. Smaak" Afweging

De onderzoekers plotten een grafiek die de afweging laat zien tussen hoe lang het koken duurde en hoe goed de cake was.

De oude menselijke methoden waren ofwel erg traag maar goed, ofwel snel maar matig.
De methoden van de robot bevonden zich in het "sweet spot" (de efficiënte grens). Ze waren even goed als de beste menselijke methoden, maar draalden één tot drie ordes van grootte sneller.
Eén robotrecept, RF-ParEGO-Batch, was zo snel dat het 754 keer sneller was dan de menselijke expert bij echte problemen, hoewel het iets minder accuraat was.

Het Oordeel

Het paper concludeert dat het gebruiken van een LLM om algoritmen te laten evolueren een krachtig nieuw instrument is. Het suggereert dat we niet uitsluitend hoeven te vertrouwen op menselijke experts om complexe optimalisatietools te ontwerpen. De robot kan ontwerpen ontdekken waar mensen nooit aan zouden denken, waarbij het een balans vindt tussen nauwkeurigheid en snelheid op een manier die "moeilijk handmatig te bereiken is".

De auteurs zijn echter eerlijk over de beperkingen. Ze geven toe dat ze alleen een klein aantal echte problemen (drie) hebben getest en dat de robot mogelijk meer afstemming nodig heeft voor verschillende soorten uitdagingen. Ze merken ook op dat het succes van de robot afhangt van de specifieke "hersenen" (de LLM) die ze gebruikten en de prompts die ze gaven.

Kortom, het paper bewijst dat een robotchef, geleid door evolutie, een nieuw recept kan uitvinden dat zowel heerlijk als ongelooflijk snel is, waarbij hij de beste menselijke chefs verslaat in snelheid terwijl hij hun kwaliteit evenaart. Maar het is nog steeds een werk in uitvoering, en we moeten blijven testen in meer keukens voordat we hem de ultieme chef verklaren.

Technische Samenvatting: LLM-gestuurde Evolutionaire Generatie van Multi-Objective Bayesian Optimalisatie Algoritmen

1. Probleemstelling

Het ontwerpen van effectieve Multi-Objective Bayesian Optimization (MOBO) algoritmen is een complexe taak die een balans vereist tussen talrijke onderling afhankelijke ontwerpkeuzes, zoals de selectie van surrogaatmodellen, acquisitiefuncties en strategieën voor het genereren van kandidaten. De optimale configuratie is doorgaans problemspecifiek en vereist diepgaande expertise. Hoewel recente vooruitgang in Large Language Model (LLM)-gestuurde algoritme-generatie veelbelovend is gebleken in single-objective settings, blijft het uitbreiden van deze capaciteit naar het multi-objective domein een uitdaging vanwege de noodzaak om Pareto-dominantie, hypervolume-berekening en objectieve-normalisatie zonder handmatige interventie af te handelen.

2. Methodologie

De auteurs breiden het LLaMEA-framework uit naar de multi-objective setting, waardoor LLaMEA-MOBO ontstaat. Dit systeem maakt gebruik van een evolutionaire loop waarbij een LLM fungeert als de mutatie- en crossover-operator om volledige algoritme-implementaties te genereren.

Kerncomponenten van het Framework

Evolutionaire Loop: Het proces iterereert door generaties. In elke stap wordt de LLM geprompt met de broncode van ouder-algoritmen (of -algoritmen), hun fitness-feedback (genormaliseerd hypervolume en executietijd) en eventuele runtime-fouten.
- Mutatie: Een enkel ouder-algoritme wordt verfijnd om de strategie te verbeteren.
- Crossover: Twee ouders worden gecombineerd om een nieuwe oplossing te creëren, die vervolgens wordt verfijnd.
Algoritme-interface: Gegenereerde algoritmen moeten voldoen aan een vaste objectgeoriënteerde interface. Cruciaal is dat het aantal objectieven niet hard-coded is; algoritmen moeten het aantal objectieven tijdens runtime afleiden uit de eerste functie-evaluatie om algemeenheid te garanderen over bi-objective en many-objective problemen.
Hyperparameter Optimalisatie (HPO): Direct geïntegreerd in de evolutionaire loop met behulp van SMAC (Sequential Model-based Algorithm Configuration). Elk gegenereerd algoritme definieert een afstembare hyperparameterruimte (bijv. batchgrootte, kernelparameters). SMAC optimaliseert deze parameters over een subset van benchmark-problemen om generalisatie te bevorderen en overfitting te voorkomen.
Fitness Signaal: De fitness van een algoritme wordt gedefinieerd als het gemiddelde genormaliseerde hypervolume (HV) over een reeks benchmark-problemen. De normalisatie zorgt ervoor dat problemen met verschillende schalen van objectieven evenveel bijdragen aan het fitness-signaal.

Experimentele Opstelling

Evolutionaire Strategieën: Drie configuraties werden getest: $(1+1)$ -ES, $(4+16)$ -ES, en $(8,16)$ -ES.
LLM Operator: Gemini-2.5-flash werd gebruikt voor de synthese van de algoritme-code en configuratieruimtes.
Benchmarks:
- Synthetische Suite: 12 problemen uit de ZDT, DTLZ en WFG-families, die bi- en tri-objective settings dekken met variërende dimensionaliteiten (5–30 variabelen) en complexiteiten (multimodaliteit, niet-convexiteit, gedisconnecteerdheid).
- Real-World Suite: 3 onbeperkte engineering-problemen (RE21, RE34, RE37) uit de RE benchmark suite.
Baselines: De gegenereerde algoritmen werden vergeleken met state-of-the-art methoden inclusief qParEGO (uit BoFire), IOC-SAMO-COBRA, klassieke evolutionaire algoritmen (NSGA-II, NSGA-III) en Random Search.

3. Belangrijkste Bijdragen

Framework Extensie: De auteurs hebben het LLaMEA-framework succesvol uitgebreid om volledige MOBO-algoritmen te genereren, waarbij SMAC-gebaseerde hyperparameteroptimalisatie direct in de evolutionaire loop is geïntegreerd.
Algoritme Ontdekking: Het systeem genereerde ongeveer 900 kandidaat-algoritmen over negen evolutionaire runs. De studie analyseert hoe verschillende selectieregimes (evolutionaire strategieën) de diversiteit en kwaliteit van de resulterende ontwerpen beïnvloeden.
Performance Benchmarking: De paper biedt een rigoureuze benchmarking van de best-gegenereerde algoritmen tegen gevestigde hand-ontworpen methoden in zowel synthetische als real-world domeinen.
Tijd-Nauwkeurigheid Trade-off Analyse: Het werk karakteriseert de efficiëntie-frontier, en demonstreert dat LLM-gegenereerde algoritmen een state-of-the-art nauwkeurigheid kunnen bereiken met aanzienlijk lagere computationele kosten.

4. Resultaten

Synthetische Benchmarks (Fase 1 & 2)

Top Performer: Het algoritme MOEAD-EI Hybrid (ontdekt tijdens de ontwikkeling) behaalde het hoogste gemiddelde genormaliseerde hypervolume van 0,971 op de 12 synthetische problemen.
Vergelijking met SOTA: MOEAD-EI Hybrid presteerde aanzienlijk beter dan de state-of-the-art qParEGO (0,869) op 7 van de 12 problemen en was nooit significant slechter.
Efficiëntie: MOEAD-EI Hybrid had ongeveer 60× minder wall-clock tijd nodig dan qParEGO om een superieure of vergelijkbare nauwkeurigheid te bereiken.
Systematisch Geselecteerde Algoritmen: Onder de top-algoritmen die strikt door het evolutionaire proces zijn geselecteerd, behaalde Improved-Scalarized-EI een gemiddeld genormaliseerd HV van 0,811, waarmee het alle klassieke baselines versloeg maar achterbleef bij qParEGO en MOEAD-EI Hybrid.

Real-World Benchmarks (Fase 3)

Generalisatie: Op drie ongeziene real-world engineering-problemen kwam Improved-Scalarized-EI naar voren als de meest accurate methode met een gemiddeld genormaliseerd HV van 0,985.
Vergelijking: Het presteerde significant beter dan qParEGO (0,971) op twee van de drie real-world problemen.
Kosten: Improved-Scalarized-EI bereikte deze prestatie met ongeveer 3,4× lagere wall-clock kosten dan qParEGO.
MOEAD-EI Hybrid presteerde ook goed op real-world problemen (0,926) en rangschikte derde overall, wat bevestigt dat de winst ook buiten het synthetische regime overdraagbaar is.

Statistische Significantie

Friedman Test: Bevestigde significante verschillen tussen de algoritmen ( $p = 4,3 \times 10^{-8}$ ), waarbij MOEAD-EI Hybrid op de eerste plaats werd gerangschikt.
Tijd-Nauwkeurigheid: Elk gegenereerd algoritme was significant sneller dan qParEGO over alle 15 problemen ( $p = 6,1 \times 10^{-5}$ ). De gegenereerde algoritmen bezetten de efficiënte frontier, waarbij ze nauwkeurigheid evenaren of overtreffen terwijl ze één tot drie ordes van grootte sneller draaien.

Algoritme Kenmerken

De studie analyseerde de lineage van de top-algoritmen en onthulde dat deze geen "black boxes" zijn, maar bestaan uit herkenbare, goed gemotiveerde blokken:

MOEAD-EI Hybrid: Combineert MOEA/D decompositie met onafhankelijke Gaussian Process (GP) surrogates en Expected Improvement (EI) acquisitie, wat een balans vindt tussen nauwkeurigheid en kosten.
Improved-Scalarized-EI: Gebruikt een Matérn-2.5 GP surrogate met EI op een schaal-invariante Tchebycheff scalarisatie, geoptimaliseerd door een vectoriseerde evolutionaire inner optimizer. Het blinkt uit op gladde, laag-dimensionale real-world problemen.
RF Varianten: Algoritmen die Random Forest surrogates gebruiken (bijv. RF-ParEGO-Batch) ruilden surrogate-getrouwheid in voor snelheid, en behaalden competitieve nauwkeurigheid bij 2 tot 3 ordes van grootte lagere runtime.

5. Betekenis en Claims

De paper claimt dat LLM-gestuurde evolutionaire zoektochten ontwerpen kunnen ontdekken die Pareto-efficiënte trade-offs bereiken die moeilijk te bereiken zijn via handmatig ontwerp.

Specifiek demonstreren de auteurs dat:

Geautomatiseerde generatie algoritmen kan produceren die de nauwkeurigheid van state-of-the-art hand-ontworpen methoden (zoals qParEGO) evenaren of overtreffen.
Deze gegenereerde algoritmen deze prestaties leveren tegen een fractie van de computationele kosten (tot 60× sneller), wat de hoge wall-clock kosten die vaak met Bayesian optimalisatie gepaard gaan, aanpakt.
De aanpak slaagt in generalisatie van synthetische benchmarks naar real-world engineering-problemen zonder herconfiguratie.
Het proces is interpreteerbaar; de lineage van de top-algoritmen toont een gerichte verfijning van specifieke modules (surrogates, acquisitiefuncties, optimizers) in plaats van willekeurige sampling.

De auteurs erkennen beperkingen, waaronder de hoge computationele kosten van het evaluatiebudget (wat het aantal herhalingen beperkt), de restrictie tot onbeperkte real-world problemen, en de gevoeligheid van resultaten voor de keuze van de LLM-backbone. Zij suggereren dat toekomstig werk de exploratie van geconstraineerde problemen, grotere budgetten en de generatie van gespecialiseerde solvers voor specifieke doelproblemen moet verkennen.