💻 computer science

ARES-LSHADE: Autoresearch-Enhanced LSHADE with Memetic Polish for the GNBG Benchmark

Dit artikel introduceert ARES-LSHADE, een autoresearch-gestuurde memetische differentiatie-evolutie-algoritme dat bijna perfecte prestaties behaalt op de GECCO 2026 GNBG-benchmark, terwijl het aantoont hoe door LLM-aangedreven ontwerpcycli onbedoeld benchmark-metadata kunnen exploiteren, waardoor kritieke spanningen tussen algoritmische capaciteit en blackbox-integriteit worden blootgelegd.

Oorspronkelijke auteurs: Abdullah Naeem, Md Wasi Ul kabir, Manish Bhatt, Ayon Dey, Anav Katwal, Md Tamjidul Hoque

Gepubliceerd 2026-05-15

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Abdullah Naeem, Md Wasi Ul kabir, Manish Bhatt, Ayon Dey, Anav Katwal, Md Tamjidul Hoque

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert het laagste punt te vinden in een enorm, mistig en voortdurend veranderend berglandschap. Dit is de uitdaging van numerieke optimalisatie: het vinden van de absoluut beste oplossing onder miljoenen mogelijkheden.

Het paper dat je hebt aangeleverd beschrijft de inzending van een team voor een hoog-risico programmeerwedstrijd genaamd GECCO 2026. Hun doel was om een computerprogramma te bouwen dat Kunstmatige Intelligentie (KI) gebruikt om een betere "zoeker" voor deze berglandschappen te ontwerpen.

Hier is het verhaal van hun reis, eenvoudig uitgelegd:

1. Het Team en het Gereedschap

Het team bouwde een gereedschap genaamd ARES-LSHADE. Denk aan dit gereedschap als een team van verkenners (het hoofd-algoritme) die samenwerken om de bodem van de vallei te vinden.

De Basis: Ze begonnen met een zeer beroemde, betrouwbare groep verkenners genaamd LSHADE (die de wedstrijd van het vorige jaar won). Ze hielden de basis hardloopschoenen en kaartleesvaardigheden van de verkenners exact hetzelfde.
De KI-Trainer: Het team gebruikte een "Trainer" (een Large Language Model, of KI) om nieuwe manieren te bedenken voor de verkenners om te bewegen. In plaats van dat de KI het hele programma schreef, gaven ze haar een specifieke taak: "Verander alleen hoe de verkenners springen."

2. De "Autonome Onderzoekslus" (Het Trainingskamp van de KI)

Het team richtte een speciaal trainingskamp op voor de KI-Trainer.

Het Proces: De KI stelde een nieuwe "springstijl" voor (een mutatie-operator). De computer testte dit op het berglandschap. Als de verkenners een lager punt vonden, hield de KI het idee vast. Als ze verdwaalden, probeerde de KI een andere sprong.
Het Resultaat: De KI voerde deze lus ongeveer 30 keer uit. Ze werd erg goed in het efficiënt laten springen van de verkenners. Echter, ze botste tegen een plafond. Hoeveel nieuwe springstijlen ze ook bedachten, het team kon slechts 16 van de 24 berglandschappen perfect oplossen. De KI leek vast te zitten in een patroon, niet in staat om te begrijpen waarom ze faalde op de moeilijkste zes bergen.

3. De "Memetische Polijst" (De Finale Sprint)

Toen ze realiseerden dat de verkenners dichtbij kwamen maar de bodem niet helemaal bereikten, voegde het team een Polijstfase toe.

De Analogie: Stel je voor dat de verkenners een lage plek vinden, maar te moe zijn om dieper te graven. Het team bracht een gespecialiseerd graafteam (genaamd L-BFGS-B) om het laatste, precieze graafwerk te doen.
De Strategie: In plaats van het graafteam alleen naar de ene plek te sturen die de verkenners hadden gevonden, stuurden ze hen naar acht verschillende startpunten in de buurt van de beste vondst van de verkenners. Dit vergrootte de kans om de ware bodem van de vallei te vinden.

4. Het Grote Ethische Dilemma (De "Valstrik" die het Niet Was)

Dit is het meest interessante deel van het verhaal.

De Verleiding: De kaart van het berglandschap (de benchmark) had een geheim cheat-blad verborgen in de bestanden. Het vermeldde letterlijk de coördinaten van de laagste punten voor elk deel van de berg.
De "Super"-Oplossing: Het team probeerde een versie van hun graafteam dat exact begon op die geheime coördinaten. Het werkte perfect. Ze losten alle 24 bergen direct op.
De Regel: De wedstrijdregels bepaalden dat het programma de berg moest behandelen als een "Black Box". Dit betekent dat het programma alleen mag leren door de grond te voelen (punten testen), niet door het cheat-blad te lezen (het antwoord van tevoren weten).
De Beslissing: Het team realiseerde zich dat het gebruik van het cheat-blad gelijk stond aan het lezen van het antwoordblad tijdens een toets. Hoewel het technisch mogelijk was om het bestand te lezen, schond het de geest van de wedstrijd. Ze gooiden het cheat-blad weg. Ze dienden de "eerlijke" versie in die niet in de antwoorden keek.

5. De Eindstand

Omdat ze weigerden te valsspelen, was hun eindstand niet perfect, maar wel indrukwekkend:

Totale Uitdagingen: 24 verschillende berglandschappen.
Perfecte Overwinningen: Ze vonden de exacte bodem op 15 bergen.
De Strijd: Op 6 bergen kwamen ze zeer dichtbij maar konden ze de bodem niet helemaal bereiken.
Het Inzicht: Interessant genoeg had de KI-Trainer diezelfde 6 bergen al tijdens haar trainingslus geïdentificeerd als de "moeilijkste". Het team realiseerde zich dat voor deze specifieke bergen de aanpak "verkenners + gravers" een natuurlijke grens bereikt. Het is niet dat de KI dom is; het is dat de bergen zo zijn ontworpen dat ze bijna onmogelijk op te lossen zijn zonder de geheime structuur van tevoren te kennen.

Samenvatting

Het paper is een verhaal over eerlijkheid in KI-onderzoek.

Ze gebruikten een KI om een zoekalgoritme te verbeteren.
Ze ontdekten dat als ze de KI de "antwoorden" verborgen in de data lieten zien, het alles makkelijk zou winnen.
Ze kozen ervoor om dat voordeel te verwijderen om de regels te volgen.
Ze eindigden met een zeer sterk, eerlijk algoritme dat de meeste problemen perfect oploste en precies aangaf waar de grenzen van de huidige technologie liggen.

De auteurs concluderen dat, hoewel KI geweldig is in het ontwerpen van algoritmen, we zeer voorzichtig moeten zijn met welke informatie we de KI laten zien, anders kan het gewoon "valsspelen" door het toetsenbord te memoriseren in plaats van te leren hoe het op te lossen.

Technische Samenvatting: ARES-LSHADE

Probleemstelling

Het artikel behandelt de uitdaging van de GECCO 2026-competitie: het ontwerpen van een optimalisatiealgoritme met expliciete betrokkenheid van een Large Language Model (LLM) in het ontwerpproces, geëvalueerd op de Generalized Numerical Benchmark Generator (GNBG). De GNBG-suite bestaat uit 24 continue minimaliseringsproblemen die zijn opgebouwd als het minimum van meerdere geroteerde, getransformeerde kwadratische componenten. Belangrijke beperkingen zijn:

Blackbox-behandeling: Het algoritme moet uitsluitend vertrouwen op functiewaarderingen; het mag geen toegang hebben tot de interne parameters die de structuur van de functie definiëren (bijvoorbeeld de posities van de component-minima).
LLM-betrokkenheid: Een LLM moet worden gebruikt tijdens de ontwerpfase van het algoritme.
Evaluatie: Algoritmen worden getest op 31 onafhankelijke runs per functie met specifieke budgetten voor functiewaarderingen (500.000 voor functies f1–f15; 1.000.000 voor f16–f24). Een "overwinning" wordt gedefinieerd als het bereiken van een absolute kloof van minder dan $10^{-8}$ ten opzichte van het ware optimum.

Methodologie

ARES-LSHADE (Autoresearch-Enhanced LSHADE) is een memetische variant van differentiatie-evolutie die voortbouwt op de winnaar van 2025, LLM-LSHADE. De architectuur bestaat uit drie hoofdcomponenten:

1. Geërfd Kader

Het algoritme behoudt het kernkader van LSHADE, inclusief:

Initialisatie en Crossover: Adaptieve strategieën (uniform, prime-spiral, Sobol-plus-cluster) en een bracket-adaptieve crossover-operator ontworpen door LLM-LSHADE in 2025.
Populatiedynamiek: Lineaire verkleining van de populatiegrootte (LPSR) van ongeveer 180 naar 4.

2. Autonoom Onderzoekslus (Mutatie-operator)

Een nieuw onderdeel is de mutatie-operator, gegenereerd door een autonoom, door een LLM gedreven onderzoekslus.

Architectuur: De lus voerde ongeveer 30 ontwerpeksperimenten uit over een periode van enkele weken. In elke iteratie ontving de LLM (Claude) de huidige bron van de operator, een CSV-bestand met benchmarkresultaten en een experimentlogboek. Het stelde een nieuwe Python-mutatie-operator voor, die werd gevalideerd en getest.
Beperkingen: Het bewerkingsoppervlak van de lus was beperkt tot uitsluitend de mutatie-operator. De observatieruimte omvatte fitnesssporen, landschapsbeschrijvers ( $\lambda, \omega$ , rotatie) en het experimentlogboek, maar sloot expliciet de metadata Component_MinimumPosition uit die in GNBG-problembestanden voorkomt.
Resultaat: De lus convergeerde naar een stabiel plateau van 16–17 overwinningen op de 24. De uiteindelijk ingediende operator combineert current-to-pbest/1 met een archief, een "scout"-subpopulatie van 20% voor diversiteit, en een CMA-ES-tak van 10% voor geroteerde single-component-functies.

3. Memetische Polijstfase

Een multi-start lokale zoekfase wordt uitgevoerd in de laatste 5% van het budget voor functiewaarderingen.

Mechanisme: Het voert L-BFGS-B lokale optimalisaties uit vanuit acht startpunten die strikt zijn afgeleid van de ontdekkingen van het Evolutionair Algoritme (EA) en de publieke zoekgrenzen:
1. Het best gevonden punt van het EA.
2. Vier perturbaties van het beste punt (op 2%, 5%, 10% en 20% van de breedte van het zoekdomein).
3. Drie uniforme willekeurige restarts.
Blackbox-naleving: Cruciaal is dat de ingediende versie geen lokale zoektocht start met gebruikmaking van de Component_MinimumPosition-metadata. De auteurs merken op dat een eerdere variant die deze metadata gebruikte 24/24 overwinningen behaalde, maar werd verworpen omdat deze de blackbox-regel schond door effectief de oplossing uit het probleembestand te "lezen" in plaats van deze te ontdekken via evaluatie.

Belangrijkste Resultaten

Op de officiële evaluatie van 31 runs per functie:

Totale Overwinningen: 510 van de 744 mogelijke overwinningen.
Machineprecisie: 15 van de 24 functies werden op alle 31 runs opgelost tot machineprecisie (kloof < $10^{-8}$ ).
Foutanalyse: Zes functies (f6, f13, f14, f15, f21, f24) bleven consequent onder de drempel. Deze mislukkingen waren niet willekeurig, maar vertoonden duidelijke kenmerken:
- Deterministische Near-Miss (f21): Een constante kloof van 5,0 met nul variantie, wat aangeeft dat het algoritme convergeerde naar een specifiek lokaal minimum.
- Strakke Near-Miss (f6, f15): Lage-variantie-kloven (0,36 en 5,4), wat suggereert dat het algoritme een bassin vond, maar niet het globale.
- Zoeken naar Hoog-variantie Bassins (f13, f14, f24): Grote kloven met hoge variantie, wat aangeeft dat de zoektocht tijdens verschillende runs in verschillende misleidende bassins belandde.
Correlatie: De zes falende functies werden onafhankelijk geïdentificeerd als de "moeilijkste" door de autoresearch-lus tijdens de ontwerpfase, wat suggereert dat de lus de moeilijkheidsgraden van de architectuur correct diagnoseerde.

Betekenis en Methodologische Claims

Het artikel positioneert zijn bijdrage niet enkel als een hoogpresterend algoritme, maar als een methodologisch onderzoek naar door LLM gedreven algoritmeontwerp:

Plateau-diagnose: De auteurs betogen dat de zes falende functies een karakteristiek plateau vertegenwoordigen voor populatiegebaseerde memetische algoritmen zonder structurele priors op de GNBG-benchmark. De mislukkingen zijn diagnostisch informatief en onthullen specifieke compositiestructuren (bijvoorbeeld plateaus, kleine globale bassins) die moeilijk te overwinnen zijn onder strikte blackbox-beperkingen.
Bewerkingsoppervlak en Observatieruimte: Het werk benadrukt dat de "bottleneck" in door LLM gedreven ontwerp vaak ligt in de keuze van het bewerkingsoppervlak (wat de LLM kan veranderen) en de observatieruimte (wat de LLM kan zien). Het onvermogen van de lus om het plateau van 16–17 overwinningen te doorbreken, wordt toegeschreven aan haar beperking tot bewerkingen van alleen de operator en het ontbreken van geaggregeerde cross-functie falingsdata in haar prompt.
Integriteit versus Capaciteit: Het artikel documenteert een kritieke spanning tussen LLM-capaciteiten en benchmarkintegriteit. De auteurs tonen aan dat wanneer een LLM toegang krijgt tot benchmarkmetadata (zoals componentposities), het het probleem triviaal kan oplossen, waardoor scores worden geproduceerd die de interne structuur van de benchmark weerspiegelen in plaats van de zoekefficiëntie van het algoritme. Zij pleiten voor expliciete "data-toegangsdisclosures" in toekomstig door LLM gedreven onderzoek om dergelijke "orakel-exploitatie" te voorkomen.

Concluderend bereikt ARES-LSHADE een sterke prestatie (510/744 overwinningen) onder strikte blackbox-regels, maar ligt de primaire waarde van het artikel in de transparante documentatie van het ontwerpproces, de identificatie van algoritmische grenzen op specifieke benchmarkstructuren, en de ethische omgang met metadata-toegang.