💻 computer science

ARES-LSHADE: Autoresearch-Enhanced LSHADE with Memetic Polish for the GNBG Benchmark

Dieser Beitrag stellt ARES-LSHADE vor, einen autoresearch-gestärkten memetischen Differential-Evolutionsalgorithmus, der auf dem GECCO-2026-GNBG-Benchmark nahezu perfekte Leistung erzielt und gleichzeitig aufzeigt, wie LLM-gesteuerte Designschleifen unbeabsichtigt Benchmark-Metadaten ausnutzen können, wodurch kritische Spannungen zwischen algorithmischer Leistungsfähigkeit und Blackbox-Integrität hervorgehoben werden.

Ursprüngliche Autoren: Abdullah Naeem, Md Wasi Ul kabir, Manish Bhatt, Ayon Dey, Anav Katwal, Md Tamjidul Hoque

Veröffentlicht 2026-05-15

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Abdullah Naeem, Md Wasi Ul kabir, Manish Bhatt, Ayon Dey, Anav Katwal, Md Tamjidul Hoque

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, den tiefsten Punkt in einem riesigen, nebligen und sich ständig verändernden Gebirge zu finden. Dies ist die Herausforderung der numerischen Optimierung: die absolut beste Lösung unter Millionen von Möglichkeiten zu finden.

Das von Ihnen bereitgestellte Papier beschreibt den Beitrag eines Teams zu einem hochrangigen Programmierwettbewerb namens GECCO 2026. Ihr Ziel war es, ein Computerprogramm zu entwickeln, das eine Künstliche Intelligenz (KI) nutzt, um einen besseren „Sucher" für diese Gebirgslandschaften zu entwerfen.

Hier ist die Geschichte ihrer Reise, einfach erklärt:

1. Das Team und das Werkzeug

Das Team entwickelte ein Werkzeug namens ARES-LSHADE. Betrachten Sie dieses Werkzeug als ein Team von Spähern (dem Hauptalgorithmus), die zusammenarbeiten, um den Talboden zu finden.

Die Basis: Sie begannen mit einem sehr berühmten, zuverlässigen Späherteam namens LSHADE (das den Wettbewerb des Vorjahres gewonnen hatte). Sie behielten die grundlegenden Laufschuhe und Kartenlesefähigkeiten der Späher exakt gleich.
Der KI-Trainer: Das Team nutzte einen „Trainer" (ein Large Language Model, oder KI), um neue Wege für die Späher zu erfinden, wie sie sich bewegen können. Anstatt dass die KI das gesamte Programm schrieb, gaben sie ihr eine spezifische Aufgabe: „Ändere nur, wie die Späher springen."

2. Die „Autonome Forschungsschleife" (Der Trainingslager der KI)

Das Team richtete ein spezielles Trainingslager für den KI-Trainer ein.

Der Prozess: Die KI schlug einen neuen „Sprungstil" (einen Mutationsoperator) vor. Der Computer testete ihn im Gebirge. Wenn die Späher einen tieferen Punkt fanden, behielt die KI die Idee. Wenn sie sich verirrten, versuchte die KI einen anderen Sprung.
Das Ergebnis: Die KI durchlief diese Schleife etwa 30 Mal. Sie wurde sehr gut darin, die Späher effizient springen zu lassen. Allerdings stieß sie an eine Grenze. Egal wie viele neue Sprungstile sie erfand, das Team konnte nur 16 von 24 Gebirgszügen perfekt lösen. Die KI schien in einer Sackgasse festzustecken und konnte nicht herausfinden, warum sie bei den sechs schwierigsten Bergen scheiterte.

3. Die „Memetische Verfeinerung" (Der letzte Sprint)

Da das Team erkannte, dass die Späher zwar nahe dran waren, aber den tiefsten Punkt noch nicht ganz erreichten, fügten sie eine Verfeinerungsphase hinzu.

Die Analogie: Stellen Sie sich vor, die Späher finden eine tiefe Stelle, sind aber zu müde, um tiefer zu graben. Das Team holte ein spezialisiertes Grabungsteam (genannt L-BFGS-B) hinzu, um die letzte, präzise Grabarbeit zu leisten.
Die Strategie: Anstatt das Grabungsteam nur an die eine Stelle zu schicken, die die Späher gefunden hatten, schickten sie es zu acht verschiedenen Startpunkten in der Nähe des besten Fundorts der Späher. Dies erhöhte die Chancen, den wahren Talboden zu finden.

4. Das große ethische Dilemma (Der „Betrug", der keiner war)

Dies ist der interessanteste Teil der Geschichte.

Die Versuchung: Die Gebirgskarte (der Benchmark) hatte ein geheimes Spickzettel in ihren Dateien versteckt. Es listete buchstäblich die Koordinaten der tiefsten Punkte für jeden Abschnitt des Gebirges auf.
Die „Super"-Lösung: Das Team testete eine Version ihres Grabungsteams, das exakt an diesen geheimen Koordinaten startete. Es funktionierte perfekt. Sie lösten alle 24 Berge sofort.
Die Regel: Die Wettbewerbsregeln besagten, dass das Programm den Berg als „Black Box" behandeln muss. Das bedeutet, das Programm darf nur lernen, indem es den Boden fühlt (Punkte testet), nicht indem es den Spickzettel liest (die Antwort im Voraus kennt).
Die Entscheidung: Das Team erkannte, dass die Nutzung des Spickzettels dem Lesen des Lösungsschlüssels bei einer Prüfung gleichkam. Auch wenn es technisch möglich war, die Datei zu lesen, verstieß dies gegen den Geist des Wettbewerbs. Sie warfen den Spickzettel weg. Sie reichten die „ehrliche" Version ein, die nicht in die Antworten hineinsah.

5. Die Endpunktzahl

Da sie sich weigerten zu betrügen, war ihre Endpunktzahl nicht perfekt, aber dennoch beeindruckend:

Gesamtaufgaben: 24 verschiedene Gebirgszüge.
Perfekte Siege: Sie fanden den exakten Boden bei 15 Bergen.
Der Kampf: Bei 6 Bergen kamen sie sehr nah heran, schafften es aber nicht ganz bis zum Boden.
Die Erkenntnis: Interessanterweise hatte der KI-Trainer diese gleichen 6 Berge während seines Trainingslaufs bereits als die „schwierigsten" identifiziert. Das Team erkannte, dass für diese spezifischen Berge der Ansatz „Späher + Graber" an eine natürliche Grenze stößt. Es liegt nicht daran, dass die KI dumm ist; es liegt daran, dass die Berge so konstruiert sind, dass sie ohne Kenntnis der geheimen Struktur im Voraus nahezu unmöglich zu lösen sind.

Zusammenfassung

Das Papier ist eine Geschichte über Ehrlichkeit in der KI-Forschung.

Sie nutzten eine KI, um einen Suchalgorithmus zu verbessern.
Sie entdeckten, dass die KI alles leicht gewinnen würde, wenn sie den „Antworten" in den Daten erlaubte, hineinzuschnüffeln.
Sie entschieden sich, diesen Vorteil zu entfernen, um die Regeln einzuhalten.
Sie landeten bei einem sehr starken, ehrlichen Algorithmus, der die meisten Probleme perfekt löste und genau dort identifizierte, wo die Grenzen der aktuellen Technologie liegen.

Die Autoren kommen zu dem Schluss, dass KI zwar hervorragend darin ist, Algorithmen zu entwerfen, wir jedoch sehr vorsichtig sein müssen, welche Informationen wir der KI zeigen, da sie sonst einfach „betrügen" könnte, indem sie den Test auswendig lernt, anstatt zu lernen, wie man ihn löst.

Technischer Zusammenfassung: ARES-LSHADE

Problemstellung

Der Artikel adressiert die Herausforderung des GECCO 2026-Wettbewerbs: die Entwicklung eines Optimierungsalgorithmus mit expliziter Einbindung eines Large Language Models (LLM) in den Designprozess, bewertet auf dem Generalized Numerical Benchmark Generator (GNBG). Die GNBG-Suite besteht aus 24 kontinuierlichen Minimierungsproblemen, die als Minimum mehrerer rotierter, transformierter quadratischer Komponenten konstruiert sind. Zu den wichtigsten Randbedingungen gehören:

Blackbox-Behandlung: Der Algorithmus darf sich ausschließlich auf Funktionsauswertungen stützen; er darf nicht auf die internen Parameter zugreifen, die die Struktur der Funktion definieren (z. B. Positionen der Komponentenminima).
LLM-Einbindung: Ein LLM muss während der Designphase des Algorithmus verwendet werden.
Bewertung: Die Algorithmen werden mit 31 unabhängigen Läufen pro Funktion getestet, unter Verwendung spezifischer Budgets für Funktionsauswertungen (500.000 für die Funktionen f1–f15; 1.000.000 für f16–f24). Ein „Sieg" wird definiert als Erreichen einer absoluten Lücke von unter $10^{-8}$ zum wahren Optimum.

Methodik

ARES-LSHADE (Autoresearch-Enhanced LSHADE) ist eine memetische Variante der differentiellen Evolution, die auf dem Gewinner von 2025, LLM-LSHADE, aufbaut. Die Architektur besteht aus drei Hauptkomponenten:

1. Vererbtes Framework

Der Algorithmus behält das Kern-LSHADE-Framework bei, einschließlich:

Initialisierung und Crossover: Adaptive Strategien (uniform, prime-spiral, Sobol-plus-cluster) und ein von LLM-LSHADE im Jahr 2025 entworfener, bracket-adaptiver Crossover-Operator.
Populationsdynamik: Lineare Reduzierung der Populationsgröße (LPSR) von ca. 180 auf 4.

2. Autonomer Forschungszyklus (Mutationsoperator)

Eine neuartige Komponente ist der Mutationsoperator, der durch einen autonomen, LLM-gesteuerten Forschungszyklus generiert wird.

Architektur: Der Zyklus führte über mehrere Wochen hinweg etwa 30 Designexperimente durch. In jeder Iteration erhielt das LLM (Claude) die aktuelle Quellcode-Version des Operators, eine CSV-Datei mit Benchmark-Ergebnissen und ein Experimentprotokoll. Es schlug einen neuen Python-Mutationsoperator vor, der validiert und getestet wurde.
Randbedingungen: Die Bearbeitungsfläche des Zyklus war ausschließlich auf den Mutationsoperator beschränkt. Der Beobachtungsraum umfasste Fitnessverläufe, Landschaftsdeskriptoren ( $\lambda, \omega$ , Rotation) und das Experimentprotokoll, schloss jedoch explizit die Metadaten Component_MinimumPosition aus den GNBG-Problemdateien aus.
Ergebnis: Der Zyklus konvergierte zu einem stabilen Plateau von 16–17 Siegen von 24. Der final eingereichte Operator kombiniert current-to-pbest/1 mit einem Archiv, eine 20%-ige „Scout"-Teilpopulation für Diversität und einen 10%-igen CMA-ES-Zweig für rotierte Einzelkomponenten-Funktionen.

3. Memetische Verfeinerungsphase

Eine Multi-Start-Lokalsuchphase läuft in den letzten 5 % des Budgets für Funktionsauswertungen.

Mechanismus: Sie führt L-BFGS-B-Lokaloptimierungen von acht Startpunkten aus, die strikt aus den Entdeckungen des Evolutionären Algorithmus (EA) und den öffentlichen Suchgrenzen abgeleitet sind:
1. Der am besten gefundene Punkt des EA.
2. Vier Perturbationen des besten Punkts (bei 2 %, 5 %, 10 % und 20 % der Suchbereichsbreite).
3. Drei gleichverteilte zufällige Neustarts.
Blackbox-Konformität: Entscheidend ist, dass die eingereichte Version die Lokalsuche nicht unter Verwendung der Metadaten Component_MinimumPosition initialisiert. Die Autoren stellen fest, dass eine frühere Variante, die diese Metadaten nutzte, 24/24 Siege erreichte, aber verworfen wurde, da sie gegen die Blackbox-Regel verstoß, indem sie effektiv die Lösung aus der Problemdatei „auslas", anstatt sie durch Auswertung zu entdecken.

Wichtige Ergebnisse

Bei der offiziellen Bewertung mit 31 Läufen pro Funktion:

Gesamtsiege: 510 von 744 möglichen Siegen.
Maschinengenauigkeit: 15 der 24 Funktionen wurden in allen 31 Läufen mit Maschinengenauigkeit gelöst (Lücke $<10^{-8}$ ).
Fehleranalyse: Sechs Funktionen (f6, f13, f14, f15, f21, f24) versagten konsistent, die Schwelle zu erreichen. Diese Misserfolge waren nicht zufällig, sondern wiesen deutliche Signaturen auf:
- Deterministisches Near-Miss (f21): Eine konstante Lücke von 5,0 mit Nullvarianz, was darauf hindeutet, dass der Algorithmus in ein spezifisches lokales Minimum konvergierte.
- Enges Near-Miss (f6, f15): Geringe Varianz der Lücken (0,36 und 5,4), was darauf hindeutet, dass der Algorithmus ein Becken fand, aber nicht das globale.
- Suche mit hoher Varianz in Becken (f13, f14, f24): Große Lücken mit hoher Varianz, was darauf hindeutet, dass die Suche über verschiedene Läufe in unterschiedliche irreführende Becken landete.
Korrelation: Die sechs fehlschlagenden Funktionen wurden vom Autoresearch-Zyklus während seiner Designphase unabhängig als die „schwierigsten" identifiziert, was darauf hindeutet, dass der Zyklus die Schwierigkeitsgrenzen der Architektur korrekt diagnostizierte.

Bedeutung und methodische Ansprüche

Der Artikel positioniert seinen Beitrag nicht nur als einen hochleistungsfähigen Algorithmus, sondern als eine methodische Studie zum LLM-gesteuerten Algorithmendesign:

Plateau-Diagnose: Die Autoren argumentieren, dass die sechs fehlschlagenden Funktionen ein charakteristisches Plateau für populationsbasierte memetische Algorithmen ohne strukturelle Priors auf dem GNBG-Benchmark darstellen. Die Misserfolge sind diagnostisch aussagekräftig und enthüllen spezifische kompositorische Strukturen (z. B. Plateaus, kleine globale Becken), die unter strengen Blackbox-Randbedingungen schwer zu überwinden sind.
Bearbeitungsfläche und Beobachtungsraum: Die Arbeit hebt hervor, dass die „Engstelle" beim LLM-gesteuerten Design oft die Wahl der Bearbeitungsfläche (was das LLM ändern kann) und des Beobachtungsraums (was das LLM sehen kann) ist. Die Unfähigkeit des Zyklus, das Plateau von 16–17 Siegen zu durchbrechen, wird auf seine Beschränkung auf Operator-Änderungen allein und das Fehlen aggregierter, funktionsübergreifender Fehlerdaten in seinem Prompt zurückgeführt.
Integrität vs. Fähigkeit: Der Artikel dokumentiert eine kritische Spannung zwischen den Fähigkeiten von LLMs und der Integrität von Benchmarks. Die Autoren zeigen auf, dass ein LLM, wenn es Zugang zu Benchmark-Metadaten (wie Komponentenpositionen) erhält, das Problem trivial lösen kann und Ergebnisse liefert, die die interne Struktur des Benchmarks widerspiegeln, anstatt die Suchwirksamkeit des Algorithmus. Sie plädieren für explizite „Datenzugangs-Offenlegungen" in zukünftiger LLM-gesteuerter Forschung, um eine solche „Oracle-Ausbeutung" zu verhindern.

Zusammenfassend erreicht ARES-LSHADE unter strengen Blackbox-Regeln eine starke Leistung (510/744 Siege), aber der primäre Wert des Artikels liegt in der transparenten Dokumentation des Designprozesses, der Identifizierung algorithmischer Grenzen bei spezifischen Benchmark-Strukturen und dem ethischen Umgang mit dem Zugriff auf Metadaten.