🤖 machine learning

SemanticOpt: Towards LLM-Based Semantic Black-Box Optimization

SemanticOpt ist ein neuartiges Framework, das Large Language Models für die semantische Black-Box-Optimierung verbessert, indem es sie auf strukturierte Bayes'sche Trajektorien feinabstimmt, die mit natürlichem Sprachkontext angereichert sind, wodurch sie in Lage sind, Domänenwissen effektiv zu nutzen und sowohl klassische als auch bestehende auf LLM basierende Optimierer in kostspieligen experimentellen Szenarien zu übertreffen.

Ursprüngliche Autoren: Jamison Meindl, Yunsheng Tian, Tony Cui, Veronika Thost, Zhang-Wei Hong, Jie Chen, Wojciech Matusik, Mina Konaković Luković

Veröffentlicht 2026-05-18

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Jamison Meindl, Yunsheng Tian, Tony Cui, Veronika Thost, Zhang-Wei Hong, Jie Chen, Wojciech Matusik, Mina Konaković Luković

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Koch, der versucht, das perfekte neue Kekse-Rezept zu kreieren. Sie haben ein begrenztes Budget für Zutaten und Zeit, sodass Sie nur wenige Chargen backen können.

Der alte Weg (traditionelle Optimierer):
Normalerweise wäre ein Computerprogramm, das Ihnen hilft, wie ein blindes Verkostungsteam. Es sieht nur Zahlen: „2 Tassen Mehl, 100 Grad Hitze, 30 Minuten". Wenn die erste Charge verbrennt, notiert es einfach „verbrannt" und versucht beim nächsten Mal eine leicht andere Zahl. Es weiß nicht, warum es verbrannt ist. Es weiß nicht, dass „zu viel Hitze" Kekse normalerweise ruiniert, oder dass „Natron" anders reagiert als „Backpulver". Es rät rein mathematisch und ignoriert die eigentliche Geschichte des Kochens.

Das neue Problem:
Manchmal reichen die „Zahlen" nicht aus. Vielleicht entwerfen Sie einen neuen Flugzeugflügel, mischen Farben oder optimieren eine chemische Reaktion. Sie verfügen über viel textbasiertes Wissen: alte Forschungsarbeiten, Expertennotizen wie „hohe Hitze beschleunigt die Reaktion, erzeugt aber schädliche Nebenprodukte" oder Beschreibungen ähnlicher vergangener Experimente. Standard-Computerprogramme können diese Notizen nicht lesen; sie verstehen nur die Zahlen.

Der „kluge" Weg (LLMs):
Large Language Models (LLMs) sind wie Super-Leser. Sie können all diese Expertennotizen, Papers und Beschreibungen lesen. Sie verstehen, dass „Phthalo Green" eine kräftige grüne Farbe ist. Wenn Sie jedoch ein LLM einfach bitten, „die beste Mischung zu finden", ist das so, als würden Sie einen brillanten Food-Kritiker bitten, zu kochen. Sie kennen die Theorie, sind aber nicht gut im Prozess des schrittweisen Ausprobierens beim eigentlichen Backen der Kekse. Sie mögen eine gute erste Charge vorschlagen, bleiben dann aber stecken oder machen weiterhin dieselben Fehler, weil sie nicht als systematischer Optimierer trainiert sind.

Die Lösung: SemanticOpt
Die Autoren haben SemanticOpt entwickelt, was so ist, als würde man einen Meisterkoch einstellen, der gleichzeitig ein Data Scientist ist.

So haben sie es aufgebaut:

Das Training: Sie nahmen ein intelligentes LLM (einen „Super-Leser") und lehrten es, ein systematischer Optimierer zu sein. Sie stellten ihm nicht nur Fragen, sondern zeigten ihm Tausende von Beispielen erfolgreicher Experimente. Diese Beispiele enthielten die Zahlen (das Rezept), die Ergebnisse (schmeckte es gut?) und den Kontext (die Expertennotizen und wissenschaftlichen Papers).
Das Lernen: Das Modell lernte, die Zahlen und den Text gemeinsam zu betrachten. Es lernte, dass, wenn ein Paper sagt „hohe Hitze ist riskant" und die Zahlen zeigen, dass ein Versuch mit hoher Temperatur gescheitert ist, es in Zukunft hohe Hitze vermeiden sollte. Es lernte, das „Erkunden" neuer Ideen mit dem „Ausnutzen" dessen zu balancieren, was es bereits als funktionierend kennt.
Das Ergebnis: Wenn es mit einem neuen Problem konfrontiert wird, rät SemanticOpt nicht einfach Zahlen. Es liest die Problembeschreibung, betrachtet die Historie dessen, was funktioniert oder gescheitert ist, und nutzt seinen „gesunden Menschenverstand" (aus dem Text), um das nächste beste Experiment auszuwählen.

Die Analogie des Farbmischers:
Das Paper liefert ein hervorragendes Beispiel zum Mischen von Farben.

Das Ziel: 5 verfügbare Farben mischen, um eine Zielfarbe namens „Minzgrün" zu erreichen.
Der traditionelle Optimierer: Versucht zufällige Mischverhältnisse der Farben. Er könnte 90 % Schwarz und 10 % Weiß versuchen, erhält ein dunkles Grau und erkennt, dass es falsch ist. Er muss Tausende von Kombinationen blind ausprobieren.
SemanticOpt: Sie sagen ihm: „Das Ziel ist Minzgrün, was ein 'kräftiges, lebendiges Grün' ist." Es liest die Namen der Farben: „Phthalo Green" (ein kräftiges Grün), „Titanium White" usw. Es versteht sofort, dass es viel von der grünen Farbe und etwas Weiß benötigt. Es überspringt die schrecklichen Vermutungen und findet die perfekte Mischung viel schneller.

Was sie herausfanden:

Besserer Start: SemanticOpt beginnt mit besseren Vermutungen als Standard-Computer, weil es die Anweisungen liest.
Bessere Verbesserung: Im Gegensatz zu einem Standard-LLM, das nach wenigen Versuchen stecken bleibt, wird SemanticOpt besser, je mehr Daten es sammelt, genau wie ein echter Wissenschaftler, der aus seinen Fehlern lernt.
Der Gewinner: In Tests, die vom Entwerfen von Flugzeugflügeln bis zur Optimierung chemischer Reaktionen reichten, schlug SemanticOpt sowohl die traditionellen, rechenintensiven Computer als auch die rohen, untrainierten Super-Leser.

Der Haken:
Das Paper stellt fest, dass dieses System stark von der Qualität des Textes abhängt, den Sie ihm geben. Wenn Sie irreführende Notizen geben oder wenn das Problem rein zufällige Kategorien ohne logische Geschichte betrifft (wie das Auswählen einer zufälligen ID-Nummer), hilft es nicht so sehr. Aber wenn es eine „Geschichte" oder einen „Kontext" für das Problem gibt, nutzt SemanticOpt diese Geschichte, um die Antwort viel schneller zu finden.

Kurz gesagt: SemanticOpt lehrt eine superkluge KI, nicht nur das Handbuch zu lesen, sondern tatsächlich das Experiment durchzuführen, wobei sie sowohl Mathematik als auch Worte nutzt, um schwierige Probleme effizient zu lösen.

Technischer Zusammenfassung: SemanticOpt: Hin zu LLM-basiertem semantischem Black-Box-Optimierung

Problemdefinition

Die Optimierung experimenteller Systeme wird häufig durch die hohen Kosten, den Zeitaufwand oder die Schwierigkeit einzelner Bewertungen behindert. In diesen „teuren Black-Box"-Szenarien ist die Beziehung zwischen Designparametern und Ergebnissen unbekannt. Traditionelle Optimierer, wie die Bayessche Optimierung (BO), stützen sich ausschließlich auf numerische Beobachtungen (Konfigurationen und skalare Ergebnisse). Ihnen fehlt die Fähigkeit, breiteres Domänenwissen einzubeziehen, wie etwa Expertenheuristiken, wissenschaftliche Literatur oder semantische Beschreibungen vorheriger Experimente. Zwar besitzen Large Language Models (LLMs) die Kapazität, solche semantischen Informationen zu interpretieren, doch state-of-the-art LLMs haben Schwierigkeiten, eine zuverlässige iterative Optimierung durchzuführen. Sie glänzen oft beim Warm-Start (Vorschlagen initialer Kandidaten), versagen jedoch darin, über längere Trajektorien hinweg ein effektives Gleichgewicht zwischen Exploration und Exploitation aufrechtzuerhalten, was zu Leistungsplateaus führt.

Methodik

Die Autoren stellen SemanticOpt vor, ein Framework, das LLMs durch Feinabstimmung auf strukturierte BO-Trajektorien, die um natürlichen Sprachkontext erweitert wurden, mit robusten Black-Box-Optimierungsfähigkeiten ausstattet.

1. Problemformulierung

Die Optimierung wird als sequenzielles Entscheidungsproblem formuliert, bei dem eine LLM-Richtlinie $\pi_\theta$ mit einer unbekannten Zielfunktion $f$ interagiert. In jedem Schritt $t$ erhält das Modell eine Historie von Beobachtungen $D_t = \{(x_i, y_i)\}$ und semantischen Kontext $C$ (z. B. Problembeschreibungen, historische Daten oder Evaluierungsfeedback). Das Modell generiert die nächste Konfiguration $x_{t+1} \sim \pi_\theta(\cdot | C, D_t)$ .

2. Datengenerierung und Training

Um die Knappheit realer Benchmarks mit semantischen Daten zu überwinden, erstellten die Autoren einen groß angelegten Trainingsdatensatz, der über 100.000 Optimierungstrajektorien umfasst:

Funktionsräume: Sie generierten diverse synthetische Zielvorgaben mittels zweier Methoden:
- Gauß-Prozess (GP)-Funktionen: Flexible, skalierbare Generatoren, erweitert um nichtlineare Koordinatenverzerrungen, Diskontinuitäten, Einschränkungen und Fehlerbereiche, um reale Irregularitäten nachzuahmen.
- LLM-generierte Funktionen: Unter Verwendung von Qwen 3.5 35B-A3B generierten sie semantische Kontexte für reale Domänen (z. B. chemische Reaktionen, Logistik im Schiffverkehr), die mit 100 bewerteten Punkten gepaart wurden, um die Grundwahrheit durch Surrogat-Anpassung zu definieren.
Trajektoriengenerierung: Das state-of-the-art BO-Framework HEBO wurde verwendet, um hochwertige Optimierungstrajektorien auf diesen Funktionsräumen zu generieren. Der Prozess umfasste die Initialisierung mit 5 Schritten (unter Verwendung von Sobol-Sampling für GP-Funktionen und LLM-generierten Initialisierungen für semantische Funktionen) und das Ausführen von 3 verschiedenen Surrogatmodellen (GP, Random Forest und SVIDKL). Das bei bestimmten Schrittzahlen (10, 25, 50, 100) am besten performende Surrogat wurde ausgewählt, um den Datensatz zusammenzustellen.
Prompt-Struktur: Die Trainingsdaten sind als Multi-Turn-Gespräche formatiert. Die Systemanweisung erzwingt eine strikte JSON-Ausgabe, die die vorgeschlagene Konfiguration, den vorhergesagten Mittelwert, die Standardabweichung und (falls zutreffend) die Ausfallwahrscheinlichkeit enthält.
Feinabstimmung: Die Autoren feinabstimmten Qwen 3.5 27B-Modelle (und 9B) unter Verwendung von Low-Rank Adaptation (LoRA). Das Modell wird trainiert, sowohl Kandidatenkonfigurationen als auch Surrogat-ähnliche Vorhersagen auszugeben und lernt effektiv, als ein End-to-End-sequenzieller Optimierer zu agieren, der numerisches Feedback mit semantischer Schlussfolgerung integriert.

3. Inferenz-Pipeline

Während der Inferenz folgt SemanticOpt derselben Multi-Turn-Struktur. Es beginnt damit, 5 initiale Konfigurationen basierend auf dem bereitgestellten Kontext vorzuschlagen. Anschließend schlägt es iterativ neue Konfigurationen vor. Um die Entscheidungsfindung zu verbessern, sampelt das Modell zwei Kandidatenkonfigurationen pro Schritt, und die endgültige Auswahl erfolgt durch Maximierung der erwarteten Verbesserung, gewichtet mit der vorhergesagten Erfolgswahrscheinlichkeit, wodurch die Machbarkeit berücksichtigt wird.

Hauptbeiträge

Groß angelegter Trainingsdatensatz: Die Erstellung eines Datensatzes mit über 100.000 Optimierungstrajektorien über diverse GP-generierte und LLM-generierte Funktionsräume hinweg, unter Verwendung von BO-Methoden, um hochwertige Optimierungsdaten sicherzustellen.
Strukturierte Feinabstimmungsmethode: Eine neuartige Methode zur Feinabstimmung von LLMs auf BO-Daten, um sowohl Kandidatenkonfigurationen als auch kalibrierte Surrogat-ähnliche Vorhersagen auszugeben, wodurch das SemanticOpt-Modell entsteht.
Umfassende Evaluation: Evaluation über reale Surrogat-Benchmarks mit unterschiedlichen Niveaus an semantischem Kontext, die zeigt, dass SemanticOpt sowohl klassische BO-Methoden als auch bestehende LLM-basierte Ansätze übertrifft, wenn relevante semantische Informationen bereitgestellt werden.

Ergebnisse

Die Autoren evaluierten SemanticOpt gegen einen umfassenden Satz von Baselines, darunter HEBO (mit GP-, RF- und SVIDKL-Surrogaten), transformer-basierte Optimierer (PFNs4BO) und Frontier-LLMs (GPT-5.4, Qwen 3.5 27B).

Leistung: Über diverse Domänen hinweg (z. B. Airfoil CFD, MuJoCo Control, Lackmischen, PD1) erreichte SemanticOpt die beste durchschnittliche normalisierte Leistung. Es übertraf Basis-LLMs (Qwen 3.5 27B) bei der iterativen Optimierung signifikant und zeigte kontinuierliche Verbesserung statt Plateaubildung.
Semantischer Kontext: Die Einbeziehung semantischer Daten (langformatiger Kontext, historische Beispiele, zusätzliche Metriken) verbesserte die Leistung konsistent. Beispielsweise nutzte SemanticOpt bei einer Lackmisch-Aufgabe Farbbeschreibungen, um eine Zielübereinstimmung zu finden (Score 0,91), die HEBO GP (Score 6,5) weit übertraf.
Vergleich mit Frontier-Modellen: Während GPT-5.4 auf Benchmarks, die aus öffentlichen Datensätzen abgeleitet wurden, eine starke Initialisierungsleistung zeigte (was auf potenzielles Auswendiglernen hindeutet), übertraf SemanticOpt es auf Benchmarks, die durch Simulationen mit weniger Online-Daten generiert wurden (z. B. Airfoil CFD, MuJoCo Control). Bei gleicher Initialisierung durch GPT-5.4 demonstrierte SemanticOpt überlegene Fähigkeiten zur iterativen Optimierung.
Surrogatqualität: Die internen Vorhersagen von SemanticOpt (Mittelwert und Standardabweichung) zeigten im Vergleich zu traditionellen BO-Surrogatmodellen eine wettbewerbsfähige oder überlegene Genauigkeit und Unsicherheitskalibrierung.
Ablationsstudien:
- Modellgröße: Das 27B-Modell behielt die Initialisierungsfähigkeiten besser bei als das 9B-Modell, das unter „kapazitätsabhängigem Vergessen" vortrainierter Priors litt.
- Initialisierung vs. Iteration: Die Gewinne von SemanticOpt resultieren sowohl aus einer verbesserten Warm-Start-Fähigkeit als auch aus überlegener iterativer Optimierung.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass SemanticOpt die Lücke zwischen den Stärken der semantischen Schlussfolgerung von LLMs und der stichproben-effizienten, unsicherheitsbewussten Suche der Bayesschen Optimierung schließt. Durch die direkte Feinabstimmung von LLMs auf strukturierte BO-Trajektorien, die um semantischen Kontext erweitert wurden, demonstrieren die Autoren, dass LLMs als effektive sequenzielle Optimierer trainiert werden können.

Die Bedeutung liegt in der Schaffung eines End-to-End-semantischen Optimierers, der nicht auf externe BO-Schleifen oder einfaches Prompting angewiesen ist. Es ermöglicht Optimierungssystemen, Dokumentation, vorherige Experimente und zusätzliche Messungen bei der Vorschlag neuer Experimente zu nutzen. Die Autoren weisen auf Einschränkungen hin, insbesondere in rein kategorialen Räumen (wo BO-Methoden selbst Schwierigkeiten haben) und in Domänen mit stark diskontinuierlichen Zielfunktionen, wo die BO-Kalibrierung versagen kann. Sie schlagen vor, dass zukünftige Arbeiten die Einbeziehung von Entscheidungsrechtfertigungen und die Erweiterung auf flexiblere Funktionsräume umfassen könnten.