🤖 machine learning

BoLT: A Benchmark to Democratize Black-box Optimization Research for Expensive LLM Tasks

Dieser Beitrag stellt BoLT vor, den ersten Benchmark, der die Forschung zur Black-Box-Optimierung für kostspielige LLM-Aufgaben demokratisiert, indem er reproduzierbare, auf realen Daten basierende Surrogatmodelle bereitstellt, um Optimierungsmethoden für Hyperparameter, Prompts und Konfigurationen zu evaluieren und zu verbessern.

Ursprüngliche Autoren: Ruth Wan Theng Chew, Zhiliang Chen, Apivich Hemachandra, Bryan Kian Hsiang Low

Veröffentlicht 2026-05-19

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Ruth Wan Theng Chew, Zhiliang Chen, Apivich Hemachandra, Bryan Kian Hsiang Low

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, das perfekte Sauerteigbrot zu backen. Sie haben einige Regler zu justieren: wie viel Mehl, wie viel Wasser, wie lange es gehen soll und bei welcher Temperatur es gebacken wird. Wenn Sie zufällig raten, verschwenden Sie möglicherweise viel Teig und Zeit, bevor Sie ein funktionierendes Rezept finden.

In der Welt der Künstlichen Intelligenz (speziell Large Language Models, oder LLMs) stehen Forscher vor einem ähnlichen Problem, jedoch in riesigem Maßstab. Sie müssen Tausende von „Reglern" (wie Trainingsgeschwindigkeit, Datenmischungen und Prompts) justieren, um die KI gut funktionieren zu lassen. Das Testen einer einzigen Einstellung kann jedoch Tausende von Dollar an Rechenzeit kosten und Tage in Anspruch nehmen. Da dies so teuer ist, raten die meisten Forscher einfach oder verwenden einfache Faustregeln, was oft zu suboptimalen Ergebnissen führt.

Diese Arbeit stellt BOLT vor, ein neues Werkzeug, das Forschern hilft, die besten Einstellungen zu finden, ohne jedes Mal das Geld für die Durchführung der teuren Tests ausgeben zu müssen.

So funktioniert BOLT, unter Verwendung einiger alltäglicher Analogien:

1. Das Problem: Der „teure Geschmackstest"

Stellen Sie sich vor, Sie sind ein Koch, der die perfekte Gewürzmischung für eine neue Suppe sucht. Der Haken ist, dass das Zubereiten eines vollen Topfes Suppe 24 Stunden dauert und 1.000 Dollar kostet. Sie können es sich nicht leisten, 100 verschiedene Töpfe zu kochen, um zu sehen, welcher am besten schmeckt.

Aktuelle Situation: Forscher raten die Gewürze normalerweise einfach oder versuchen ein paar zufällige Kombinationen.
Das Ziel: Sie wollen ein intelligentes System (genannt „Black-Box-Optimierung"), das einige Töpfe betrachtet, das Muster lernt und die perfekte Mischung mit sehr wenigen Versuchen vorhersagen kann.
Die Hürde: Bislang erforderte das Testen dieser intelligenten Systeme tatsächlich das Kochen der teuren Suppentöpfe, was sich die meisten Forscher nicht leisten konnten.

2. Die Lösung: Der „magische Simulator" (Emulatoren)

BOLT löst dies, indem es einen magischen Simulator bereitstellt.
Anstatt echte, teure Suppentöpfe zu kochen, verwendet BOLT ein „Surrogatmodell" (ein intelligentes Computerprogramm, das auf Daten aus Tausenden bereits durchgeführten echten Suppenexperimenten trainiert wurde).

Funktionsweise: Sie fragen den Simulator: „Was würde passieren, wenn ich 20 % mehr Salz verwenden würde?" Der Simulator gibt Ihnen sofort eine Antwort basierend auf seinem Training, die Sie fast nichts an Zeit oder Geld kostet.
Das Ergebnis: Forscher können nun ihre intelligenten Optimierungsstrategien Tausende von Malen auf diesem günstigen Simulator testen, um zu sehen, welche am besten funktioniert, bevor sie jemals das echte, teure KI-Training berühren.

3. Die drei Haupt„Rezepte", die BOLT testet

Die Arbeit testet diesen Simulator an drei spezifischen Arten von „Koch"-Problemen, mit denen KI-Forscher konfrontiert sind:

Hyperparameter-Optimierung (HPO): Dies ist wie das Justieren von Ofentemperatur und Timer. Die Forscher justieren die Einstellungen des KI-Trainingsprozesses selbst (wie schnell es lernt).
Datenmischungs-Optimierung (DMO): Dies ist wie das Festlegen des Verhältnisses der Zutaten. Sollte die KI mehr aus Mathematikbüchern, Programmierhandbüchern oder allgemeinen Gesprächen lernen? BOLT hilft, die perfekte Mischung an Daten zu finden, um die KI zu füttern.
Prompt-Optimierung (PO): Dies ist wie das Schreiben der perfekten Anweisungskarte für den Koch. Anstatt die Zutaten zu ändern, ändern Sie wie Sie die KI bitten, ein Problem zu lösen. BOLT hilft, die genaue Formulierung zu finden, die das beste Ergebnis liefert.

4. Was sie herausfanden

Die Forscher verwendeten BOLT, um viele verschiedene „intelligente Such"-Algorithmen zu testen (die Köche, die versuchen, das beste Rezept zu finden).

Der Gewinner: Sie fanden heraus, dass eine bestimmte Art von intelligenter Suche namens Bayessche Optimierung (die wie ein Koch ist, der sich an jeden gescheiterten Versuch erinnert und dieses Gedächtnis nutzt, um beim nächsten Mal eine bessere Schätzung abzugeben) die alten, zufälligen Ratemethoden konsistent übertraf.
Die Herausforderung: Sie entdeckten auch, dass diese intelligenten Suchwerkzeuge angepasst werden müssen, um die spezifischen Eigenheiten von KI-Problemen zu bewältigen, wie zum Beispiel den Umgang mit „verrauschten" Ergebnissen (wo die Suppe jedes Mal, wenn Sie sie kochen, leicht anders schmeckt) oder hochdimensionalen Räumen (wo es zu viele Zutaten gibt, um sie zu zählen).

5. Warum dies wichtig ist

Vor BOLT steckte die Gemeinschaft der Menschen, die „intelligente Suche" (Black-Box-Optimierung) studieren, fest, da sie ihre Ideen an gefälschten, einfachen mathematischen Problemen testeten, die nicht wie echte KI-Herausforderungen aussahen.

Demokratisierung: BOLT fungiert als öffentlicher Spielplatz. Jetzt kann ein Forscher mit einem Laptop seine neuen Ideen gegen reale KI-Probleme testen, ohne einen Supercomputer zu benötigen.
Reproduzierbarkeit: Da alle denselben „magischen Simulator" verwenden, können sie ihre Ergebnisse fair vergleichen, wissend, dass sie alle auf exakt demselben Grund testen.

Kurz gesagt: BOLT ist ein kostenloses, quelloffenes Toolkit, das Forschern ermöglicht, ihre „intelligenten Such"-Strategien für KI auf einem günstigen, schnellen Simulator zu üben und zu perfektionieren, damit sie diese Strategien schließlich auf die echten, teuren KI-Modelle anwenden können, um schneller bessere Ergebnisse zu erzielen.

Technischer Zusammenfassung: BOLT – Ein Benchmark zur Demokratisierung der Black-Box-Optimierungsforschung für kostspielige LLM-Aufgaben

Problemstellung

Die Optimierung von Konfigurationen für Large Language Models (LLM) – insbesondere Hyperparameter, Datenmischungen und Prompts – ist entscheidend für die Leistung, wird in der Praxis jedoch häufig heuristisch angegangen, was oft zu suboptimalen Ergebnissen führt. Während Bayessche Optimierung (BO) und andere Black-Box-Optimierungsverfahren (BBO) prinzipielle, stichprobeneffiziente Lösungen für verrauschte, kostspielige und ableitungsfreie Probleme bieten, wird ihre Anwendung auf LLMs durch hohe Rechenkosten stark behindert. Die meisten BBO-Forscher verfügen nicht über die Ressourcen, um neue Methoden an realen LLM-Aufgaben zu validieren. Folglich stützt sich das Feld auf synthetische Testfunktionen oder kleine klassische Machine-Learning-Benchmarks (z. B. BBOB, HPO-B), die die spezifischen Herausforderungen der modernen LLM-Optimierung nicht erfassen, wie etwa Suchräume mit gemischten Variablen, Simplex-Nebenbedingungen und hochdimensionale Embeddings. Diese Lücke behindert die Entwicklung und Bewertung von BBO-Methoden, die auf LLMs zugeschnitten sind.

Methodik: Der BOLT-Benchmark

Um diese Einschränkungen zu adressieren, stellen die Autoren BOLT (Benchmark for optimization of expensive LLM Tasks) vor, den ersten LLM-zentrischen Benchmark, der die Forschung für die BBO-Community demokratisieren soll. BOLT ersetzt teure, nicht reproduzierbare LLM-Trainingsloops durch leichte, deterministische Emulatoren (Surrogatmodelle), die auf über 20.000 realen LLM-Experimentauswertungen trainiert wurden.

Kernkomponenten

Aufgabenfamilien: BOLT deckt drei aktive Bereiche der LLM-Forschung ab, die jeweils als ableitungsfreie Optimierungsprobleme formuliert sind:
- Hyperparameter-Optimierung (HPO): Optimierung von LoRA-Feinabstimmungskonfigurationen (Rank, Alpha, Zielmodule, Lernrate, Batch-Größe) für Qwen3-Modelle (4B und 8B) auf dem OpenMathInstruct-2-Datensatz.
- Datenmischungs-Optimierung (DMO): Optimierung des Anteils von Instruktion-following-, Mathematik- und Code-Daten über zwei Trainingsstufen hinweg für ein Qwen3-4B-Modell.
- Prompt-Optimierung (PO): Auswahl optimaler Prompts für mathematisches Schlussfolgern aus einem vorab generierten Korpus von 5.014 Kandidaten, evaluiert auf dem MATH-500-Benchmark.
Problemvarianten und Herausforderungen: Jede Aufgabenfamilie umfasst Varianten, die spezifische BBO-Herausforderungen testen sollen:
- Multi-Fidelity: Kontinuierliche (Token-Anzahl) und diskrete (Modellgröße) Fidelity-Einstellungen zur Prüfung kostenbewusster Optimierung.
- Multi-Objective: Gleichzeitige Optimierung mehrerer Metriken (z. B. IFEval, MATH-500, MBPP+).
- Heteroskedastisches Rauschen: Eingabeabhängige Rauschmodellierung für die Datenmischungs-Optimierung.
- Hohe Dimensionen: Prompt-Optimierungsaufgaben mit 128 bis 768 Dimensionen (unter Verwendung von Matryoshka-Repräsentations-Learning-Embeddings).
- Nebenbedingungen: Simplex-Nebenbedingungen für Datenmischungen und gemischte Variablenräume (kontinuierlich, ganzzahlig, kategorisch) für Hyperparameter.
Emulator-Konstruktion:
- HPO und DMO: Trainiert mit 2-lagigen Multi-Layer-Perceptrons (MLPs) auf realen experimentellen Daten.
- PO: Nutzt tabellarische Daten aus vorab generierten Prompt-Kandidaten und deren Embeddings, da Interpolation im Embedding-Raum nicht einfach in natürliche Sprache decodierbar ist.
- Validierung: Emulatoren werden mittels Spearman-Rangkorrelation ( $\rho_s$ ) zwischen Vorhersagen und zurückgehaltenen Testsets validiert, um eine hohe Fidelity bei der Rangfolge von Kandidaten sicherzustellen (z. B. $\rho_s \approx 0,96$ für HPO).

Hauptbeiträge

Eine Suite von LLM-zentrischen BBO-Problemen: Die Autoren stellen drei Aufgabenfamilien vor, die auf realen LLM-Zielen basieren und gemischte Variablenräume, Simplex-Nebenbedingungen, Multi-Fidelity, Multi-Objective und hochdimensionale Settings abdecken.
Demokratisierung durch Emulatoren: Durch die Bereitstellung validierter Surrogatmodelle und tabellarischer Datensätze ermöglicht BOLT Forschern, BBO-Methoden zu benchmarken, ohne Zugang zu teurer LLM-Infrastruktur zu haben, und gewährleistet damit Reproduzierbarkeit und Zugänglichkeit.
Umfassende empirische Evaluation: Die Arbeit benchmarkt eine breite Palette von BO-Methoden (einschließlich LogNEI, GIBBON, MES, PES) gegen Standard-Baselines (Random, TPE, CMA-ES, NSGA-2) über alle BOLT-Aufgaben hinweg.

Experimentelle Ergebnisse

Die Autoren bewerteten zahlreiche Akquisitionsfunktionen und Optimierungsstrategien auf BOLT:

HPO: GP-basierte BO-Methoden (insbesondere LogNEI, MF-MES und MF-GIBBON) schnitten in Single-Fidelity- und Multi-Fidelity-Settings konsistent besser ab als nicht-GP-Baselines (TPE, CMA-ES, BOHB). Die Auswahl der Akquisitionsfunktionen zeigte jedoch eine Sensitivität gegenüber Kostenskalen und Explorationsparametern (z. B. $\beta$ in UCB).
DMO: NEI-basierte Methoden dominierten Single-Objective-Aufgaben, während NEHVI mit Batch-Auswahl ( $q=5$ ) Multi-Objective-Aufgaben signifikant besser bewältigte als evolutionäre Baselines (NSGA-2) und dabei eine ähnliche Pareto-Front-Qualität mit 50-mal weniger Funktionsauswertungen erreichte. Rauschbewusste Methoden (LogNEI+MLHGP) zeigten in heteroskedastischen Settings moderate Verbesserungen.
PO: Standard-Akquisitionsfunktionen (LogEI, LogNEI, UCB) skalierten in hochdimensionalen Embedding-Räumen nicht und stagnierten nahe der Leistung einer zufälligen Suche. Lokale Suchverfahren, die für diskrete Räume angepasst wurden (dTuRBO und dBAxUS) und mit LogNEI kombiniert wurden, erzielten erhebliche Gewinne und erreichten einen logischen einfachen Reue-Wert von -10 bis -15. Batch-Evaluation beschleunigte die Konvergenz weiter. Bemerkenswerterweise war die Untergruppenreduktion (dBAxUS) bei niedrigeren Dimensionen (PO-128) weniger effektiv, wo die Varianz nicht in einem niedrigdimensionalen aktiven Untergruppenraum konzentriert war, was darauf hindeutet, dass LLM-Embeddings die Low-Rank-Annahmen solcher Methoden nicht immer erfüllen.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass BOLT ein entscheidender Schritt zur Modernisierung der BBO-Forschung für LLMs ist. Durch die Bereitstellung eines reproduzierbaren, zugänglichen und realistischen Benchmarks ermöglicht BOLT:

Validierung des Potenzials von BO: Es zeigt, dass ausgereifte BBO-Methoden, insbesondere solche auf Entropiesuche und verrauschter erwarteter Verbesserung basierend, für LLM-Aufgaben wirksam sind, jedoch eine Anpassung an spezifische strukturelle Herausforderungen erfordern (z. B. Simplex-Nebenbedingungen, diskrete Suchräume).
Aufzeigen von Lücken: Es legt die Grenzen aktueller Methoden in hochdimensionalen, diskreten und eingeschränkten Settings offen und unterstreicht die Notwendigkeit neuer algorithmischer Entwicklungen.
Ermöglichung von Fortschritt: Es beseitigt die Rechenbarriere, die die BBO-Community zuvor davon abhielt, sich mit LLM-spezifischen Optimierungsproblemen zu befassen, und fördert die Entwicklung effizienterer und prinzipiellerer Strategien zur Optimierung von LLM-Pipelines.

Die Autoren bleiben bescheiden und weisen darauf hin, dass die Emulatoren auf spezifischen Konfigurationen trainiert wurden (z. B. kleinere Token-Budgets, nicht-denkende Modelle) und möglicherweise nicht die absolut beste erreichbare Leistung von Frontier-Modellen repräsentieren; die Optimierungsherausforderungen selbst (gemischte Variablen, Nebenbedingungen, Rauschen) sind jedoch inhärent für LLM-Aufgaben und bleiben über Konfigurationen hinweg konsistent.