Technische Zusammenfassung: LILO: Bayessche Optimierung mit natürlicher Sprachrückmeldung

1. Problemdefinition

Die Arbeit adressiert die Herausforderung der Optimierung teurer zu bewertender Black-Box-Funktionen, bei denen das wahre Ziel keine direkt messbare Skalargröße, sondern vielmehr eine komplexe, subjektive Präferenz eines Entscheidungsträgers (Decision Maker, DM) ist. In vielen realen Szenarien ist die Nutzenfunktion $g(y)$, die Ergebnisse $y$ auf einen Zufriedenheitswert abbildet, unbekannt und schwer in geschlossener Form auszudrücken.

Traditionelle Methoden der Präferenzbasierten Bayesschen Optimierung (PBO) verlassen sich auf strukturierte Rückmeldungen, wie etwa Paarvergleiche oder skalare Bewertungen. Diese Formate sind jedoch oft einschränkend und erfassen keine übergeordneten Ziele, Zielkonflikte und qualitativen Randbedingungen, die Entscheidungsträger natürlicherweise in natürlicher Sprache äußern. Umgekehrt fehlt es bei der Verwendung von Large Language Models (LLMs) als End-to-End-Optimierer häufig an kalibrierter Unsicherheit und prinzipiellen Abwägungen zwischen Exploration und Exploitation, was zu einer geringen Probeneffizienz führt.

Ziel ist es, das zusammengesetzte Optimierungsproblem zu lösen:
$$x^* := \arg \max_{x \in X} g(f(x))$$
wobei $f: X \to Y$ das Black-Box-System und $g: Y \to \mathbb{R}$ die latente Nutzenfunktion ist, unter Verwendung von freiformiger natürlicher Sprachrückmeldung des DM zur Steuerung der Suche.

2. Methodik: LILO-Rahmenwerk

Die Autoren schlagen Language-in-the-Loop Optimization (LILO) vor, ein hybrides Rahmenwerk, das die Ausdruckskraft von LLMs mit der Zuverlässigkeit von auf Gauß-Prozessen (GP) basierender Bayesscher Optimierung integriert. LILO positioniert das LLM als unterstützenden Agenten für die Interpretation von Rückmeldungen, nicht als den Optimierer selbst.

Kernarbeitsablauf

Die Optimierung erfolgt in $T$ sequenziellen Versuchen, wobei jeder aus drei Phasen besteht:

1. Kandidatengenerierung und Experimentierung:

   • Eine Batch von Kandidateneingaben $\{x_i\}$ wird ausgewählt.
   • Für den ersten Versuch ($n=1$) werden Kandidaten entweder gleichmäßig gesampelt oder, falls Vorwissen vorhanden ist, durch LLM-Prompts generiert.
   • Für nachfolgende Versuche wählt eine Batch-Akquisitionsfunktion (z. B. Log Noisy Expected Improvement) Kandidaten basierend auf dem aktuellen GP-Proxy-Modell $M_{n-1}$ aus.
   • Die Black-Box-Funktion $f$ wird ausgewertet, um beobachtbare Ergebnisse $y_i = f(x_i)$ zu erzeugen.

2. Rückmeldungserfassung:

   • Der LILO-Agent generiert eine Batch von Fragen ($B_{pf}$) für den DM basierend auf den angesammelten experimentellen Daten und früheren Rückmeldungen.
   • Der DM liefert Antworten in freier natürlicher Sprache ($a_j$).
   • Diese Rückmeldung wird in einem Datensatz für Präferenzrückmeldungen $D_{pf}$ gespeichert.

3. Nutzenschätzung durch LLM-Labeling + GP-Modellierung:

   • Labeling: Das LLM fungiert als Interpreter und wandelt die angesammelte natürliche Sprachrückmeldung in strukturierte Paarvergleichs-Präferenzlabels zwischen beobachteten Ergebnissen um. Gegeben ein Paar von Ergebnissen $(y, y')$, bestimmt das LLM basierend auf der textuellen Rückmeldung des DM, welches bevorzugt wird.
   • Budgetierung: Um LLM-Kosten zu managen, erfolgt das Labeling unter einem Budget $K$. Die Arbeit schlägt eine sequenzielle Strategie vor, die die Akquisitionsfunktion qEUBO (Expected Utility of Best Option) verwendet, um die informativsten Paare für das Labeling auszuwählen, anstatt zufälliges Sampling.
   • Modellierung: Die gelabelten Paarvergleiche werden verwendet, um ein Pairwise Gaussian Process (GP)-Surrogatmodell $M_n$ über den Eingaberaum $X$ anzupassen. Dieses Modell approximiert die zusammengesetzte Nutzenfunktion $u(x) = g(f(x))$.
   • Das GP-Modell liefert eine Posterior-Verteilung über den Nutzen mit kalibrierter Unsicherheit, die die nächste Runde der Kandidatenauswahl antreibt.

Einbeziehung von Vorwissen

LILO unterstützt ein „Warm-Starting" durch die Einbeziehung textuellen Vorwissens ($P_{prior}$). Anstelle einer zufälligen Initialisierung wird das LLM aufgefordert, initiale Kandidatenpunkte basierend auf der Domänenexpertise des DM zu generieren (z. B. „Eingaben innerhalb dieser Bereiche sollten gute Ergebnisse liefern"), wobei das vorab trainierte Domänenwissen des LLM genutzt wird.

3. Hauptbeiträge

Die Arbeit umreißt fünf primäre Beiträge:

1. LILO-Rahmenwerk: Ein neuartiges BO-Rahmenwerk, das Nutzeninformationen über freiformige natürliche Sprache erhebt und eine ausdrucksstärkere Schnittstelle als standardmäßige Paarvergleiche oder skalare Rückmeldungen bietet.
2. Mechanismus zur Nutzenschätzung: Ein skalierbarer Ansatz, der LLM-basiertes Präferenz-Labeling mit GP-Modellierung kombiniert und kalibrierte Unsicherheit sowie prinzipielle Exploration unter verrauschter, indirekter Rückmeldung ermöglicht.
3. Überlegene Leistung: Empirische Belege zeigen, dass LILO sowohl konventionelle PBO-Baselines (die auf quantitativer Rückmeldung basieren) als auch rein LLM-basierte Optimierer über synthetischen und realen Benchmarks übertrifft.
4. Integration von Vorwissen: Eine Methode zur Einbeziehung textueller Priors zum Warm-Start der Optimierung, die die Leistung in frühen Phasen erheblich verbessert.
5. Kompatibilität mit unstrukturierten Ergebnissen: Der Nachweis, dass LILO über hochdimensionale, unstrukturierte Ergebnisse (z. B. Textzusammenfassungen) optimieren kann, ohne ein explizites Surrogatmodell über dem Ergebnisraum $Y$ zu benötigen, sondern sich stattdessen auf die Fähigkeit des LLM verlässt, Ergebnisse zu interpretieren.

4. Experimentelle Ergebnisse

Die Autoren evaluierten LILO in 10 Umgebungen, darunter synthetische Multi-Objective-Funktionen (DTLZ2), Fahrzeugsicherheitssimulatoren, Kabinendesigns für Autos, thermische Komfortmodelle und die Suche nach neuronalen Architekturen (NAS-Bench-201). Zudem wurde eine Textzusammenfassungsaufgabe mit unstrukturierten textuellen Ergebnissen getestet.

Wichtige Erkenntnisse

• Probeneffizienz: LILO übertrifft Baselines konsistent, insbesondere in den frühen Phasen der Optimierung. In feedback-limitierten Regimen erwies sich eine einzelne natürliche Sprachnachricht des DM als etwa äquivalent zu 8–16 Paarvergleichen oder skalaren Bewertungen hinsichtlich des Optimierungsfortschritts.
• Vergleich mit Baselines:
  • vs. rein LLM-basiert: Rein LLM-basierte Methoden (direkt oder 2-stufig) stagnieren oft oder verbessern sich mit zunehmender Iteration nicht sinnvoll, da ihnen die Konvergenzgarantien der BO fehlen.
  • vs. quantitative BO: LILO übertrifft „True Utility BO" und „Preference BO" (die Ground-Truth-skalar oder Paarvergleiche verwenden) in frühen Versuchen. Der Vorteil nimmt mit steigender Anzahl der Versuche ab, aber die Informationsdichte natürlicher Sprache bietet einen erheblichen Vorsprung.
• Paarvergleich vs. skalares Labeling: Die Studie ergab, dass das Auffordern des LLM zu Paarvergleichen zuverlässigere Nutzenschätzungen und besseren Optimierungsfortschritt liefert als das Auffordern zu direkten skalaren Nutzenwerten.
• Vorwissen: Die Einbeziehung von Domänenpriors durch LLM-Initialisierung verbesserte den Startpunkt und die Gesamtleistung erheblich.
• Unstrukturierte Ergebnisse: Im Benchmark zur Textzusammenfassung optimierte LILO Decodierungsparameter erfolgreich mittels natürlicher Sprachrückmeldung und erreichte die Leistung von Baselines mit maximalem Oracle-Feedback.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass LILO einen bedeutenden Schritt nach vorn darstellt, um Bayessche Optimierung für Probleme mit komplexen, subjektiven Zielen zugänglich zu machen. Indem das LLM eine unterstützende Rolle einnimmt, um reiche, unstrukturierte Sprache in strukturierte Präferenzsignale zu übersetzen, bewahrt das Rahmenwerk die Probeneffizienz, Stabilität und kalibrierte Unsicherheit der traditionellen BO, bietet jedoch einen flexiblen, informationsdichten Rückmeldungskanal.

Die Autoren betonen, dass LILO besonders gut für reale Szenarien mit komplexen Zielkonflikten zwischen mehreren Metriken (z. B. Online-Experimente, Designoptimierung) geeignet ist, bei denen explizite Ziele nicht verfügbar oder schwer zu formalisieren sind. Sie räumen ein, dass LILO zwar in feedback-limitierten Regimen hervorragend abschneidet, sich seine Leistung im Vergleich zu quantitativen Baselines über sehr lange Zeiträume jedoch angleichen könnte, und dass zukünftige Arbeiten hybride Ansätze untersuchen könnten, die unstrukturierte Sprache mit strukturierter quantitativer Rückmeldung kombinieren.

Der Code zur Reproduktion der Ergebnisse ist unter https://github.com/facebookresearch/lilo verfügbar.