Technische Samenvatting: LILO: Bayesiaanse Optimalisatie met Natuurlijke Taalfeedback

1. Probleemdefinitie

Het artikel adresseert de uitdaging van het optimaliseren van dure te evalueren black-boxfuncties waarbij het ware doel geen direct meetbare scalar is, maar eerder een complexe, subjectieve voorkeur van een Beslissingsnemer (DM). In veel realistische scenario's is de nutfunctie $g(y)$ die uitkomsten $y$ koppelt aan een tevredenheidsscore onbekend en moeilijk uit te drukken in een gesloten vorm.

Traditionele methoden voor voorkeurgebaseerde Bayesiaanse Optimalisatie (PBO) vertrouwen op gestructureerde feedback, zoals paarsgewijze vergelijkingen of scalare beoordelingen. Deze formaten zijn echter vaak beperkend en slagen er niet in om hoogwaardige doelen, afwegingen en kwalitatieve beperkingen vast te leggen die beslissingsnemers op natuurlijke wijze in natuurlijke taal uiten. Omgekeerd mist het gebruik van Large Language Models (LLM's) als end-to-end optimalisatoren vaak gekalibreerde onzekerheid en principiële afwegingen tussen exploratie en exploitatie, wat leidt tot een slechte steekproefefficiëntie.

Het doel is het oplossen van het samengestelde optimalisatieprobleem:
$$x^* := \arg \max_{x \in X} g(f(x))$$
waarbij $f: X \to Y$ het black-boxsysteem is en $g: Y \to \mathbb{R}$ de latente nutfunctie is, met gebruikmaking van vrij geformuleerde natuurlijke taalfeedback van de DM om het zoekproces te sturen.

2. Methodologie: LILO-raamwerk

De auteurs stellen Language-in-the-Loop Optimization (LILO) voor, een hybride raamwerk dat de expressiviteit van LLM's integreert met de betrouwbaarheid van op Gaussische Processen (GP) gebaseerde Bayesiaanse Optimalisatie. LILO positioneert de LLM als een ondersteunende agent voor feedbackinterpretatie in plaats van de optimalisator zelf.

Kernwerkstroom

De optimalisatie verloopt in $T$ opeenvolgende proeven, waarbij elke proef uit drie fasen bestaat:

1. Generatie van kandidaten & Experimentatie:

   • Een batch kandidaat-inputs $\{x_i\}$ wordt geselecteerd.
   • Voor de eerste proef ($n=1$) worden kandidaten ofwel uniform gesampled of gegenereerd via LLM-prompting indien voorafgaande kennis wordt aangeleverd.
   • Voor daaropvolgende proeven selecteert een batch-acquisitiefunctie (bijv. Log Noisy Expected Improvement) kandidaten op basis van het huidige GP-proxymodel $M_{n-1}$.
   • De black-boxfunctie $f$ wordt geëvalueerd om waarneembare uitkomsten $y_i = f(x_i)$ te produceren.

2. Verwerving van feedback:

   • De LILO-agent genereert een batch vragen ($B_{pf}$) voor de DM op basis van de opgebouwde experimentele data en eerdere feedback.
   • De DM levert vrij geformuleerde antwoorden in natuurlijke taal ($a_j$).
   • Deze feedback wordt opgeslagen in een dataset voor voorkeursfeedback $D_{pf}$.

3. Schatting van nut via LLM-labeling + GP-modellering:

   • Labeling: De LLM fungeert als interpreter en converteert de opgebouwde natuurlijke taalfeedback naar gestructureerde paarsgewijze voorkeurlabels tussen waargenomen uitkomsten. Gegeven een paar uitkomsten $(y, y')$, bepaalt de LLM welke de voorkeur heeft op basis van de tekstuele feedback van de DM.
   • Budgettering: Om LLM-kosten te beheersen, wordt labeling uitgevoerd onder een budget $K$. Het artikel stelt een sequentiële strategie voor met gebruikmaking van de acquisitiefunctie qEUBO (Expected Utility of Best Option) om de meest informatieve paren voor labeling te selecteren, in plaats van willekeurige sampling.
   • Modellering: De gelabelde paarsgewijze voorkeuren worden gebruikt om een Pairwise Gaussian Process (GP) surrogaatmodel $M_n$ te fitten over de inputruimte $X$. Dit model benadert de samengestelde nut $u(x) = g(f(x))$.
   • Het GP-model biedt een posteriorverdeling over nut met gekalibreerde onzekerheid, wat de volgende ronde van kandidaatselectie stuurt.

Integratie van voorafgaande kennis

LILO ondersteunt "warm-starting" door tekstuele voorafgaande kennis ($P_{prior}$) op te nemen. In plaats van willekeurige initialisatie wordt de LLM geprompt om initiële kandidaatpunten te genereren op basis van de domeinkennis van de DM (bijv. "inputs binnen deze bereiken zouden goede resultaten moeten opleveren"), waarbij gebruik wordt gemaakt van de voorgeprogrammeerde domeinkennis van de LLM.

3. Belangrijkste bijdragen

Het artikel schetst vijf primaire bijdragen:

1. LILO-raamwerk: Een nieuw BO-raamwerk dat nutinformatie verkijgt via vrij geformuleerde natuurlijke taal, en zo een expressievere interface biedt dan standaard paarsgewijze of scalare feedback.
2. Mechanisme voor nutschatting: Een schaalbare aanpak die LLM-gebaseerde voorkeurlabeling combineert met GP-modellering, waardoor gekalibreerde onzekerheid en principiële exploratie mogelijk zijn onder ruis en indirecte feedback.
3. Superioriteit in prestaties: Empirisch bewijs dat LILO zowel conventionele PBO-baselines (die vertrouwen op kwantitatieve feedback) als LLM-only optimalisatoren overtreft op synthetische en realistische benchmarks.
4. Integratie van voorafgaande kennis: Een methode om tekstuele priors op te nemen om optimalisatie warm te starten, wat de prestaties in een vroeg stadium aanzienlijk verbetert.
5. Compatibiliteit met ongestructureerde uitkomsten: Demonstratie dat LILO kan optimaliseren over hoogdimensionale, ongestructureerde uitkomsten (bijv. tekstsamenvattingen) zonder een expliciet surrogaatmodel over de uitkomstenruimte $Y$ te vereisen, maar in plaats daarvan vertrouwt op het vermogen van de LLM om uitkomsten te interpreteren.

4. Experimentele resultaten

De auteurs hebben LILO geëvalueerd op 10 omgevingen, waaronder synthetische multi-objectieve functies (DTLZ2), voertuigveiligheidssimulatoren, auto-cabineontwerp, thermische comfortmodellen en neurale architectuurzoek (NAS-Bench-201). Ze hebben ook een taak voor tekstsamenvatting getest met ongestructureerde tekstuele uitkomsten.

Belangrijkste bevindingen

• Steekproefefficiëntie: LILO presteert consequent beter dan baselines, met name in de vroege stadia van optimalisatie. In regimes met beperkte feedback bleek één enkele natuurlijke taalbericht van de DM ongeveer gelijkwaardig te zijn aan 8–16 paarsgewijze vergelijkingen of scalare evaluaties in termen van optimalisatievoortgang.
• Vergelijking met baselines:
  • T.o.v. LLM-only: LLM-only methoden (direct of 2-staps) stagneren vaak of slagen er niet in om betekenisvolle verbeteringen te boeken naarmate de iteraties toenemen, vanwege het ontbreken van convergentiegaranties van BO.
  • T.o.v. Kwantitatieve BO: LILO presteert beter dan "True Utility BO" en "Preference BO" (die ground-truth scalare of paarsgewijze labels gebruiken) in vroege proeven. Het voordeel neemt af naarmate het aantal proeven toeneemt, maar de informatiedichtheid van natuurlijke taal biedt een aanzienlijke voorsprong.
• Paarsgewijze versus scalare labeling: De studie vond dat het prompten van de LLM voor paarsgewijze vergelijkingen betrouwbaardere nutschattingen en betere optimalisatievoortgang oplevert dan het prompten voor directe scalare nutswaarden.
• Voorafgaande kennis: Het opnemen van domeinpriors via LLM-initialisatie verbeterde het startpunt en de algehele prestaties aanzienlijk.
• Ongestructureerde uitkomsten: In de benchmark voor tekstsamenvatting slaagde LILO erin om decoderingsparameters te optimaliseren met natuurlijke taalfeedback, waarbij het de prestaties van baselines met maximale orakelfeedback evenaarde.

5. Betekenis en claims

Het artikel claimt dat LILO een significante stap voorwaarts betekent in het toegankelijk maken van Bayesiaanse Optimalisatie voor problemen met complexe, subjectieve doelen. Door de LLM in een ondersteunende rol te plaatsen om rijke, ongestructureerde taal te vertalen naar gestructureerde voorkeurssignalen, behoudt het raamwerk de steekproefefficiëntie, stabiliteit en gekalibreerde onzekerheid van traditionele BO, terwijl het een flexibel, informatiedicht feedbackkanaal biedt.

De auteurs benadrukken dat LILO bijzonder goed geschikt is voor realistische omgevingen met complexe multi-metrische afwegingen (bijv. online experimentatie, ontwerpoptimalisatie) waar expliciete doelen niet beschikbaar zijn of moeilijk te formaliseren zijn. Ze erkennen dat hoewel LILO uitblinkt in regimes met beperkte feedback, de prestaties ten opzichte van kwantitatieve baselines over zeer lange horizonnen kunnen convergeren, en dat toekomstig werk hybride benaderingen kan verkennen die ongestructureerde taal combineren met gestructureerde kwantitatieve feedback.

De code voor het reproduceren van de resultaten is beschikbaar op https://github.com/facebookresearch/lilo.