Technische Samenvatting: LABO - LLM-versnelde Bayesiaanse Optimalisatie

Probleemstelling

Wetenschappelijke ontdekking in domeinen zoals geneesmiddelenontwikkeling, katalysatorontwerp en moleculaire engineering is sterk afhankelijk van formuleringsoptimalisatie. Deze taken worden gekenmerkt door dure, tijdrovende en arbeidsintensieve experimenten, wat leidt tot ernstige schaarste aan data en beperkte evaluatiebudgetten. Hoewel Bayesiaanse Optimalisatie (BO) een standaardstrategie is voor het navigeren door deze complexe ontwerpruimten door exploratie en exploitatie in evenwicht te brengen, staat het voor twee fundamentele beperkingen:

1. Het Cold-Start-probleem: Data-schaarste aan het begin van de optimalisatie belemmert exploratie in een vroeg stadium.
2. Uitdagingen bij hoge dimensionaliteit: Het verkennen van ontwerpruimten met hoge dimensionaliteit blijft moeilijk onder beperkte experimentele budgetten, vooral wanneer taakspecifieke observaties schaars zijn.

Hoewel recente inspanningen Large Language Models (LLM's) in BO-pijplijnen hebben geïntegreerd om voorkennis (bijvoorbeeld literatuur, protocollen) te incorporeren, gebruiken bestaande methoden LLM's doorgaans alleen voor initialisatie of als aanvullende signaalbronnen. Ze slagen er vaak niet in om de aanzienlijk lagere evaluatiekosten van LLM's ten opzichte van experimenten in de echte wereld volledig te benutten, wat hun vermogen beperkt om brede, goedkope exploratie over de zoekruimte te ondersteunen.

Methodologie: LABO-raamwerk

De auteurs stellen LABO (LLM-versnelde Bayesiaanse Optimalisatie) voor, een dual-fidelity raamwerk dat LLM-predicties systematisch integreert met echte experimentele observaties binnen één enkele BO-lus. LABO behandelt LLM's als een distincte bron van "LLM-fidelity"-informatie, afgeleid van ongestructureerde wetenschappelijke prioren en redeneren in context.

1. Modellering: Kennedy–O'Hagan (KOH) gezamenlijk Gaussiaans Proces

LABO adopteert de KOH-aanneming om de relatie tussen de real-fidelity doelfunctie $f_R(x)$ en de LLM-fidelity predictie $f_L(x)$ te modelleren. De real-fidelity functie wordt ontbonden als:
$$f_R(x) = \rho f_L(x) + \delta(x)$$
Waarbij:

• $\rho$ een scalair schalingsfactor is die de globale kalibratie tussen fideliteiten vertegenwoordigt.
• $\delta(x)$ een additief discrepantieproces is dat structurele verschillen of vertekeningen vastlegt die niet door de LLM worden verklaard.
• Zowel $f_L(x)$ als $\delta(x)$ worden gemodelleerd als onafhankelijke Gaussiaanse Processen (GP's) met een gemiddelde van nul.

Deze formulering stelt het surrogaatmodel in staat om de real-fidelity posterior bij te werken met behulp van goedkope LLM-query's. Als LLM-predicties goed overeenkomen met observaties, blijft de discrepantie klein en maakt het model efficiënt gebruik van LLM-prioren. Als predicties onbetrouwbaar zijn, domineert de discrepantievariantie, wat signaleren dat evaluatie in de echte wereld nodig is.

2. Besluitmechanisme: Discrepantie-dominantie Gating

Om te bepalen of de dure real-fidelity bron moet worden geraadpleegd of dat moet worden vertrouwd op de goedkope LLM-bron, hanteert LABO een gating-criterium gebaseerd op de discrepantie-dominantie ratio:
$$p_\Delta(x) = \frac{\sigma^2_\delta(x)}{\rho^2\sigma^2_L(x) + \sigma^2_\delta(x)}$$
Deze ratio meet het aandeel van de totale voorspellende onzekerheid dat toe te schrijven is aan het discrepantieterm $\delta(x)$.

• Betrouwbare Regio ($p_\Delta(x) \le \tau$): Als de discrepantieonzekerheid laag is ten opzichte van de totale onzekerheid, wordt de LLM-predictie betrouwbaar geacht. LABO werkt het surrogaat bij met de LLM-fidelity GP zonder een echt experiment uit te voeren.
• Onbetrouwbare Regio ($p_\Delta(x) > \tau$): Als de discrepantie domineert, is het LLM-signaal onvoldoende om onzekerheid te verminderen. LABO triggert een real-fidelity experiment om zowel het LLM- als het discrepantiemodel bij te werken.

3. Optimalisatiewerkstroom

• Warm-Start: De LLM wordt geprompt met domeinkennis om kandidaten met hoog potentieel voor initiële echte experimenten voor te stellen en om een brede set LLM-fidelity predicties te genereren die de zoekruimte bestrijken (via Latijnse Hypercube Steekproefneming).
• Iteratieve Lus: LABO selecteert kandidaten met behulp van een acquisitiefunctie (bijvoorbeeld UCB) op het samengestelde surrogaat. Voor elke kandidaat wordt de LLM geraadpleegd, het gating-criterium geëvalueerd, en worden alleen indien nodig echt experimenten uitgevoerd.

Belangrijkste Bijdragen

1. Principieel Raamwerk: De voorstelling van LABO, een dual-fidelity BO-raamwerk dat LLM-afgeleide predicties naast echte experimenten integreert met behulp van een KOH-gezamenlijk GP-model.
2. Theoretische Garanties: De vaststelling van cumulatieve regret-grenzen die aantonen dat LABO de steekproefficiëntie verbetert wanneer LLM-gidsing informatief is. De analyse toont aan dat de regret schaalt met de informatiecapaciteit van een limiterende real-fidelity regio $X^*_R$ (waar echte experimenten daadwerkelijk nodig zijn), wat aanzienlijk kleiner is dan de volledige zoekruimte, zelfs wanneer LLM-signalen ruisend of misleidend zijn.
3. Empirische Validatie: Demonstratie van de praktische bruikbaarheid van LABO over diverse wetenschappelijke optimalisatietaken, waarbij wordt aangetoond dat het consistent betere prestaties vindt dan bestaande methoden onder vaste real-fidelity budgetten.

Experimentele Resultaten

De auteurs hebben LABO geëvalueerd op zes wetenschappelijke optimalisatietaken die chemie, materiaalkunde, energiesystemen en voeding bestrijken (bijvoorbeeld COF-gasscheiding, Fullerene-reactieopbrengst, Flow Battery-prestaties).

• Prestaties: LABO presteerde consistent beter dan baselines, waaronder Vanilla BO, LLAMBO, BOPRO en CAKE. Op taken met hoge dimensionaliteit (bijvoorbeeld COF, Sandwich) behaalde LABO betere uiteindelijke doelfunctiewaarden binnen beperkte budgetten. Op taken met lage dimensionaliteit behield het een stabiele convergentie.
• Steekproefficiëntie: Het gating-criterium slaagde erin om real-fidelity evaluaties te concentreren in sub-regio's met hoge onzekerheid, terwijl LLM-query's werden gebruikt voor brede globale exploratie. Dit resulteerde in een aanzienlijk verminderde effectieve exploratieregio $X^*_R$.
• Robuustheid: Ablatiestudies bevestigden dat prestatiewinsten voortkomen uit de informatieve aard van LLM-predicties (gebaseerd op voorkennis) en niet alleen uit initialisatie. LABO bleef robuust over verschillende LLM-ruggengraten (variërende groottes en redeneercapaciteiten) en verschillende gating-drempels ($\tau$).
• Kosten-baten: In een kostenanalyse op de COF-taak behaalde LABO hetzelfde prestatieniveau als Vanilla BO met een totale kosten van $964 (met 164 LLM-query's en 8 echte experimenten) vergeleken met $6000 voor Vanilla BO (60 echte experimenten), uitgaande van een kosten van $1 per LLM-query en $100 per echt experiment.

Betekenis en Claims

Het artikel beweert dat LABO een praktische en theoretisch onderbouwde aanpak biedt voor het integreren van LLM's in workflows voor wetenschappelijke ontdekking. Door de discrepantie tussen LLM-predicties en de werkelijkheid expliciet te modelleren, vermijdt LABO de valkuilen van blind vertrouwen op LLM's, terwijl het profiteert van hun lage kosten en capaciteit voor brede exploratie.

De auteurs benadrukken dat hun aanpak geen structurele aannames vereist over de nauwkeurigheid van de LLM; het raamwerk past zich aan aan ruimtelijk variërende onzekerheid. De theoretische analyse suggereert dat LABO superieure steekproefficiëntie bereikt door dure echte experimenten te beperken tot een progressief beperkte subset van het domein waar LLM-signalen niet-informatief zijn, waardoor de ontdekking van optimale wetenschappelijke formuleringen wordt versneld zonder de experimentele budgetten te verhogen.