💻 computer science

LABO: LLM-Accelerated Bayesian Optimization through Broad Exploration and Selective Experimentation

Das Papier stellt LABO vor, ein neuartiges Framework für die Bayessche Optimierung, das die Effizienz wissenschaftlicher Entdeckungen verbessert, indem es dynamisch kostengünstige LLM-Vorhersagen für eine breite Exploration mit selektiven, kostspieligen Realwelt-Experimenten für Regionen mit hoher Unsicherheit ausbalanciert und dadurch im Vergleich zu bestehenden Methoden eine überlegene Stichprobeneffizienz und theoretische Regret-Schranken erreicht.

Ursprüngliche Autoren: Zhuo Chen (equal contribution), Xinzhe Yuan (equal contribution), Jianshu Zhang (Shanghai Artificial Intelligence Laboratory, Shanghai, China, School of Computer Science, Shanghai Jiao Tong University

Veröffentlicht 2026-05-22

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Zhuo Chen (equal contribution), Xinzhe Yuan (equal contribution), Jianshu Zhang (Shanghai Artificial Intelligence Laboratory, Shanghai, China, School of Computer Science, Shanghai Jiao Tong University, Shanghai, China), Jinzong Dong (Shanghai Artificial Intelligence Laboratory, Shanghai, China, School of Automation, Central South University, Changsha, China), Ruichen Zhou (College of New Energy and Materials, China University of Petroleum, Beijing, China), Yingchun Niu (College of New Energy and Materials, China University of Petroleum, Beijing, China), Tianhang Zhou (College of Carbon Neutrality Future Technology, China University of Petroleum, Beijing, China), Yu Yang Fredrik Liu (DeepVerse PTE. LTD., Singapore), Yuqiang Li (Shanghai Artificial Intelligence Laboratory, Shanghai, China), Nanyang Ye (Shanghai Artificial Intelligence Laboratory, Shanghai, China, School of Computer Science, Shanghai Jiao Tong University, Shanghai, China), Qinying Gu (Shanghai Artificial Intelligence Laboratory, Shanghai, China)

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Koch, der versucht, das perfekte Sandwich der Welt zu erfinden. Sie haben ein begrenztes Budget für Zutaten, und jedes Mal, wenn Sie ein Sandwich zubereiten, um es zu probieren, kostet es 100 US-Dollar und nimmt den ganzen Tag in Anspruch. Sie können nicht einfach Tausende von Sandwiches herstellen, um das beste zu finden; Sie müssen klug darüber sein, welche Sie tatsächlich kochen.

Dies ist das Problem, dem sich Wissenschaftler bei der Entwicklung neuer Medikamente, Materialien oder Batterien gegenübersehen. Die „Experimente" sind teuer und langsam. Hier kommt LABO ins Spiel.

So erklärt die Arbeit LABO unter Verwendung einfacher Analogien:

1. Das Problem: Der „Kalten Start" und die „Leere Brieftasche"

Traditionelle Methoden (genannt Bayessche Optimierung) sind wie ein Koch, der das Sandwich erst nach dem Backen probiert.

Der Kalte Start: Ganz am Anfang hat der Koch keine Ahnung, welche Zutaten gut funktionieren. Er muss blind raten und verschwendet teure Zutaten.
Das Budget: Da jeder Probiergang 100 US-Dollar kostet, kann der Koch nur wenige Sandwiches herstellen. Wenn er zu oft falsch rät, läuft ihm das Geld aus, bevor er das perfekte Rezept findet.

2. Die neue Idee: Der „Super-Probierer" KI

Die Autoren führen ein Large Language Model (LLM) als „Super-Probierer" ein.

Der Super-Probierer: Diese KI hat Millionen von Kochbüchern, wissenschaftlichen Arbeiten und Rezepten gelesen. Sie kann eine Liste von Zutaten ansehen und sagen: „Ich wette, diese Kombination wird fantastisch schmecken", ohne sie tatsächlich zu kochen.
Die Kosten: Die Anfrage an die KI kostet fast nichts (wie 1 US-Dollar). Im Vergleich zum 100-Dollar-Real-Experiment ist sie schnell und kostenlos.

3. Wie LABO funktioniert: Das „Gating"-System

Die große Innovation der Arbeit besteht nicht nur darin, die KI zu nutzen, sondern zu wissen, wann man ihr vertraut und wann man sie ignoriert. Dies nennen sie ein „Gating-Kriterium".

Stellen Sie sich vor, der Koch hat eine Regel:

Wenn die KI zuversichtlich ist: Der Koch fragt die KI: „Was halten Sie von diesem Rezept?" Wenn die KI sagt: „Das sieht basierend auf meinen Lesungen großartig aus", kocht der Koch es noch nicht. Er schreibt die Vorhersage einfach auf. Dies ermöglicht es ihm, hunderte von Rezepten im Kopf „zu probieren", kostenlos, und die gesamte Küche zu erkunden.
Wenn die KI unsicher ist: Wenn die KI sagt: „Ich bin mir nicht sicher, das ist eine seltsame Kombination", oder wenn die vergangene Erfahrung des Kochs darauf hindeutet, dass die KI falsch liegen könnte, öffnet sich das Tor. Jetzt kocht der Koch tatsächlich das Sandwich (das teure reale Experiment), um die wahre Antwort zu erhalten.

Die Magie: Das System lernt, der KI für eine breite Erkundung (den Blick auf die gesamte Speisekarte) zu vertrauen, aber spart das teure Geld nur für die spezifischen Stellen auf, an denen die KI verwirrt ist oder wo die wahre Antwort am unsichersten ist.

4. Der „Korrektur"-Mechanismus

Die Arbeit erwähnt auch einen cleveren mathematischen Trick (genannt das KOH-Modell).

Betrachten Sie die Vorhersage der KI als eine grobe Skizze des Sandwichs.
Die „Abweichung" ist der Unterschied zwischen der Skizze und dem tatsächlichen Geschmack.
LABO lernt, eine Linie zu ziehen: „Die KI liegt normalerweise zu 80 % richtig, aber hier ist die 20 %, in der sie sich irrt." Es nutzt die billigen KI-Skizzen, um die allgemeine Form richtig zu bekommen, und gibt nur Geld aus, um die spezifischen Teile zu korrigieren, an denen die Skizze verschwommen ist.

5. Die Ergebnisse: Mehr Leistung für das Geld

Die Arbeit testete dies an realen wissenschaftlichen Aufgaben, wie dem Design neuer Materialien für Batterien oder der Optimierung chemischer Reaktionen.

Das Ergebnis: LABO fand bessere Rezepte (Lösungen) schneller als die alten Methoden.
Die Effizienz: Es erreichte die gleichen Ergebnisse wie die traditionelle Methode, verwendete aber weit weniger teure „reale" Experimente. Es war, als würde man das beste Sandwich finden, indem man nur 10 echte probiert statt 30, weil die KI zuerst die schlechten Ideen herausgefiltert hat.
Sicherheit: Selbst wenn die KI manchmal schlechte Ratschläge gibt, fängt das „Tor" sie auf. Das System schaltet automatisch wieder auf reale Experimente um, wenn das Vertrauen der KI sinkt, und stellt sicher, dass der Koch kein Geld für eine falsche Vermutung verschwendet.

Zusammenfassung

LABO ist ein intelligenter Arbeitsablauf, der eine billige, kenntnisreiche KI nutzt, um den gesamten Suchraum breit zu durchsuchen. Es gibt nur dann teures Geld für reale Experimente aus, wenn die KI unsicher ist oder wenn die Vermutung der KI verifiziert werden muss. Dies ermöglicht es Wissenschaftlern, die besten Lösungen viel schneller und günstiger zu finden als zuvor, ohne Tausende von kostspieligen physikalischen Tests durchführen zu müssen.

Technischer Überblick: LABO – LLM-beschleunigte Bayessche Optimierung

Problemstellung

Die wissenschaftliche Entdeckung in Bereichen wie der Wirkstoffentwicklung, dem Katalysatordesign und der molekularen Ingenieurwissenschaft hängt stark von der Formulierungsoptimierung ab. Diese Aufgaben zeichnen sich durch teure, zeitaufwändige und arbeitsintensive Experimente aus, was zu einer schweren Datenknappheit und begrenzten Evaluierungsbudgets führt. Obwohl die Bayessche Optimierung (BO) eine Standardstrategie zur Navigation durch diese komplexen Designräume darstellt, indem sie Exploration und Exploitation ausbalanciert, stößt sie auf zwei fundamentale Einschränkungen:

Das Cold-Start-Problem: Die Datenknappheit zu Beginn der Optimierung behindert die Exploration in frühen Phasen.
Herausforderungen bei hohen Dimensionen: Die Exploration hochdimensionaler Designräume bleibt unter begrenzten experimentellen Budgets schwierig, insbesondere wenn taskspezifische Beobachtungen spärlich sind.

Obwohl jüngste Bemühungen Large Language Models (LLMs) in BO-Pipelines integriert haben, um Vorwissen (z. B. Literatur, Protokolle) einzubeziehen, nutzen bestehende Methoden LLMs typischerweise nur zur Initialisierung oder als zusätzliche Signalquellen. Oft gelingt es ihnen nicht, die deutlich geringeren Evaluierungskosten von LLMs im Vergleich zu realen Experimenten voll auszuschöpfen, was ihre Fähigkeit einschränkt, eine breite, kostengünstige Exploration über den Suchraum hinweg zu unterstützen.

Methodik: LABO-Rahmenwerk

Die Autoren schlagen LABO (LLM-Accelerated Bayesian Optimization) vor, ein Dual-Fidelity-Rahmenwerk, das LLM-Vorhersagen systematisch mit realen experimentellen Beobachtungen innerhalb eines einzigen BO-Loops integriert. LABO behandelt LLMs als eine distincte Quelle von „LLM-Fidelity"-Informationen, die aus unstrukturiertem wissenschaftlichem Vorwissen und kontextbezogenem Schlussfolgern abgeleitet werden.

1. Modellierung: Kennedy–O'Hagan (KOH) gemeinsames Gaußsches Prozessmodell

LABO übernimmt die KOH-Annahme, um die Beziehung zwischen der Real-Fidelity-Zielfunktion $f_R(x)$ und der LLM-Fidelity-Vorhersage $f_L(x)$ zu modellieren. Die Real-Fidelity-Funktion wird wie folgt zerlegt:
$f_R(x) = \rho f_L(x) + \delta(x)$
Wobei:

$\rho$ ein skalärer Skalierungsfaktor ist, der die globale Kalibrierung zwischen den Fidelitäten darstellt.
$\delta(x)$ ein additives Diskrepanzprozess ist, der strukturelle Unterschiede oder Verzerrungen erfasst, die vom LLM nicht berücksichtigt werden.
Sowohl $f_L(x)$ als auch $\delta(x)$ als unabhängige Gaußsche Prozesse (GPs) mit Mittelwert Null modelliert werden.

Diese Formulierung ermöglicht es dem Surrogatmodell, die Real-Fidelity-Posteriori mittels kostengünstiger LLM-Abfragen zu aktualisieren. Wenn LLM-Vorhersagen gut mit Beobachtungen übereinstimmen, bleibt die Diskrepanz gering, und das Modell nutzt LLM-Priors effizient. Wenn Vorhersagen unzuverlässig sind, dominiert die Diskrepanzvarianz und signalisiert die Notwendigkeit einer realen Evaluierung.

2. Entscheidungsmechanismus: Diskrepanz-dominante Gating-Logik

Um zu bestimmen, ob die teure Real-Fidelity-Quelle abgefragt oder auf die günstige LLM-Quelle vertraut werden soll, verwendet LABO ein Gating-Kriterium basierend auf dem Diskrepanz-Dominanz-Verhältnis:
$p_\Delta(x) = \frac{\sigma^2_\delta(x)}{\rho^2\sigma^2_L(x) + \sigma^2_\delta(x)}$
Dieses Verhältnis misst den Anteil der gesamten Vorhersageunsicherheit, der dem Diskrepanzterm $\delta(x)$ zuzuschreiben ist.

Zuverlässiger Bereich ( $p_\Delta(x) \le \tau$ ): Wenn die Diskrepanzunsicherheit im Verhältnis zur Gesamtunsicherheit gering ist, gilt die LLM-Vorhersage als zuverlässig. LABO aktualisiert das Surrogat unter Verwendung des LLM-Fidelity-GP, ohne ein reales Experiment durchzuführen.
Unzuverlässiger Bereich ( $p_\Delta(x) > \tau$ ): Wenn die Diskrepanz dominiert, ist das LLM-Signal nicht ausreichend, um die Unsicherheit zu reduzieren. LABO löst ein Real-Fidelity-Experiment aus, um sowohl das LLM- als auch das Diskrepanzmodell zu aktualisieren.

3. Optimierungsworkflow

Warm-Start: Der LLM wird mit Domänenwissen aufgefordert, Kandidaten mit hohem Potenzial für initiale reale Experimente vorzuschlagen und eine breite Menge an LLM-Fidelity-Vorhersagen zu generieren, die den Suchraum abdecken (mittels Latin-Hypercube-Sampling).
Iterativer Loop: LABO wählt Kandidaten unter Verwendung einer Akquisitionsfunktion (z. B. UCB) auf dem zusammengesetzten Surrogat aus. Für jeden Kandidaten wird der LLM abgefragt, das Gating-Kriterium bewertet und selektiv nur dann reale Experimente durchgeführt, wenn dies notwendig ist.

Hauptbeiträge

Prinzipienbasiertes Rahmenwerk: Die Vorstellung von LABO, einem Dual-Fidelity-BO-Rahmenwerk, das LLM-abgeleitete Vorhersagen unter Verwendung eines KOH-gemeinsamen GP-Modells neben realen Experimenten integriert.
Theoretische Garantien: Die Herleitung von kumulativen Regret-Schranken, die zeigen, dass LABO die Probeneffizienz verbessert, wenn die LLM-Führung informativ ist. Die Analyse zeigt, dass der Regret mit der Informationskapazität eines limitierenden Real-Fidelity-Bereichs $X^*_R$ skaliert (wo reale Experimente tatsächlich benötigt werden), der deutlich kleiner ist als der gesamte Suchraum, selbst wenn LLM-Signale verrauscht oder irreführend sind.
Empirische Validierung: Demonstration der praktischen Nützlichkeit von LABO über diverse wissenschaftliche Optimierungsaufgaben hinweg, wobei gezeigt wird, dass es unter festen Real-Fidelity-Budgets konsistent besser performende Formulierungen effizienter findet als bestehende Methoden.

Experimentelle Ergebnisse

Die Autoren evaluierten LABO an sechs wissenschaftlichen Optimierungsaufgaben aus den Bereichen Chemie, Materialwissenschaft, Energiesysteme und Ernährung (z. B. COF-Gasabscheidung, Fullerene-Reaktionsausbeute, Leistung von Flow-Batterien).

Leistung: LABO übertraf Baselines konsistent, darunter Vanilla BO, LLAMBO, BOPRO und CAKE. Bei hochdimensionalen Aufgaben (z. B. COF, Sandwich) erzielte LABO innerhalb begrenzter Budgets bessere finale Zielwerte. Bei niedrigdimensionalen Aufgaben behielt es eine stabile Konvergenz bei.
Probeneffizienz: Das Gating-Kriterium konzentrierte Real-Fidelity-Evaluierungen erfolgreich in Subregionen mit hoher Unsicherheit, während LLM-Abfragen für eine breite globale Exploration genutzt wurden. Dies führte zu einer signifikant reduzierten effektiven Explorationsregion $X^*_R$ .
Robustheit: Ablationsstudien bestätigten, dass die Leistungsgewinne aus der informativen Natur der LLM-Vorhersagen (gegründet auf Vorwissen) und nicht nur aus der Initialisierung resultieren. LABO blieb robust gegenüber verschiedenen LLM-Backbones (unterschiedliche Größen und Schlussfolgerungsfähigkeiten) und verschiedenen Gating-Schwellenwerten ( $\tau$ ).
Kosten-Nutzen: In einer Kostenanalyse für die COF-Aufgabe erreichte LABO das gleiche Leistungsniveau wie Vanilla BO bei Gesamtkosten von 964 $ (unter Verwendung von 164 LLM-Abfragen und 8 realen Experimenten) im Vergleich zu 6000 $ bei Vanilla BO (60 reale Experimente), unter der Annahme von 1 $ Kosten pro LLM-Abfrage und 100 $ pro reales Experiment.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass LABO einen praktischen und theoretisch fundierten Ansatz für die Integration von LLMs in wissenschaftliche Entdeckungsworkflows bietet. Durch die explizite Modellierung der Diskrepanz zwischen LLM-Vorhersagen und der Realität vermeidet LABO die Fallstricke des blinden Vertrauens in LLMs, während es gleichzeitig deren kostengünstige, breit explorative Fähigkeiten nutzt.

Die Autoren betonen, dass ihr Ansatz keine strukturellen Annahmen über die Genauigkeit des LLM erfordert; das Rahmenwerk passt sich räumlich variierender Unsicherheit an. Die theoretische Analyse legt nahe, dass LABO eine überlegene Probeneffizienz erreicht, indem es teure reale Experimente auf eine progressiv eingeschränkte Teilmenge des Bereichs beschränkt, in dem LLM-Signale uninformiert sind, wodurch die Entdeckung optimaler wissenschaftlicher Formulierungen beschleunigt wird, ohne die experimentellen Budgets zu erhöhen.