💬 NLP

Closed-Loop Bayesian Molecular Inverse Design with Semantic LLM Surrogates

Dit artikel introduceert \textbf{\method}, een closed-loop Bayesiaans framework voor moleculair invers ontwerp dat een bevroren groot taalmodel gebruikt als een semantische surrogaat om direct te redeneren over tekstuele instructies en optimalisatiegeschiedenis, waardoor informatieve referentiemoleculen worden geselecteerd om een bevroren generator aan te sturen en de traditionele Gaussian process-baselines overtreft of evenaart bij taken binnen de geneesmiddelen- en materiaalkunde.

Oorspronkelijke auteurs: Yaoyao Xu, Xinjian Zhao, Xiaozhuang Song, Lei Bai, Tianshu Yu

Gepubliceerd 2026-08-25

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yaoyao Xu, Xinjian Zhao, Xiaozhuang Song, Lei Bai, Tianshu Yu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De zoektocht naar nieuwe medicijnen en geavanceerde materialen begint vaak met een vraag: hoe moet een molecuul eruitzien om een specifieke taak te kunnen uitvoeren? Wetenschappers noemen dit inverse design. In plaats van duizenden bestaande chemicaliën te testen om te zien wat ze doen, proberen onderzoekers een molecuul vanaf nul op te bouwen dat aan een precieze set vereisten voldoet, zoals het blokkeren van een virus of het door een filter laten passeren van gas. De uitdaging is dat het universum van mogbare chemische structuren enorm is, naar schatting bevat het rond de 10 tot de macht 60 geneesmiddelachtige moleculen. Het vinden van de weinigen die werken, is als het zoeken naar een naald in een hooiberg die voortdurend van vorm verandert. Traditioneel hebben computers geprobeerd dit op te lossen door willekeurige kandidaten te genereren en deze te controleren tegen een computermodel, maar dit proces is vaak inefficiënt en produceert veel slechte opties voordat er een goede wordt gevonden.

Een team onderzoekers van de Chinese Universiteit van Hong Kong, Shenzhen, en het Shanghai Artificial Intelligence Laboratory heeft een nieuwe manier ontwikkeld om deze zoektocht te sturen. Ze creëerden een systeem genaamd BoMolLLM, dat het proces van het vinden van een goed molecuul niet behandelt als een enkele gok, maar als een gesprek tussen een computerprogramma en een groot taalmodel. In hun aanpak genereert de computer een batch moleculen, en een gespecialiseerde kunstmatige intelligentie fungeert als een gids. Deze gids leest de resultaten van de vorige batch, analyseert welke structuren het beste werkten, en schrijft vervolgens een nieuwe set instructies voor de generator. In plaats van alleen het beste molecuul uit de vorige ronde te kiezen, selecteert de gids een paar interessante voorbeelden en legt uit waarom deze veelbelovend zijn, waardoor de generator effectief leert wat hij als volgende moet proberen. Dit creëert een gesloten lus waarbij de zoektocht met elke stap slimmer wordt, en de focus verfijnt totdat het moleculen vindt die nauw aansluiten bij de gewenste eigenschappen.

De onderzoekers testten dit systeem op twee zeer verschillende soorten problemen. Eerst vroegen ze het om moleculen te ontwerpen voor medicijnontdekking, specif으로 gericht op verbindingen die met HIV zouden kunnen interageren, de bloed-hersenbarrière kunnen passeren, of een specifiek enzym genaamd BACE kunnen remmen. Deze taken vereisen dat het molecuul een binaire uitkomst heeft: het werkt of het werkt niet. Ten tweede testten ze het op materiaalkunde, waarbij ze het systeem vroegen om polymeren te ontwerpen die de doorstroming van gassen zoals koolstofdioxide, zuurstof en stikstof kunnen reguleren. Deze taken zijn meer continu en vereisen dat het molecuul een specifieke doelwaarde voor permeabiliteit bereikt in plaats van simpelweg te slagen of te falen in een test. In beide gevallen kreeg het systeem een beperkt aantal pogingen om zijn resultaten te verbeteren, wat een scenario simuleert waarin het testen van echte chemicaliën duur en tijdrovend is.

De resultaten toonden aan dat deze conversationele aanpak de standaardmethoden overtrof. Wanneer de onderzoekers hun systeem vergeleken met een eenmalige poging (one-shot), waarbij de computer probeert de perfecte molecuul in één keer te genereren zonder feedback, produceerde de nieuwe methode een veel hoger deel succesvolle kandidaten. Het presteerde ook even goed als, of beter dan, traditionele wiskundige optimalisatietechnieken die vertrouwen op complexe statistische modellen om de volgende beste stap te voorspellen. Het cruciale verschil was dat het nieuwe systeem de geschiedenis van zijn eigen pogingen kon "lezen". Het kon naar een lijst met moleculen kijken die faalden en zeggen: "Deze bevatten te veel zware metalen," of "Deze misten de juiste ringstructuur," en die inzichten vervolgens doorgeven aan de volgende ronde van generatie. Dit vermogen om te redeneren over de tekst van de chemische structuren en de scores die zij ontvingen, stelde het systeem in staat om de chemische ruimte effectiever te navigeren dan methoden die alleen naar gecomprimeerde numerieke gegevens keken.

Een van de meest interessante bevindingen was dat het systeem zijn strategie aanpaste afhankelijk van het type probleem. Voor de medicijn-doelwitten, die duidelijke pass-of-fail criteria hadden, werkte het systeem het best wanneer het simpelweg wees naar de beste voorbeelden uit de vorige ronde. De specifieke structuren van die moleculen waren voldoende om de volgende stap te sturen. Echter, voor de materiaalkunde-taken, waarbij het doel is om een precieze numerieke doelwaarde te bereiken, had het systeem meer hulp nodig. In deze gevallen bood de gids een korte, éénzinnige samenvatting van de strategie, zoals "focus op gefluoreerde structuren", wat de generator hielp het bredere patroon te begrijpen dat nodig was om het doel te bereiken. Dit suggereert dat hoewel het systeem flexibel is, de manier waarop het zijn bevindingen communiceert, afgestemd moet zijn op de aard van het probleem dat het oplost.

De onderzoekers observeerden ook dat het systeem zijn gedrag in de loop van de tijd natuurlijk veranderde. In de vroege rondes verkende het een grote verscheidenheid aan chemische structuren, waarbij het veel verschillende vormen en samenstellingen probeerde om te zien wat mogelijk was. Naarmate de rondes vorderden, begon het zich nauwer te focussen en de meest veelbelovende structuren die het had gevonden te verfijnen. Dit weerspiegelt de manier waarop een menselijke wetenschapper te werk gaat, beginnend met brede ideeën en geleidelijk toewerkend naar de meest levensvatbare opties. Het systeem was niet alleen gelukkig; het ontdekte consistent eerder en betrouwbaarder hoog scorende moleculen dan de andere geteste methoden. Tegen het einde van het proces bevonden de gegenereerde moleculen zich geclusterd in de regio's van de chemische ruimte waar de beste kandidaten werden gevonden, in plaats van willekeurig verspreid te zijn.

Dit werk demonstreert dat grote taalmodellen effectieve gidsen kunnen dienen voor wetenschappelijke ontdekkingen, niet alleen door tekst te genereren, maar door strategische beslissingen te nemen op basis van data. Het systeem vervangt niet de noodzaak voor real-world testen, maar verbetert aanzienlijk de kwaliteit van de kandidaten die de laboratoriumtafel bereiken. Het maakt de zoektocht naar nieuwe moleculen tot een transparanter proces, waarbij de redenering achter elke stap gelezen en begrepen kan worden. De onderzoekers ontdekten dat door de optimalisatiegeschiedenis te behandelen als een verhaal dat geanalyseerd moet worden in plaats van slechts een lijst met getallen, ze een efficiëntere en intelligentere zoekmachine voor de moleculaire wereld konden bouwen. Deze aanpak biedt een veelbelovend pad voor het versnellen van de ontdekking van nieuwe medicijnen en materialen, door een enorme en chaotische zoekruimte te veranderen in een geleide reis naar een oplossing.

Technische Samenvatting: Closed-Loop Bayesiaanse Moleculaire Inverse Design met Semantische LLM-Surrogaten

Probleemstelling

Praktische moleculaire inverse design is zelden een eenmalig generatieprobleem. In plaats daarvan manifesteert het zich meestal als een closed-loop kandidaat-pool verrijkingstaak. Onder een beperkt oracle-budget (bijv. de computationele kosten voor eigvoorspelling), is het doel niet enkel om één hoog scorend molecuul te vinden, maar om het fractie van gegenereerde moleculen die voldoen aan een gewenst eigenschapsprofiel te vergroten.

Hoewel Bayesian Optimization (BO) een natuurlijk kader biedt voor deze setting, vertrouwen standaardbenaderingen op Gaussian Process (GP) surrogaten die opereren in gecomprimeerde continue latente embeddings. Dit paradigma verwerpt substructurele en referentie-gelijkenis-signalen die chemici van nature gebruiken om de zoektocht te sturen. Bovendien schalen GP's slecht in hoge dimensies en vereisen ze vaak dimensionaliteitsreductie, wat het chemische signaal dat beschikbaar is voor de surrogaat verder comprimeert. Recente Large Language Models (LLMs) hebben sterke capaciteiten getoond in moleculaire representatie en redenering, maar worden doorgaans op een eenmalige wijze gebruikt, zonder mechanismen om expliciet gebruik te maken van oracle-feedback om zoektrajecten iteratief te corrigeren.

Methodologie: BoMolLLM

De auteurs stellen BoMolLLM voor, een closed-loop framework waarbij de surrogaat (in plaats van de generator) de locus van de ontwerpkeuze is. Het framework behandelt moleculaire optimalisatiegeschiedenissen als semantische objecten die SMILES-strings, doelbeschrijvingen en oracle-scores bevatten.

Kerncomponenten

Bevroren Moleculaire Generator ( $M$ ): Een instructie-geconditioneerde generator (geïnstantieerd als Llamole) die tekstprompts naar kandidaat-moleculen mapt. Deze blijft gedurende het hele optimalisatieproces bevroren.
Taak Oracle ( $O_\tau$ ): Evalueert gegenereerde moleculen tegen specifieke doelen (binaire classificatie voor drug-taken zoals HIV, BBBP, BACE; continue regressie voor materiaal-taken zoals $CO_2$ , $O_2$ , $N_2$ permeabiliteit).
Semantische LLM Surrogaat ( $L$ ): Een bevroren LLM die fungeert als de beslissingsmodule. In tegenstelling tot klassieke BO opereert deze direct op de discrete optimalisatiegeschiedenis in zijn natuurlijke tekstuele vorm.

De Optimalisatielus

Het proces draait voor $T$ rondes:

Ronde 0 (Warm Start): De generator produceert een initiële batch gebaseerd uitsluitend op de oorspronkelijke ontwerpinstructie.
Rondes $t \ge 1$ :
1. De surrogaat leest de geaccumuleerde geschiedenis $D_{t-1}$ , de taakcontext en de huidige ronde-index.
2. Onder een exploratie-exploitatie principe selecteert de surrogaat een set top- $k$ referentiemoleculen ( $R_t$ ) uit de geschiedenis.
3. Optioneel genereert de surrogaat een beknopte begeleidende zin ( $g_t$ ) die het traject samenvat.
4. Deze elementen worden geformatteerd in een uitgebreide prompt $p_t$ voor de generator.
5. De generator produceert een nieuwe batch $S_t$ , die wordt gescoord en toegevoegd aan de geschiedenis.

Surrogaat-instantiaties

De paper vergelijkt twee typen surrogaten binnen dezelfde lus:

Semantische LLM Surrogaat (BoMolLLM): De LLM redeneert over de geschiedenis om referenties te selecteren en begeleiding te bieden. Het interpreteert vooraf getrainde chemische kennis als een prior, in-context conditioning als een posterior update, en referentie-selectie als de acquisitie-stap.
Klassieke GP Surrogaat: Een baseline aangepast van BOPRO, die een GP fit op PCA-gecomprimeerde embeddings van de conditioneringsvectoren van de generator, een LogEI acquisitie-functie optimaliseert en nabijgelegen buren ophaalt als referenties.

Belangrijkste Bijdragen

Closed-Loop Framework met Vervangbare Surrogaat: De auteurs formuleren moleculaire inverse design als een kandidaat-pool verrijkingprobleem waarbij de surrogaatlaag is geïsoleerd als de locus van de ontwerpkeuze. Dit maakt een directe vergelijking tussen klassieke GP en LLM-gebaseerde surrogaten binnen dezelfde iteratieve lus mogelijk.
Semantische LLM Surrogaat: BoMolLLM introduceert een LLM-instantiatie die direct opereert op SMILES-strings, scores en taakcontext. Het biedt een inspecteerbaar optimalisatietrace in natuurlijke taal, wat ontwerprationale biedt die onbeschikbaar is bij numerieke surrogaten.
Empirisch Bewijs en Analyse: De studie toont aan dat BoMolLLM de GP-BO baselines evenaart of overtreft over drie generator-backbones (Qwen, Mistral, Llama) en zes taken. Cruciaal is dat de surrogaat een BO-stijl transitie vertoont van exploratie naar exploitatie en hoog scorende moleculen eerder ontdekt dan de baselines.

Experimentele Resultaten

Experimenten werden uitgevoerd op de MolQA benchmark, die zowel drug design (HIV, BBBP, BACE) als materiaal design ( $CO_2$ , $O_2$ , $N_2$ ) dekt.

Prestaties: BoMolLLM verbetert consistent ten opzichte van one-shot prompting (Llamole-OneShot) en is competitief of sterker dan GP-BO baselines. Het voordeel is het meest uitgesproken in drug-taken, waar BoMolLLM de beste AUC-scores bereikt voor alle targets met de Mistral en Llama backbones.
Domein-afhankelijke Interface: Een ablatie-studie onthulde een cruciaal verschil in de interface:
- Drug Taken (Binaire Targets): "Referentie-alleen" transfer (Top- $k$ moleculen + scores) werkt het best. Het structurele signaal van hoog scorende referenties is voldoende.
- Materiaal Taken (Continue Targets): Het toevoegen van een "beknopte surrogaat samenvatting" (begeleiding) verbetert de prestaties aanzienlijk. De zachtere, gegradeerde aard van continue targets profiteert van het vermogen van de surrogaat om trajectpatronen te comprimeren tot actiegerichte richtingen.
Zoekgedrag: Analyse van het zoektraject laat zien dat BoMolLLM hoog scorende moleculen eerder en betrouwbaarder ontdekt dan de baselines. Mechanisme-analyse bevestigt dat de surrogaat een balans vindt tussen exploratie (het selecteren van diverse structuren) en exploitatie (het selecteren van hoog scorende structuren) over de rondes heen.
Allocatie van Chemische Ruimte: Visualisatie via t-SNE van ECFP4 fingerprints toont aan dat BoMolLLM zijn zoekbudget concentreert in regio's die verrijkt zijn met hoog scorende kandidaten, zonder te imploderen in een enkele cluster, in tegenstelling tot random of one-shot benaderingen.

Betekenis en Claims

De paper claimt dat LLM-surrogaten een nuttig closed-loop alternatief zijn voor klassieke BO-surrogaten voor discrete moleculaire design.

Door de beslissing van de surrogaat te verschuiven van een gecomprimeerde numerieke ruimte naar een chemisch betekenisvolle geschiedenis uitgedrukt in moleculen en tekst, behoudt BoMolLLM de beslissingslogica van Bayesian Optimization terwijl het het zoekproces inspecteerbaar en interpreteerbaar maakt. Het framework demonstreert dat de "semantische" aard van moleculaire optimalisatiegeschiedenissen direct door LLM's kan worden benut om generatie te sturen, wat een pad biedt naar meer transparante en effectieve inverse design workflows.

De auteurs merken beperkingen op, waarbij zij erkennen dat hun oracles geleerde voorspellers zijn in plaats van experimentele validatoren en dat de LLM-surrogaat geen gekalibreerd probabilistisch model is met theoretische garanties zoals klassieke BO. De resultaten suggereren echter dat de semantische benadering de kandidaat-pools onder een beperkt oracle-budget effectief verrijkt.