💬 NLP

Speak-to-Structure: Evaluating LLMs in Open-domain Natural Language-Driven Molecule Generation

Dit artikel introduceert Speak-to-Structure (S²-Bench), de eerste benchmark die is ontworpen om Large Language Models te evalueren op open-domein, één-naar-veel door natuurlijke taal gestuurde taken voor het genereren van moleculen, samen met OpenMolIns, een dataset die fijngefineerde modellen in staat stelt om toonaangevende LLM's te overtreffen in realistisch moleculair ontwerp.

Oorspronkelijke auteurs: Jiatong Li, Junxian Li, Weida Wang, Yunqing Liu, Changmeng Zheng, Yatao Bian, Dongzhan Zhou, Xiao-yong Wei, Qing Li

Gepubliceerd 2026-05-25

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jiatong Li, Junxian Li, Weida Wang, Yunqing Liu, Changmeng Zheng, Yatao Bian, Dongzhan Zhou, Xiao-yong Wei, Qing Li

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: Van "Het Antwoord Raden" naar "De Oplossing Ontwerpen"

Stel je voor dat je een chef-kok bent. Jarenlang hebben onderzoekers AI-chefs getest door hen een specifiek recept te geven (zoals "Maak een chocoladetaart") en hen te vragen een specifieke taart na te maken die al in een database bestaat. Als de AI een taart maakt die er precies hetzelfde uitziet als die in de database, krijgt hij een gouden ster.

Het Probleem: Echte koken (en echte wetenschap) gaat niet over kopiëren. Als je een chef vraagt: "Maak me een taart die weinig suiker bevat maar toch zoet smaakt", dan is er niet slechts één correct antwoord. Er zijn honderden verschillende recepten die kunnen werken. De oude tests waren te streng; ze beloonden de AI alleen voor het memoriseren van het "juiste" antwoord, niet voor creativiteit.

De Oplossing: Dit paper introduceert S2-Bench (Speak-to-Structure). Het is een nieuwe test die ontworpen is om te zien of AI kan optreden als een echte creatieve chef-kok. In plaats van om een kopie te vragen, vraagt het de AI om nieuwe dingen uit te vinden op basis van een beschrijving, wetende dat er veel mogelijke "correcte" antwoorden zijn.

De Drie Uitdagingen (Het "Menu")

Het paper test de AI op drie specifieke taken, die lijken op verschillende niveaus van een kookwedstrijd:

Molecuulbewerking (De "Aanpassing"-Uitdaging):
- De Analogie: Stel je hebt een specifiek automodel. De test vraagt de AI om "een turbo te monteren" of "het zonnedak te verwijderen".
- Het Doel: De AI moet de originele auto nemen en alleen die specifieke wijziging aanbrengen zonder de motor te breken of de auto in een boot te veranderen. Het test of de AI de regels begrijpt van hoe dingen in elkaar passen.
Molecuuloptimalisatie (De "Upgrade"-Uitdaging):
- De Analogie: Je hebt een auto en je wilt dat hij "sneller" of "zuiniger" is.
- Het Doel: De AI moet de auto aanpassen om een specifiek kenmerk (zoals snelheid) te verbeteren, terwijl de auto herkenbaar blijft. Het is niet genoeg om zomaar een nieuwe, snelle auto van scratch te bouwen; het moet een verbetering zijn van de originele auto.
Gepersonaliseerde Molecuulgeneratie (De "Leeg Canvas"-Uitdaging):
- De Analogie: Je vertelt de AI: "Bouw me een voertuig met precies 4 wielen, een rode carrosserie en een V8-motor."
- Het Doel: De AI moet een volledig nieuw voertuig uit het niets bedenken dat aan deze strenge regels voldoet. Dit is de moeilijkste test, omdat de AI de regels perfect moet volgen zonder een starttemplate.

De Nieuwe Trainingshandleiding: OpenMolIns

Om de AI beter te maken in deze taken, hebben de auteurs een enorme nieuwe trainingsboek gemaakt genaamd OpenMolIns.

Oude Manier: Vorige trainingsboeken hadden zeer weinig voorbeelden, en deze waren voornamelijk "Vraag: Wat is dit molecuul? Antwoord: [Exacte Molecuulnaam]". Dit leerde de AI om te memoriseren.
Nieuwe Manier: OpenMolIns is als een enorme bibliotheek met 1,2 miljoen voorbeelden waar de AI de logica van de chemie leert. Het leert de AI: "Als je iets sneller wilt maken, probeer dan dit deel toe te voegen", in plaats van alleen "Hier is het antwoord".

Het Resultaat: Met behulp van dit nieuwe trainingsboek was een relatief klein AI-model (Llama3.1-8B) in staat om veel grotere, beroemdere modellen (zoals GPT-4o en Claude-3.5) te verslaan op deze creatieve taken. Het bewees dat goede training belangrijker is dan gewoon een enorm brein hebben.

Hoe Ze de AI Beoordelen (Het Scorebord)

In de oude tests, als de AI een molecuul schreef dat woord voor woord overeenkwam met het doel, kreeg het 100%. Maar in deze nieuwe test is dat niet genoeg. De auteurs hebben een slimmer scoresysteem bedacht:

Heb je de instructies gevolgd? (Succespercentage)
Is het een redelijke wijziging? (Vergelijkbaarheid)
- De Vangst: Als je vroeg om "een wiel toe te voegen" aan een auto, en de AI bouwde een hele andere auto die toevallig een wiel had, zou de oude test zeggen "Goed gedaan!". De nieuwe test zegt: "Nee, je hebt de originele auto niet echt aangepast; je hebt de prompt genegeerd en iets anders gebouwd."
Is het nieuw? (Nieuwigheid)
- Voor de "Leeg Canvas"-uitdaging krijgt de AI punten voor het uitvinden van iets dat nog niet bestaat in de databases van de wereld.

Belangrijkste Punten

Geheugen is niet genoeg: Huidige AI-modellen zijn goed in het herinneren van feiten, maar worstelen met het volgen van complexe, creatieve instructies in de chemie.
Een-op-Veel is echt: In de wetenschap heeft één vraag vaak veel geldige antwoorden. Oude tests lieten dit niet toe; de nieuwe wel.
Kleine modellen kunnen winnen: Met de juiste trainingsdata (OpenMolIns) kan een kleiner, goedkoper AI-model grotere, duurdere modellen verslaan in het ontwerpen van moleculen.
De "Menselijke" Check: De auteurs lieten menselijke experts het werk van de AI beoordelen. Ze ontdekten dat het nieuwe scoresysteem (dat logische wijzigingen beloont boven willekeurige gissingen) veel beter overeenkwam met menselijke meningen dan het oude "exacte overeenstemming"-systeem.

Kortom, dit paper bouwt een betere sportschool voor AI om chemie te oefenen. In plaats van alleen flashcards te memoriseren, leert de AI nu hoe het daadwerkelijk nieuwe dingen kan ontwerpen en bouwen op basis van een gesprek.

Technische Samenvatting: Speak-to-Structure (S2-Bench)

Probleemstelling

Huidige Large Language Models (LLM's) tonen veelbelovende resultaten in moleculaire ontdekking gestuurd door natuurlijke taal, maar bestaande evaluatiebenchmarks lijden onder een kritieke beperking: ze vertrouwen op één-op-één-mappings tussen tekstuele beschrijvingen en enkele, vooraf gedefinieerde doelmoleculen (bijv. ChEBI-20, PubChem324K). Dit paradigma veronderstelt een unieke oplossing voor elke prompt, wat in strijd is met de realiteit van moleculaire ontdekking, waarbij meerdere verschillende moleculen dezelfde biologische of fysische eigenschappen kunnen vervullen. Bijgevolg testen huidige benchmarks voornamelijk het vermogen van een model om specifieke patronen te memoriseren en op te halen, in plaats van zijn capaciteit voor creatief, open-ended moleculair ontwerp en echt structureel redeneren. Er ontbreekt een gestandaardiseerde evaluatie voor "één-op-meerdere"-relaties in tekst-naar-molecuul-generatie.

Methodologie

1. Speak-to-Structure (S2-Bench)

De auteurs stellen S2-Bench voor, de eerste benchmark ontworpen om LLM's te evalueren in open-domein moleculaire generatie gestuurd door natuurlijke taal. In tegenstelling tot eerdere datasets, hanteert S2-Bench een één-op-meerdere paradigma, waarbij één instructie kan worden vervuld door meerdere geldige moleculaire structuren. De benchmark bestaat uit drie primaire taken, die elk een andere fase van het geneesmiddelenontwikkelingsproces aanspreken:

Molecuulbewerking (MolEdit): Test het vermogen om precieze, gelokaliseerde structurele modificaties uit te voeren (toevoegen, verwijderen of substitueren van functionele groepen) terwijl het kernscaffold behouden blijft. Dit nabootst lead-optimatie.
Molecuuloptimalisatie (MolOpt): Evalueert doelgericht chemisch redeneren waarbij het model een leidverbinding moet modificeren om specifieke eigenschappen te optimaliseren (LogP, MR, QED) zonder de kernstructuur onnodig te veranderen.
Gepersonaliseerde Molecuulgeneratie (MolCustom): Daagt het model uit om een nieuw molecuul vanaf nul te synthetiseren op basis van natuurlijke taalbeperkingen betreffende atomaantallen, bindingstypen of functionele groepen, wat de initiële ontwerpfase nabootst.

Evaluatiemetrics:
Om de aard van "één-op-meerdere" aan te pakken, gaan de auteurs voorbij aan exacte stringmatching. Zij maken gebruik van een geautomatiseerd evaluatiesysteem met behulp van cheminformatica-toolkits (RDKit) om het volgende te berekenen:

Validiteit: Of de gegenereerde SMILES-string chemisch geldig is.
Succespercentage (SR): Of het molecuul voldoet aan de specifieke beperkingen (bijv. juiste eigenschapsrichting of functionele groep).
Vergelijkbaarheid (voor MolEdit/MolOpt): Tanimoto-ähnelijkheid met behulp van Morgan-vingerafdrukken om te waarborgen dat de output een rationele modificatie van de input is, en niet een willekeurig geldig molecuul.
Nieuwigheid (voor MolCustom): Meet hoe verschillend het gegenereerde molecuul is van een referentiedatabase (Zinc-250K).
Gewogen Succespercentage (WSR): Een samengestelde metric die het Succespercentage combineert met Vergelijkbaarheid (voor bewerking/optimalisatie) of Nieuwigheid (voor personalisatie) om een holistische prestatiescore te bieden.

2. OpenMolIns Dataset

Om training voor deze open-ended taken te faciliteren, introduceren de auteurs OpenMolIns, een grootschalige instructie-tuning dataset die programmatisch is geconstrueerd vanuit de PubChem-database.

Schaal: Bevat tot 1,2 miljoen instructie-molecuulparen.
Constructie: Gebruikt geautomatiseerde chemische toolkits om diverse prompts en bijbehorende geldige moleculen te genereren, waarbij een één-op-meerdere-relatie wordt gewaarborgd.
Structuur: Spiegelt de drie S2-Bench-taken en omvat vijf dataschalen (light tot xlarge) om dataschaalwetten te bestuderen.
Integriteit: Ontworpen met nul overlap met de S2-Bench-testset (Zinc-250K) om datalekken te voorkomen.

3. Experimentele Opstelling

De auteurs hebben 31 LLM's getoetst, ingedeeld in:

Proprietaire modellen (bijv. GPT-4o, Claude-3.5).
Open-source algemene LLM's (bijv. Llama3, Mistral, Qwen).
Domeinspecifieke LLM's (bijv. ChemLLM, BioT5).
Modellen die zijn fine-gefine-tuned op OpenMolIns.

De evaluatie werd uitgevoerd met behulp van geautomatiseerde pijplijnen, waarbij een subset van de resultaten werd gevalideerd door menselijke experts om geautomatiseerde metrics te correleren met menselijke oordelen.

Belangrijkste Resultaten

Prestatiekloof in Structurele Beperkingen: Zelfs top-tier proprietaire modellen (bijv. Claude-3.5, Gemini-1.5-Pro) behaalden gemiddelde gewogen succespercentages van ongeveer 35%, maar hadden aanzienlijke moeite met MolCustom-taken, waarbij ze op individuele subtaken niet boven een 25% gewogen succespercentage uitkwamen. Dit wijst op een moeilijkheid om fijnmazige structurele beperkingen (exacte atoom-/bindingsaantallen) te vervullen, ondanks algemene redeneercapaciteiten.
Superioriteit van Instructie-Tuning: Hoewel vooraf getrainde chemische LLM's (bijv. BioT5-base) slecht presteerden (4,21% WSR) in vergelijking met algemene LLM's, leverde instructie-tuning op OpenMolIns dramatische verbeteringen op.
- Llama3.1-8B-Instruct, fine-gefine-tuned op de grootste OpenMolIns-schaal (xlarge), behaalde een 39,33% WSR, en presteerde beter dan alle andere modellen, inclusief grotere proprietaire modellen.
- Opmerkelijk genoeg behaalde het kleine Galactica-125M-model, wanneer fine-gefine-tuned op OpenMolIns, een 25,73% WSR, en presteerde beter dan modellen twee ordes van grootte groter (bijv. Llama3-70B).
Beperkingen van Één-op-Één Benchmarks: Modellen die zijn fine-gefine-tuned op traditionele één-op-één-datasets (ChEBI-20) presteerden slechter dan algemene LLM's op S2-Bench. Deze modellen neigden naar het genereren van chemisch geldige maar structureel ongerelateerde moleculen om aan beperkingen te voldoen, wat een afhankelijkheid van patroonherinnering in plaats van structureel redeneren blootlegt.
Dataschaalwetten: De relatie tussen datavolume en prestaties is taakafhankelijk.
- MolCustom (de novo synthese) toonde aanzienlijke winsten (286%) bij schaling van "large" naar "xlarge" data.
- MolEdit en MolOpt vertoonden afnemende of negatieve rendementen bij verhoogde data voor kleinere modellen, wat suggereert dat deze taken meer beperkt worden door modelcapaciteit dan door datavolume.
Validatie van WSR: Menselijke expertevaluatie bevestigde dat het Gewogen Succespercentage (WSR) significant beter correleert met expertoordeel (Spearman $\rho \approx 0,90$ ) dan het ruwe Succespercentage (SR), wat de noodzaak valideert om structureel ongerelateerde outputs te bestraffen.

Betekenis en Beweringen

Het paper claimt een nieuw paradigma te vestigen voor het evalueren van LLM's in moleculaire ontdekking door de focus te verschuiven van patroonherinnering naar realistisch moleculair ontwerp.

De Kloof Overbruggen: S2-Bench adresseert het misverstand tussen huidige evaluatiemetrics en de open-ended aard van wereldwijde moleculaire ontdekking.
Potentieel Demonstreren: De resultaten tonen aan dat met passende instructie-tuning op grootschalige, diverse data, kleinere LLM's state-of-the-art prestaties kunnen behalen in open-domein molecuulgeneratie, wat de notie uitdaagt dat alleen massale modellen of gespecialiseerde architecturen levensvatbaar zijn.
Diagnostisch Hulpmiddel: De benchmark dient als een diagnostisch hulpmiddel om systematische zwaktes in huidige LLM's bloot te leggen met betrekking tot discrete, globaal gekoppelde structurele beperkingen, en leidt toekomstig onderzoek in versterkt leren en instructie-tuning.

De auteurs benadrukken dat hun werk een robuuste basis biedt voor het ontwikkelen van capabelere, verklaarbare en betrouwbare LLM's voor moleculaire ontdekking gestuurd door natuurlijke taal, en het veld voorbij eenvoudige tekst-naar-structuur vertaling beweegt.