🤖 machine learning

Bi-semantic Chemical Embedder for Joint Representation Learning of SMILES and Natural Language

Het artikel introduceert CheMatE, een bi-semantisch embeddingmodel gebouwd op ModernBERT dat gebruikmaakt van een tweestaps trainingsproces bestaande uit voortgezette masked language modeling op een enorme SMILES-geannoteerde wetenschappelijke corpus en daaropvolgende contrastieve leerprocessen om moleculaire structuren en natuurlijke taal gezamenlijk te representeren, waarmee een robuuste prestatie wordt bereikt bij zowel chemische eigenschappelijkheidsvoorspelling als algemene taalbegripstaken.

Oorspronkelijke auteurs: David Ming Segura, Jeremy Goumaz, Joshua W. Sin, Bojana Ranković, Philippe Schwaller

Gepubliceerd 2026-08-05

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: David Ming Segura, Jeremy Goumaz, Joshua W. Sin, Bojana Ranković, Philippe Schwaller

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je de wereld van de chemie voor als een enorme, bruisende bibliotheek. Binnenin zijn er twee zeer verschillende manieren om hetzelfde te beschrijven: een molecuul. Op één plank vind je de "afkorting van de wetenschapper", een compacte code genaamd SMILES die eruitziet als een vreemde reeks letters en cijfers (zoals C1=CC=CC=C1). Het is efficiënt voor computers, maar leest voor mensen als een geheime code. Op de andere plank vind je de "verhaallijn van de verteller", lange paragrafen natuurlijke taal die uitleggen hoe een molecuul zich gedraagt, waar het wordt gevonden of hoe het reageert. Lange tijd moesten computerprogramma's die chemie probeerden te begrijpen, een kant kiezen: ze konden heel goed zijn in het lezen van de geheime code, maar waren slecht in het begrijpen van het verhaal, of andersom. Ze vergaten vaak hoe ze "mens" moesten spreken om een expert in "chemische code" te worden.

Deze vraag stelt dit artikel: Kunnen we één brein bouwen dat vloeiend is in zowel de geheime code als het verhaal tegelijkertijd, zonder zijn verstand te verliezen?

De onderzoekers achter deze studie, onder leiding van David Ming Segura en Philippe Schwaller, zeggen: ja. Ze hebben een nieuw AI-model gebouwd genaamd CheMatE (Chemical Embedder with Matryoshka Embedding) dat fungeert als een super-biculturele vertaler. In plaats van de AI te dwingen te kiezen tussen een chemicus of een taalkundige te zijn, hebben ze het geleerd om de chemische code en het wetenschappelijke verhaal als twee kanten van dezelfde munt te zien.

Dit is hoe ze het deden, en waarom het werkt.

Het Probleem: De "Specialist"-valstrik

Denk aan eerdere AI-modellen als een student die alleen studeert voor een wiskundetoets. Ze kunnen misschien een perfect cijfer halen voor calculus, maar als je hen vras om een gedicht te schrijven, vergeten ze misschien hoe ze bijvoeglijke naamwoorden moeten gebruiken. In de wereld van de chemische AI werden modellen die zwaar getraind waren op SMILES-strings (de code) zo goed in het herkennen van patronen in de code, dat ze "vergat" hoe ze de natuurlijke taalzinnen eromheen moesten begrijpen. Ze werden specialisten die niet met de rest van de bibliotheek konden praten.

De Oplossing: Een "Biculturele" Bibliotheek

Het team besloot de code en het verhaal niet langer als aparte zaken te behandelen. In plaats daarvan creëerden ze een trainingsmethode waarbij de twee met elkaar worden verweven.

1. De Injectie-pijplijn: De tekst kruiden
Stel je voor dat je een stapel van 14,4 miljoen wetenschappelijke artikelen en educatieve teksten hebt. Dit zijn de "verhalen". De onderzoekers bouwden een robot-pijplijn die deze verhalen leest, elke vermelding van een chemische stof (zoals "glucose" of "aspirine") vindt, en vervolgens stiekem de SMILES-code van de chemische stof direct ernaast plaatst.

Het resultaat: Een zin als "Glucose is een eenvoudige suiker" wordt "Glucose is een eenvoudige suiker 0=С[С@H](0)...."
De schaal: Ze deden dit voor meer dan 14 miljoen documenten, waardoor een enorme trainingsset ontstond met 21,9 miljard "woorden" (tokens). Dit betekent dat de AI de code en het verhaal tegelijkertijd ziet gebeuren, keer op keer.

2. De "Slimme Batching"-truc: De puzzel laten passen
Het trainen van een AI op zo'n enorme bibliotheek is als het proberen te passen van puzzelstukjes van zeer verschillende groottes in een doos. Sommige documenten zijn kort; andere zijn enorm groot (tot 8.192 tokens lang). Als je ze gewoon willekeurig erin gooit, zouden sommige computerprocessors (GPU's) onnodig stilzitten terwijl ze wachten op de langzame documenten, wat tijd en geld verspilt.

De oplossing: Het team heeft een "Cost-Aware Batch Sampler" uitgevonden. Denk aan een slimme bibliothecaris die niet alleen telt hoeveel boeken er in een stapel zitten, maar ook berekent hoe zwaar en onhandig elk boek is. Ze rangschikken de stapels zodat elke computerprocessor een gelijke hoeveelheid "werk" krijgt, ongeacht hoe lang de documenten zijn. Dit maakte de training 30% efficiënter en stelde hen in staat om die lange, complexe documenten te verwerken zonder vast te lopen.

3. De Tweefasige Training: Leren Lezen, dan Verbindingen Leggen
De AI las de gemengde tekst niet zomaar één keer; het leerde in twee duidelijke fasen, zoals een student die eerst woordenschat leert en daarna leert hoe hij essays schrijft.

Fase 1 (De Woordenschat): Het model gebruikte een techniek genaamd "Masked Language Modeling". Stel je voor dat je een zin leest waarbij sommige woorden zijn afgedekt door zwarte blokken. De AI moest de ontbrekende woorden raden. Maar hier konden de ontbrekende woorden een normaal woord zijn of een brok SMILES-code. Dit dwong de AI om te leren dat de code en de tekst bij dezelfde context horen.
Fase 2 (De Verbinding): Zodra de AI de woordenschat kende, leerden ze het om relaties te begrijpen. Ze creëerden een spel waarbij de AI een specifieke chemische code moest koppelen aan de juiste paragraaf tekst, terwijl het paragrafen over totaal andere chemicaliën moest negeren. Ze gebruikten een methode genaamd "Multiple Negative Ranking Loss" met een "Matryoshka"-twist (genoemd naar de Russische nestpopjes). Dit betekent dat de AI leerde om de chemische stof te begrijpen op verschillende niveaus van detail, van een algemeen overzicht tot de kleinste details, wat ervoor zorgt dat het geen belangrijke informatie verliest, zelfs niet als het beeld is uitgezoomd.

De Resultaten: Het Beste van Beide Werelden

Toen ze ChematE testten, waren de resultaten indrukwekkend. Ze vergeleken het met 11 andere modellen, waaronder modellen die experts waren in alleen code en andere die experts waren in alleen tekst.

De Score: CheMatE was het enige model dat in de topgroep scoorde voor beide taken tegelijkertijd. Het behaalde een "Bi-semantic Score" van 86,7%, wat betekent dat het tot de beste presterende modellen behoorde van bijna 88% van de 48 verschillende tests die ze uitvoerden.
De Vergelijking: Modellen die goed waren in het lezen van SMILES-codes (zoals MoLFormer of ChemBERTa) waren slecht in het begrijpen van natuurlijke taal. Modellen die goed waren in taal, waren oké in code, maar niet de beste. CheMatE doorbrak deze afruil. Het bewees dat je niet één vaardigheid hoeft op te offeren om de andere te verkrijgen.

Waarom het ertoe doet

Dit gaat niet alleen over het behalen van een hogere score op een toets. Door te bewijzen dat een enkel model zowel de rigide structuur van chemische formules als de vloeiende context van wetenschappelijke teksten kan begrijpen, opent CheMatE de deur naar slimmere tools in drug discovery en materiaalkunde. Het suggereert dat we in de toekomst niet langer aparte tools nodig hebben om een chemisch diagram en een wetenschappelijk artikel te lezen; één verenigd brein zou het allemaal kunnen doen, wat wetenschappers helpt om sneller nieuwe medicijnen of materialen te vinden door het volledige verhaal achter de wetenschap te begrijpen.

De auteurs merken er voorzichtig bij op dat, hoewel dit een enorme stap voorwaarts is, het systeem niet perfect is. Het vertrouwt op bestaande tools om chemicalen in tekst te vinden, wat soms lastige of gloednieuwe verbindingen kan missen. Echter, de kern van het idee — dat het mengen van de code en het verhaal een slimmer, veelzijdiger AI creëert — is succesvol aangetoond.

Technische Samenvatting: CheMatE – Bi-semantische Chemische Embedder voor Gezamenlijke Representatieleer

Probleemstelling

Transformer-modellen hebben succesvol de architecturen van natuurlijke taalverwerking (NLP) uitgebreid naar de chemie via SMILES-strings. Echter, bestaande domein-adaptieve modellen kampen met twee kritieke beperkingen:

Domein-overspecialisatie: Modellen die intensief zijn voorgetraind op SMILES lijden vaak aan catastrofale vergetelheid van fundamentele semantische capaciteiten, waardoor ze moeite hebben met het generaliseren naar diverse wetenschappelijke taken in natuurlijke taal. Omgekeerd degraderen modellen die zijn aangepast van algemene taalmodellen in chemisch begrip tijdens domeinspecifieke voortraining.
Contextuele Beperkingen: De meeste moleculaire embedding-modellen zijn geoptimaliseerd voor korte, geïsoleerde SMILES-strings en missen de architecturale capaciteit om langere wetenschappelijke documenten te verwerken waarin chemische entiteiten binnen een bredere context verschijnen.

Huidige benaderingen dwingen doorgaans een afruil af, waarbij ze uitblinken in ofwel chemische syntaxis of algemene wetenschappelijke taal, maar zelden in beide tegelijkertijd.

Methodologie

De auteurs introduceren CheMatE (Chemical Embedder met Matryoshka Embedding), een long-context bi-semantische encoder gebouwd op de ModernBERT-backbone. Het model is ontworpen om moleculaire structuur en domeinspecifieke natuurlijke taal binnen een enkele representatieruimte te vangen via een innovatieve tweestaps trainingspipeline.

1. Dataconstructie: Grootschalige SMILES-injectie

Om een trainingscorpus te creëren dat structurele notatie verweeft met wetenschappelijke context, ontwikkelden de auteurs een geautomatiseerde pipeline die 14,4 miljoen documenten verwerkt (11,45 miljard tokens uit ChemPile-papers en 10,41 miljard tokens uit FineWeb-Education/Web na filtering).

Filtering: Teksten werden gefilterd met behulp van een Text Chemistry Score (TCS) gebaseerd op woordfrequentieanalyse om chemisch relevante inhoud te behouden.
Annotatie-pipeline: Een proces van vier fasen annoteert chemische entiteiten:
1. NER: Detectie van chemische entiteiten met behulp van Chemical Data Extractor 2 (CDE2).
2. Conversie: Deterministische IUPAC-naar-SMILES conversie via OPSIN.
3. Lookup: Terugval naar de PubChem API voor niet-opgeloste namen.
4. Validatie: Canonicalisering en valentiecontrole via RDKit.
Injectie: Geldige SMILES-strings worden direct na hun overeenkomstige chemische entiteitsvermeldingen in de tekst geplaatst, wat een gemengde-modaliteit corpus creëert waarin SMILES-tokens natuurlijk voorkomen binnen langere wetenschappelijke narratieven.

2. Trainingsstrategie

De training verloopt in twee opeenvolgende fasen:

Fase I: Voortgezette Masked Language Modeling (MLM)

Doelstelling: Het model ondergaat voortgezette voortraining op de met SMILES geïnjecteerde corpus met behulp van een standaard MLM-doelstelling (15% masking rate).
Efficiëntie-innovatie: Om de extreme variabiliteit in sequentielengtes (tot 8.192 tokens) over een multi-GPU setup aan te pakken, ontwikkelden de auteurs de BalancedTokenBatchSampler. In tegenstelling tot standaard padding, wat zorgt voor een ongelijke belasting, construeert deze sampler batches op basis van drie beperkingen: een budget voor ruwe tokens, een geheugencap voor gepadde tokens, en een kwadratische kostenplafond ( $\sum L_i^2$ ). Dit zorgt voor een gebalanceerde computationele belasting over GPU's, vermindert de padding-overhead met wel 50% en elimineert out-of-memory fouten.

Fase II: Contrastieve Leerproces met Matryoshka Embeddings

Doelstelling: Om het bi-semantische begrip te verfijnen, wordt het model gefinetuned met behulp van Multiple Negative Ranking Loss (MNRL) met een Matryoshka wrapper.
Generatie van Synthetische Paren: Een algoritmische pipeline genereert anchor-positive-negative triples direct uit de geannoteerde corpus. Een anchor SMILES wordt geselecteerd, en tekstsegmenten worden gescoord op basis van Tanimoto-gelijkenis van Morgan fingerprints tegen de anchor. Segmenten met een hoge gelijkenis vormen de positieve set; lage gelijkenis vormt de negatieve set.
Matryoshka Loss: Het model wordt geoptimaliseerd om informatieve embeddings te produceren, zelfs wanneer deze worden afgekapt naar subdimensies (768, 512, 256, 128, 64), wat de flexibiliteit voor downstream toepassingen vergroot.

Belangrijkste Bijdragen

Grootschalige SMILES-injectie Pipeline: Een meerfasig geautomatiseerd systeem dat chemische entiteiten integreert in wetenschappelijke tekst, wat resulteert in een corpus van 21,9 miljard tokens dat geoptimaliseerd is voor bi-semantisch leren.
Cost-Budget Distributed Batch Sampler: Een nieuwe sampler (BalancedTokenBatchSampler) die efficiënte training op heterogene, long-context data over multi-node GPU-clusters mogelijk maakt door de kwadratische computationele kosten te balanceren in plaats van alleen het aantal samples.
Bi-semantische Sequentiële Training: Een pipeline die SMILES niet behandelt als een aparte modaliteit, maar als geïntegreerde tokens binnen natuurlijke taal, gevolgd door contrastieve verfijning. Dit stelt één enkele encoder in staat om robuuste representaties te leren voor zowel structurele chemie als wetenschappelijke NLP.
Uniforme Benchmarking: Evaluatie over 48 diverse datasets (26 classificatie, 22 regressie) die moleculaire eigenschapsvoorspelling, materiaalkunde en wetenschappelijk taalbegrip dekken.

Resultaten

CheMatE werd geëvalueerd tegen 11 baselines, waaronder algemene modellen (bijv. SciBERT, ModernBERT) en chemie-gespecialiseerde encoders (bijv. ChemBERTa, MoLFormer, BERT-SMILES).

Dual-Domain Prestaties: CheMatE behaalde de laagste gemiddelde rang op zowel SMILES-taken (1.9) als NLP-taken (3.2). Het is het enige chemie-gespecialiseerde model dat gelijktijdig in de top Nemenyi-equivalentiegroep voor beide modaliteiten staat.
Ablatieonderzoek: Het verwijderen van de contrastieve trainingsfase (CheMatE-MLM) resulteerde in een significante prestatiedaling, waarbij de bi-semantische score daalde van 86,7% naar 55,5%. Dit bevestigt dat de sequentiële contrastieve fase cruciaal is voor het verfijnen van de cross-modale prestaties.
Vergelijking met Baselines:
- Chemie-gespecialiseerde modellen (bijv. MoLFormer, ChemBERTa) presteerden goed op SMILES, maar stonden onderaan de NLP-leaderboard.
- Algemene taalmodellen presteerden redelijk op NLP, maar hadden aanzienlijke problemen met SMILES-taken.
- CheMate slaagde erin deze modaliteit-afruil te vermijden, waarbij het Morgan fingerprints versloeg op SMILES-taken en overeenkwam met toegewijde wetenschappelijke taalmodellen op NLP-taken.

Betekenis en Claims

Het artikel claimt dat CheMatE aantoont dat sterk begrip van SMILES en wetenschappelijke natuurlijke taal geen wederzijds uitsluitende eigenschappen zijn in encoder-only modellen. Door structurele en contextuele signalen te verenigen binnen één tekstgebaseerd framework, bereikt het model concurrerende prestaties over gespecialiseerde chemische taken en algemene wetenschappelijke taalbenchmarks zonder de typische specialisatie-afruil.

De auteurs positioneren CheMatE als een veelzijdige fundering voor:

Molecuul- en Natuurlijke Taal Embedding: Het bieden van hoogwaardige representaties voor beide modaliteiten.
Retrieval Applicaties: Het dienen als ruggengraat voor retrieval in omgevingen met gemengde semantiek.
Toekomstige Generatieve Modellen: Potentieel fungeren als fundament voor Retrieval-Augmented Generation (RAG) pipelines waar moleculaire structuren geworteld zijn in rijke wetenschappelijke contexten.

Het werk benadrukt ook de waarde van de SMILES-injectie pipeline en de BalancedTokenBatchSampler als herbruikbare tools voor het trainen van grootschalige, heterogene wetenschappelijke corpora. De auteurs erkennen beperkingen met betrekking tot de afhankelijkheid van de annotatie-pipeline van bestaande NER en database-tools (die kunnen falen bij nieuwe verbindingen) en de bescheiden omvang van de contrastieve dataset, maar stellen dat de aanpak valideert dat het samenvoegen van moleculaire notatie direct in wetenschappelijke tekst een levensvatbare route is voor algemene chemische representatieleer.