SciCore-Mol: Augmenting Large Language Models with Pluggable Molecular Cognition Modules

Technische Samenvatting: SciCore-Mol

Probleemstelling
Grote Taalmodellen (LLM's) hebben opmerkelijke redeneervermogens aangetoond, maar staan voor een fundamentele mismatch wanneer ze worden toegepast op wetenschappelijke domeinen zoals scheikunde. Wetenschappelijke data, zoals moleculaire structuren en reactievoorwaarden, is inherent topologisch, geometrisch en continu. Daarentegen zijn LLM's ontworpen voor discrete symbolische sequenties. Huidige benaderingen proberen deze kloof te overbruggen door moleculaire grafen te lineariseren tot tekststrings (bijvoorbeeld SMILES of SELFIES). Deze linearisatie faalt echter om de topologische en geometrische invarianties die centraal staan in chemisch redeneren expliciet bloot te leggen, wat leidt tot informatieverlies, semantische ruis en onbetrouwbare voorspellingen bij taakgerelateerde structuren. Bovendien behandelen bestaande tool-verrijkte systemen wetenschappelijke modules vaak als externe black boxes, waarbij intermediaire data opnieuw moet worden gecomprimeerd tot tekst voordat deze door de LLM wordt verwerkt. Deze "tekstniveau-interface" creëert redeneerbottlenecks en verhindert dat de LLM toegang krijgt tot dichte, continue moleculaire informatie.

Methodologie: SciCore-Mol Framework
De auteurs stellen SciCore-Mol voor, een modulair framework dat een LLM-ruggengraat verrijkt met drie diep geïntegreerde, plugbare cognitieve modules. In tegenstelling tot eerdere benaderingen die vertrouwen op alleen-tekst feedback, koppelt SciCore-Mol deze modules aan de LLM via geleerde representatieinterfaces op het niveau van de verborgen toestand.

1. Topologische Perceptiemodule: Gebaseerd op een Geometric Vector Perceptron (GVP)-netwerk, codeert deze module 3D-moleculaire geometrie (gegenereerd via RDKit) naar SE(3)-equivariante representaties. Het integreert scalaire atoomniveau-eigenschappen en 3D-coördinaatvectoren via berichtuitwisseling. De resulterende geometrische embedding wordt geprojecteerd in de verborgen ruimte van de LLM en geïnjecteerd als een "Virtuele Structurele Token", waardoor de LLM kan attenderen op 3D-structurele informatie naast teksttokens.
2. Moleculaire Generatiemodule: Om de lage validiteit van autoregressieve SMILES-generatie aan te pakken, maakt deze module gebruik van een Latent Diffusion Transformer (DiT). Het opereert in een continue moleculaire latente ruimte, geconditioneerd op de verborgen toestanden van de LLM. Een voorgetrainde SMILES-autoencoder mappert moleculen naar latente vectoren, en het diffusieproces denoist deze vectoren iteratief om structureel coherente moleculen te genereren, die vervolgens weer worden gedecodeerd naar SMILES.
3. Reactie Sensing-module: Gebaseerd op een numeriek-gevoelige Transformer, behandelt deze module inter-moleculair redeneren. Het verwerkt reactiedata hiërarchisch met behulp van multi-kanaals samengestelde coderingen die GVP-afgeleide geometrische embeddings, stoichiometrische hoeveelheden (mol, massa) en functionele rollen (reactant, katalysator, enz.) combineren. Dit maakt gezamenlijke voorspelling van reactieproducten, opbrengsten en ontbrekende reactanten mogelijk.

Trainingsstrategie
Het systeem maakt gebruik van een progressieve trainingsstrategie om heterogene modules af te stemmen op de LLM-ruggengraat:

• Fase 1 (Component Pre-training): Modules worden onafhankelijk voorgetraind. De LLM-ruggengraat ondergaat voortdurende pre-training op een chemie-verrijkt corpus (~400M tokens) met KL-divergentie-regularisatie tegen een bevroren basismodel om catastrofaal vergeten te voorkomen.
• Fase 2 (Cross-Modal Afstemming): De LLM-ruggengraat wordt bevroren terwijl de GVP-encoder en adapters worden getraind om geometrische representaties af te stemmen op natuurlijke taalbeschrijvingen met behulp van een contrastief doelwit.
• Fase 3 (Gezamenlijke Multi-Task Training): Het volledige systeem wordt gezamenlijk geoptimaliseerd op een corpus van 300K instructie-responsen dat diverse taken bestrijkt (synthese, eigendomsvoorspelling, generatie, enz.).
• Fase 4 (Taakspecifieke Fine-tuning): Optionele fine-tuning maakt specialisatie toe op specifieke downstream-taken door selectief modules te bevriezen of te ontdooien.

Belangrijkste Bijdragen

• Architecturale Innovatie: Een unificatiesysteem dat topologie-bewuste perceptie, latente diffusie-generatie en reactie-bewust redeneren direct integreert in de verborgen toestand van de LLM, waardoor de informatiebottleneck van alleen-tekst tool-interfaces wordt geëlimineerd.
• Modulariteit: Het "plugbare" ontwerp stelt modules in staat om onafhankelijk in- of uitgeschakeld of geüpgraded te worden (bijvoorbeeld het vervangen van de GVP-encoder door een sterkere 3D-architectuur) zonder het volledige systeem opnieuw te trainen.
• Prestaties: De auteurs tonen aan dat een SciCore-Mol-systeem met 8 miljard parameters concurrerende, en op sommige dimensies superieure, prestaties levert in vergelijking met veel grotere propriëtaire modellen (bijvoorbeeld GPT-4o, GPT-5) en andere open-source chemiemodellen.

Experimentele Resultaten
Geëvalueerd over vijf vermogensdimensies (Kennis Core, Mol-Tekst Vertaling, Molecuulgeneratie, Kwantitatieve Voorspelling en Synthese Redenering) met behulp van benchmarks zoals SMolInstruct, MMLU-Chemie, ChemBench4K, ORD en MoleculeNet:

• Gebalanceerde Prestaties: SciCore-Mol vertoont het meest gebalanceerde vermogensprofiel onder modellen van vergelijkbare schaal, en presteert beter dan baselines bij molecuulgeneratie, kwantitatieve voorspelling en synthese-redenering, terwijl het sterke algemene kennis behoudt.
• Structure-gevoelige Taken: Ablatiestudies bevestigen dat de GVP-encoder de prestaties aanzienlijk verbetert bij taken die 3D-informatie vereisen (bijvoorbeeld Tox21, HIV-classificatie, QM9-regressie), waarbij modellen die alleen op tekst vertrouwen moeite hebben.
• Reactie Redenering: Het verwijderen van de Reactie Sensing-module leidt tot ernstige degradatie in de validiteit van product- en opbrengstvoorspelling, wat de noodzaak bevestigt van gestructureerde modellering voor redenering op reactieniveau.
• Generalisatie: Het model toont sterke generalisatie buiten de verdeling op de DrugR-benchmark (uitgebracht na pre-training), wat suggereert dat het overdraagbare structurele priors leert in plaats van uitsluitend te vertrouwen op memorisatie.

Betekenis en Claims
Het artikel beweert dat SciCore-Mol een systematische blauwdruk biedt om LLM's uit te rusten met wetenschappelijke expertise via ontkoppelde, plugbare en flexibel georkestreerde modules. De auteurs betogen dat diepe, embedding-niveau integratie van gespecialiseerde modules effectiever is dan uitsluitend vertrouwen op tekstuele moleculaire representaties of losse tool-verrijkte redenering. Dit framework wordt gepresenteerd als een algemeen sjabloon voor wetenschappelijke fundamentele modellen die heterogene data-integratie vereisen, met directe implicaties voor geneesmiddelenontwerp, chemische synthese en bredere wetenschappelijke ontdekking. Het werk benadrukt dat hoewel het huidige systeem is ontworpen voor kleine moleculen, de modulaire architectuur een pad biedt om in toekomstige iteraties grotere entiteiten zoals eiwitten en polymeren te ondersteunen.