SciCore-Mol: Augmenting Large Language Models with Pluggable Molecular Cognition Modules

Riepilogo Tecnico: SciCore-Mol

Enunciato del Problema
I Large Language Models (LLM) hanno dimostrato capacità di ragionamento notevoli, ma affrontano un disallineamento fondamentale quando applicati a domini scientifici come la chimica. I dati scientifici, quali strutture molecolari e condizioni di reazione, sono intrinsecamente topologici, geometrici e continui. Al contrario, gli LLM sono progettati per sequenze simboliche discrete. Gli approcci attuali tentano di colmare questo divario linearizzando i grafi molecolari in stringhe di testo (ad esempio SMILES o SELFIES). Tuttavia, questa linearizzazione non esplicita le invarianti topologiche e geometriche centrali per il ragionamento chimico, portando a perdita di informazioni, rumore semantico e previsioni inaffidabili su compiti sensibili alla struttura. Inoltre, i sistemi esistenti potenziati da strumenti spesso trattano i moduli scientifici come scatole nere esterne, richiedendo che i dati intermedi vengano compressi nuovamente in testo prima di essere elaborati dall'LLM. Questa "interfaccia a livello di testo" crea colli di bottiglia nel ragionamento e impedisce all'LLM di accedere a informazioni molecolari dense e continue.

Metodologia: Framework SciCore-Mol
Gli autori propongono SciCore-Mol, un framework modulare che potenzia un backbone LLM con tre moduli cognitivi profondamente integrati e pluggabili. A differenza degli approcci precedenti che si basano su feedback testuali, SciCore-Mol accoppia questi moduli all'LLM attraverso interfacce di rappresentazione apprese a livello di stato nascosto.

1. Modulo di Percezione Topologica: Costruito su una rete Geometric Vector Perceptron (GVP), questo modulo codifica la geometria molecolare 3D (generata tramite RDKit) in rappresentazioni equivarianti rispetto a SE(3). Integra proprietà scalari a livello di atomo e vettori di coordinate 3D tramite passaggio di messaggi. L'embedding geometrico risultante viene proiettato nello spazio nascosto dell'LLM e iniettato come "Token Strutturale Virtuale", consentendo all'LLM di prestare attenzione alle informazioni strutturali 3D insieme ai token testuali.
2. Modulo di Generazione Molecolare: Per affrontare la bassa validità della generazione autoregressiva di SMILES, questo modulo impiega un Latent Diffusion Transformer (DiT). Opera in uno spazio latente molecolare continuo, condizionato dagli stati nascosti dell'LLM. Un autoencoder SMILES pre-addestrato mappa le molecole in vettori latenti, e il processo di diffusione denoisa iterativamente questi vettori per generare molecole strutturalmente coerenti, che vengono poi decodificate nuovamente in SMILES.
3. Modulo di Rilevamento delle Reazioni: Costruito su un Transformer sensibile ai valori numerici, questo modulo gestisce il ragionamento inter-molecolare. Elabora i dati di reazione in modo gerarchico utilizzando codifiche composite multicanale che combinano embedding geometrici derivati da GVP, quantità stechiometriche (moli, massa) e ruoli funzionali (reagente, catalizzatore, ecc.). Ciò consente la previsione congiunta di prodotti di reazione, rese e reagenti mancanti.

Strategia di Addestramento
Il sistema utilizza una strategia di addestramento progressivo per allineare moduli eterogenei al backbone LLM:

• Fase 1 (Pre-addestramento dei Componenti): I moduli vengono pre-addestrati indipendentemente. Il backbone LLM subisce un pre-addestramento continuo su un corpus arricchito di chimica (~400M token) con regolarizzazione della divergenza KL rispetto a un modello base congelato per prevenire l'oblio catastrofico.
• Fase 2 (Allineamento Cross-Modale): Il backbone LLM viene congelato mentre l'encoder GVP e gli adattatori vengono addestrati per allineare le rappresentazioni geometriche con le descrizioni in linguaggio naturale utilizzando un obiettivo contrastivo.
• Fase 3 (Addestramento Congiunto Multi-Compito): L'intero sistema viene ottimizzato congiuntamente su un corpus di 300K istruzioni-risposte che copre compiti diversificati (sintesi, previsione di proprietà, generazione, ecc.).
• Fase 4 (Affinamento Specifico per Compito): Un affinamento opzionale consente la specializzazione in compiti downstream specifici congelando o scongelando selettivamente i moduli.

Contributi Chiave

• Innovazione Architettonica: Un sistema unificato che integra percezione consapevole della topologia, generazione tramite diffusione latente e ragionamento consapevole delle reazioni direttamente nello stato nascosto dell'LLM, eliminando il collo di bottiglia informativo delle interfacce strumenti basate solo sul testo.
• Modularità: Il design "pluggable" consente ai moduli di essere abilitati, disabilitati o aggiornati indipendentemente (ad esempio, sostituendo l'encoder GVP con un'architettura 3D più potente) senza riaddestrare l'intero sistema.
• Prestazioni: Gli autori dimostrano che un sistema SciCore-Mol da 8 miliardi di parametri raggiunge prestazioni competitive e, in alcune dimensioni, superiori rispetto a modelli proprietari molto più grandi (ad esempio GPT-4o, GPT-5) e ad altri modelli chimici open-source.

Risultati Sperimentali
Valutato su cinque dimensioni di capacità (Nucleo di Conoscenza, Traduzione Mol-Testo, Generazione di Molecole, Previsione Quantitativa e Ragionamento di Sintesi) utilizzando benchmark come SMolInstruct, MMLU-Chimica, ChemBench4K, ORD e MoleculeNet:

• Prestazioni Bilanciate: SciCore-Mol esibisce il profilo di capacità più equilibrato tra modelli di scala simile, superando le baseline nella generazione di molecole, nella previsione quantitativa e nel ragionamento di sintesi, mantenendo al contempo solide conoscenze generali.
• Compiti Sensibili alla Struttura: Gli studi di ablazione confermano che l'encoder GVP migliora significativamente le prestazioni su compiti che richiedono informazioni 3D (ad esempio, classificazione Tox21, HIV, regressione QM9), dove i modelli basati solo sul testo faticano.
• Ragionamento sulle Reazioni: La rimozione del Modulo di Rilevamento delle Reazioni porta a un grave degrado nella validità della previsione di prodotti e rese, confermando la necessità di una modellazione strutturata per il ragionamento a livello di reazione.
• Generalizzazione: Il modello mostra una forte generalizzazione fuori distribuzione sul benchmark DrugR (rilasciato dopo il pre-addestramento), suggerendo che apprende priors strutturali trasferibili piuttosto che basarsi esclusivamente sulla memorizzazione.

Significato e Affermazioni
Il documento afferma che SciCore-Mol fornisce una blueprint sistematica per dotare gli LLM di competenze scientifiche attraverso moduli disaccoppiati, pluggabili e flessibilmente orchestrati. Gli autori sostengono che l'integrazione profonda a livello di embedding di moduli specializzati è più efficace del fare affidamento esclusivamente su rappresentazioni molecolari basate sul testo o su un ragionamento potenziato da strumenti non vincolato. Questo framework è presentato come un modello generale per i fondamenti scientifici che richiedono l'integrazione di dati eterogenei, con implicazioni dirette per la progettazione di farmaci, la sintesi chimica e la scoperta scientifica più ampia. Il lavoro sottolinea che, sebbene il sistema attuale sia progettato per piccole molecole, l'architettura modulare offre una strada per supportare entità più grandi come proteine e polimeri nelle iterazioni future.