Back to Basics: Improving Molecular Understanding in LLMs via SMILES-Graph Translation

Sintesi Tecnica: Back to Basics: Migliorare la Comprensione Molecolare nei LLM tramite la Traduzione SMILES–Grafo

Problematica
Nonostante le forti prestazioni dei Large Language Models (LLM) nei compiti di comprensione e generazione molecolare, gli approcci attuali soffrono di una mancanza di affidabile radicamento strutturale. Il documento identifica un distacco critico: mentre i modelli ottengono successi nei compiti downstream, essi falliscono in compiti basilari di riconoscimento strutturale, come il conteggio degli atomi pesanti o dei legami da stringhe SMILES canoniche. Ciò contraddice il principio chimico fondamentale secondo cui "la struttura determina la funzione". Le valutazioni preliminari rivelano che sia i LLM generalisti (es. GPT, Qwen) che quelli specialisti in ambito molecolare (es. MolT5, ChemLLM) ottengono scarsi risultati in questi compiti fondamentali, suggerendo che non riescano a catturare l'equivalenza esplicita tra il testo sequenziale SMILES e il sottostante grafo molecolare 2D. Gli autori sostengono che gli attuali paradigmi, che spesso saltano direttamente al ragionamento di alto livello dopo un semplice pre-addestramento testuale, manchino di interpretabilità logica e non riescano a stabilire la necessaria cognizione strutturale richiesta per un ragionamento affidabile.

Metodologia: Il Framework MolBasic
Per affrontare questo problema, gli autori propongono MolBasic, un framework "structure-first" (struttura-centrico) progettato per radicare la comprensione molecolare nella comprensione fondamentale della struttura. La metodologia consiste in tre componenti principali:

1. Benchmark di Comprensione Strutturale Multi-livello (MSC):
   Gli autori hanno costruito un benchmark composto da otto compiti organizzati su tre livelli per valutare e addestrare la percezione del grafo 2D:

   • Livello Nodo: Conteggio degli atomi pesanti e conteggio di elementi specifici.
   • Livello Legame: Conteggio totale dei legami e conteggio di tipi di legame specifici.
   • Livello Grafo: Conversione della formula molecolare, riconoscimento di sottostrutture e conversione bidirezionale tra SMILES canonici e liste di adiacenza del grafo testuale.
     Il compito principale è la conversione bidirezionale SMILES–Grafo, che costringe il modello a imparare l'equivalenza tra rappresentazioni sequenziali e topologiche.

2. Framework di Apprendimento a Scalinata (Staircase Learning):
   L'addestramento segue un percorso progressivo e lineare ($v_{struct} \rightarrow v_{prop} \rightarrow v_{opt}$) che rispecchia il processo cognitivo dei chimici umani. Questo approccio strutturato come un DAG assicura che le capacità di ragionamento di livello superiore siano costruite su una comprensione strutturale affidabile:

   • Fase 1 (Comprensione della Struttura): Stabilire la percezione fondamentale del grafo.
   • Fase 2 (Predizione delle Proprietà Strutturali): Derivare proprietà (es. LogP, MW) dalle caratteristiche strutturali.
   • Fase 3 (Ottimizzazione Molecolare Obiettiva): Modificare le molecole per raggiungere le proprietà desiderate.
     Questo approccio di curriculum learning evita l'interferenza di compiti complessi sull'apprendimento fondamentale.

3. Supervisione Chain-of-Thought (CoT):
   Per migliorare l'accuratezza e l'interpretabilità, il framework impiega una strategia di addestramento in due fasi per ogni compito utilizzando il fine-tuning LoRA:

   • Fase 1 (Apprendimento della Risposta): Il modello impara a predire la risposta corretta ($a$) per stabilire ancoraggi di conoscenza del dominio.
   • Fase 2 (Apprendimento del Ragionamento): Il modello impara la risposta completa contenente una Chain-of-Thought ($z$) distillata da modelli di ragionamento avanzati (specificamente GPT-5).
     L'obiettivo di addestramento modella congiuntamente il processo di ragionamento e il risultato finale: $P_\theta(a, z | S, q) = P_\theta(z | S, q) \cdot P_\theta(a | S, z, q)$. La CoT include risultati intermedi deterministici per i compiti di regressione (es. parsing esplicito degli atomi) e una pipeline "analisi–strategia–verifica" per i compiti di ottimizzazione.

Risultati Chiave
Gli esperimenti sono stati condotti sul dataset PubChemSTM e su vari benchmark downstream, confrontando MolBasic con LLM generalisti, LLM molecolari specialistici e modelli di deep learning tradizionali.

• Comprensione della Struttura: MolBasic ha ottenuto miglioramenti sostanziali in tutti i compiti MSC. In particolare, ha raggiunto una precisione del 94,65% nella conversione da SMILES a Grafo e dell'85,66% da Grafo a SMILES, mentre tutti i modelli di base (inclusi i LLM specializzati) hanno ottenuto prestazioni vicine allo zero in questi compiti di conversione bidirezionale.
• Predizione delle Proprietà: Nella predizione delle proprietà strutturali (MW, LogP, TPSA, ecc.), MolBasic ha ottenuto le migliori prestazioni tra i metodi basati su LLM, con correlazioni di Pearson superiori a 0,97 per la maggior parte delle proprietà e un Errore Assoluto Medio (MAE) comparabile o migliore rispetto a modelli specifici per il compito come Chemprop.
• Ottimizzazione Molecolare: Nel compito di aumentare il LogP, MolBasic ha ottenuto il miglior miglioramento del LogP (2,27) tra i modelli basati su LLM, mantenendo un'alta validità (98,7%) e diversità (0,86).
• Studi di Ablazione:
  • Rimuovendo la fase di comprensione della struttura ("w/o Struct"), si è verificato un degrado monotono delle prestazioni downstream, confermando che la percezione strutturale è una base necessaria.
  • Randomizzando l'ordine di addestramento ("Mixed SFT"), si è ottenuta una performance inferiore rispetto all'approccio a scalinata, indicando che l'ordinamento progressivo è critico per prevenire l'interferenza tra i compiti.
  • Rimuovendo la supervisione CoT ("w/o CoT"), si è verificato un calo costante delle prestazioni, evidenziando la necessità di una guida esplicita del ragionamento intermedio.

Significatività e Rivendicazioni
Il documento sostiene che la mancanza di una comprensione strutturale di base sia un collo di bottiglia fondamentale per gli attuali LLM molecolari. "Tornando alle basi" e dando priorità all'allineamento del testo sequenziale con le strutture grafiche topologiche, MolBasic consente ai modelli di eseguire un ragionamento molecolare affidabile, interpretabile e generalizzabile. Gli autori affermano che il loro paradigma "structure-first" risolve la contraddizione tra il successo nei compiti downstream e il fallimento strutturale, fornendo una base robusta per future applicazioni di "AI chemist". Il lavoro sottolinea che senza la capacità di percepire accuratamente i grafi molecolari, i compiti di ragionamento di livello superiore sono intrinsecamente inaffidabili.

Limitazioni
Gli autori riconoscono che l'attuale design a scalinata modella il ragionamento come una catena lineare. Man mano che i compiti si allontanano dalla fase iniziale di comprensione della struttura, l'influenza diretta della percezione strutturale può indebolirsi, risultando in miglioramenti meno pronunciati nell'ottimizzazione rispetto alla predizione delle proprietà. Suggeriscono che il lavoro futuro dovrebbe esplorare framework di ragionamento non lineari più flessibili che permettano ai LLM di utilizzare esplicitamente la struttura molecolare come fondamento per diversi compiti senza l'interferenza osservata nell'addestramento a compiti misti.