Riepilogo Tecnico: Rappresentazioni Molecolari per Modelli Linguistici di Grande Dimensione

Enunciato del Problema

I Modelli Linguistici di Grande Dimensione (LLM) sono sempre più applicati alla scoperta scientifica, inclusi compiti che richiedono il ragionamento su strutture molecolari come la previsione di reazioni, l'analisi meccanicistica e l'elucidazione strutturale. Tuttavia, gli LLM attuali sono modelli basati su sequenze che operano sul testo, mentre le molecole sono definite naturalmente come grafi (atomi come nodi, legami come archi). Di conseguenza, i grafi molecolari devono essere serializzati in formati basati sul testo per l'elaborazione da parte degli LLM.

Mentre studi precedenti in chimica hanno utilizzato prevalentemente stringhe SMILES o nomi IUPAC come interfaccia tra gli LLM e le strutture molecolari, l'idoneità di questi formati per il ragionamento degli LLM non è stata valutata sistematicamente. Questi formati sono stati originariamente progettati per flussi di lavoro di chemioinformatica tradizionali e per l'interpretazione umana, imponendo vincoli sintattici e semantici rigorosi (ad esempio, regole di attraversamento per SMILES, regole di nomenclatura per IUPAC) che potrebbero non allinearsi con i punti di forza architetturali degli LLM. Questo disallineamento limita potenzialmente l'affidabilità degli LLM nell'interpretare e generare grafi molecolari.

Metodologia

Per colmare questa lacuna, gli autori hanno introdotto MolJSON, uno schema JSON strutturato innovativo progettato specificamente come formato di input e output per gli LLM. Lo studio ha confrontato sistematicamente MolJSON con cinque rappresentazioni chimiche consolidate: SMILES, nomi IUPAC, SELFIES, InChI e MOL V2000.

Lo Schema MolJSON

MolJSON rappresenta le molecole come oggetti JSON contenenti elenchi espliciti di atomi e legami, invece di affidarsi a un attraversamento lineare o a nomenclature basate su regole.

• Atomi: Definiti da un identificatore univoco e un simbolo elementare.
• Legami: Definiti da coppie di identificatori di atomi e un ordine di legame.
• Campi Opzionali: Include campi sparsi per cariche formali non nulle e idrogeni espliciti sugli atomi di azoto aromatici per garantire un corretto assegnamento della valenza.
• Filosofia di Progettazione: L'identità molecolare è definita direttamente dagli insiemi di atomi e legami, indipendentemente dall'ordinamento degli array, eliminando la necessità di specifici attraversamenti del grafo.

Progettazione del Benchmark

Gli autori hanno costruito un benchmark composto da 78.045 domande generate algoritmicamente per isolare l'impatto della rappresentazione sulle prestazioni degli LLM, evitando fattori confondenti derivanti da conoscenze chimiche specializzate. La valutazione ha utilizzato quattro modelli: GPT-5-nano, GPT-5-mini, GPT-5 e Claude Haiku 4.5. I compiti includevano:

1. Traduzione Molecolare: Convertire una molecola da un formato all'altro (ad esempio, da IUPAC a SMILES). L'accuratezza è stata misurata tramite equivalenza molecolare esatta utilizzando SMILES canonici e RDKit.
2. Ragionamento sul Percorso Più Breve: Data una molecola, il modello deve determinare il numero di legami sul percorso più breve tra due specifici atomi di alogeno.
3. Generazione Molecolare Vincolata: Il modello deve generare una molecola che soddisfi vincoli specifici (ad esempio, presenza di alogeni specifici, conteggi di anelli, topologie e lunghezze di percorso).

I dati sono stati tratti dal database PubChem (molecole depositate tra ottobre 2025 e dicembre 2025) per minimizzare la contaminazione dai dati di addestramento del modello. Le molecole con stereochimica, sali o elementi inorganici sono state escluse.

Risultati Chiave

Lo studio ha osservato una notevole variazione nelle prestazioni degli LLM in base alla rappresentazione molecolare utilizzata, con MolJSON che ha costantemente superato i formati esistenti in tutti i compiti e modelli.

1. Traduzione Molecolare

• Prestazioni di Output: Nella generazione di output, MolJSON ha superato significativamente SMILES e IUPAC. Per GPT-5, la conversione da nomi IUPAC a MolJSON ha raggiunto un'accuratezza del 71,0%, rispetto al 43,7% per la conversione da IUPAC a SMILES. Analogamente, la traduzione da SMILES a MolJSON ha raggiunto un'accuratezza del 92,3%, contro il 43,5% per SMILES a IUPAC.
• Prestazioni di Input: MolJSON ha funzionato anche come formato di input superiore. Nella generazione di output SMILES, l'accuratezza è migliorata dal 43,7% (input IUPAC) al 48,3% (input MolJSON).

2. Ragionamento sul Percorso Più Breve

• MolJSON è stato il formato di input più affidabile per il ragionamento sui grafi. GPT-5 ha raggiunto un'accuratezza del 98,5% con input MolJSON, rispetto al 92,2% per SMILES e all'82,7% per IUPAC.
• Efficienza: MolJSON ha richiesto significativamente meno token di ragionamento. GPT-5 ha utilizzato una media di 1.021 token con input MolJSON contro 1.854 token con SMILES, suggerendo che SMILES e IUPAC richiedono al modello di ricostruire il grafo prima di ragionare, un passaggio soggetto a errori.
• Modalità di Fallimento: Le prestazioni di IUPAC sono peggiorate significativamente con sistemi di anelli fusi (scendendo al 66,2% di accuratezza per anelli fusi contro il 96,9% per non fusi), mentre MolJSON è rimasto robusto (98,5% in entrambi i casi).

3. Generazione Vincolata

• MolJSON è stato il formato di output più affidabile per generare molecole sotto vincoli. GPT-5 ha raggiunto un'accuratezza del 95,3% con MolJSON, rispetto al 76,3% per IUPAC e al 64,0% per SMILES.
• Il vantaggio è stato particolarmente pronunciato per topologie complesse. Per sistemi di anelli fusi, GPT-5 ha raggiunto un'accuratezza del 92% con MolJSON, contro il 42% per SMILES e il 56% per IUPAC.

4. Analisi degli Errori

Sono stati osservati errori sistematici per SMILES e IUPAC relativi alle dimensioni molecolari e alla complessità degli anelli.

• SMILES: Gli errori spesso derivavano da violazioni sintattiche e molecole non valide, suggerendo che i vincoli di attraversamento rigorosi del formato sono difficili da mantenere per gli LLM.
• IUPAC: Gli errori erano fortemente associati a sistemi di anelli fusi e regole di nomenclatura complesse.
• MolJSON: Ha dimostrato robustezza rispetto a queste modalità di fallimento. Gli autori notano che la flessibilità di MolJSON permette agli LLM di utilizzare identificatori di atomi "ricchi" (ad esempio, abbreviazioni di gruppi funzionali) che possono agire come "token di grafo" nel processo di ragionamento del modello, una capacità non disponibile in formati rigidi come SMILES o IUPAC.

Significato e Affermazioni

Il documento afferma che la scelta della rappresentazione molecolare ha un impatto materiale sulla capacità degli LLM di interpretare e generare grafi molecolari. Gli autori sostengono che:

1. Le Codifiche Esplicite di Grafi sono Superiori: I formati che codificano esplicitamente atomi e legami (come MolJSON) sono intrinsecamente meglio allineati con gli LLM attuali rispetto ai formati serializzati (SMILES) o alle nomenclature basate su regole (IUPAC).
2. Prestazioni Senza Addestramento Esplicito: Nonostante SMILES e IUPAC siano onnipresenti nei dati di addestramento, MolJSON li ha superati senza alcun addestramento esplicito sul formato, suggerendo che il vantaggio strutturale è intrinseco alla rappresentazione.
3. Fondamento per Sistemi Agentici: Man mano che i sistemi basati su LLM in chimica si muovono verso la scoperta autonoma, l'affidabilità dell'interazione molecolare è critica. Gli autori suggeriscono che rappresentazioni strutturate come MolJSON dovrebbero essere adottate per lo sviluppo di sistemi chimici basati su LLM.

Gli autori posizionano MolJSON come un punto di partenza per rappresentazioni molecolari orientate agli LLM piuttosto che come un formato finale definitivo, notando potenziali miglioramenti come una migliore gestione della stereochimica e delle coordinate atomiche. Lo studio conclude che l'esplorazione di rappresentazioni molecolari progettate specificamente per gli LLM è una direzione promettente per il settore.