🤖 machine learning

Rethinking Molecular Text Representations for LLMs: An Empirical Study

Questo articolo presenta un benchmark sistematico di 16 LLM attraverso nove rappresentazioni molecolari e otto compiti chimici, rivelando che le prestazioni sono altamente dipendenti dalla rappresentazione senza che un singolo formato domini tutti i compiti, argomentando così contro la valutazione invariante rispetto alla rappresentazione e favorendo il routing della rappresentazione consapevole del compito.

Autori originali: Arun Raja, Garrett M. Morris, Kian Ming A. Chai

Pubblicato 2026-06-03

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Arun Raja, Garrett M. Morris, Kian Ming A. Chai

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di insegnare a un robot molto intelligente e colto (un Large Language Model o LLM) a capire la chimica. Il robot è brillante nel leggere storie e scrivere saggi, ma la chimica è un po' come un codice segreto. Per parlare con il robot di una molecola (come l'aspirina o la caffeina), devi tradurre quella molecola in testo.

Il problema è che esistono molti diversi "dialetti" o modi per scrivere questo codice chimico. Alcuni sembrano brevi stringhe criptiche di lettere (SMILES), altri sono nomi lunghi e formali (IUPAC), e altri ancora sono progetti dettagliati scritti in un formato strutturato (CML o MolJSON).

Questo articolo è come un enorme "test di assaggio" in cui i ricercatori hanno cercato di nutrire il robot con la stessa molecola scritta in nove diversi dialetti e gli hanno chiesto di eseguire otto diversi compiti di chimica. Volevano scoprire: Quale dialetto il robot comprende meglio?

Ecco cosa hanno scoperto, suddiviso con semplici analogie:

1. Il mito del "Taglia Unica per Tutti" è falso

Potresti pensare che se un robot è bravo in chimica, dovrebbe essere bravo in chimica indipendentemente da come scrivi la molecola. L'articolo dice che questo è sbagliato.

L'analogia: Immagina di chiedere a uno chef di tagliare delle verdure. Se gli dai un coltello fatto di legno, un coltello fatto di vetro o un coltello fatto di acciaio, taglieranno in modo diverso. L'abilità dello chef non riguarda solo l'essere uno chef; riguarda quanto bene può maneggiare lo strumento specifico che gli hai dato.
La scoperta: Le prestazioni del robot cambiavano drasticamente a seconda di quale "dialetto" utilizzavi. Non c'era un unico modo "migliore" di scrivere una molecola che funzionasse per ogni compito.

2. Il "Progetto" contro la "Ricetta"

I ricercatori hanno scoperto che diversi dialetti sono migliori per diversi lavori.

I "Progetti" (CML e MolJSON): Questi sono come disegni architettonici dettagliati dove ogni atomo e legame è esplicitamente elencato in una lista strutturata.
- Migliori per: Compiti che richiedono di contare le parti o vedere la forma esatta, come "Quanti atomi di carbonio ci sono qui?" o "Questa molecola è l'immagine speculare di quella?".
- Perché: Il robot può scansionare facilmente la lista come un foglio di calcolo.
I "Nomi Formali" (IUPAC): Questi sono nomi lunghi e leggibili dall'uomo come "2-acetilossibenzoico".
- Migliori per: Compiti che comportano l'abbinamento di descrizioni, come "Trova la molecola che corrisponde a questa storia".
- Perché: Poiché questi nomi sono scritti in linguaggio naturale, il robot (che è stato addestrato su testi umani) ne comprende meglio il significato rispetto ai codici criptici.
I "Codici Brevi" (SMILES): Questo è il modo più comune in cui i chimici scrivono le molecole oggi. È una stringa compatta di caratteri.
- La sorpresa: Anche se il robot è stato probabilmente addestrato soprattutto su questi codici brevi, sono stati raramente la scelta migliore. Infatti, per molti compiti, il robot ha faticato con essi rispetto ai progetti dettagliati.

3. La trappola dello "Specialista"

I ricercatori hanno anche testato dei robot che sono stati addestrati specificamente solo sulla chimica (modelli specializzati in chimica).

L'analogia: Immagina uno chef che ha praticato solo il taglio delle carote. Se gli dai una carota, è fantastico. Ma se gli passi una patata o un pomodoro, potrebbe bloccarsi o rompere il coltello perché non ha mai fatto pratica con loro.
La scoperta: Questi robot specializzati in chimica erano bravissimi con i codi brevi (SMILES) perché è quello su cui sono stati addestrati. Tuttavia, quando fornivi loro i "progetti" (CML/MolJSON), si comportavano malissimo. Erano diventati così specializzati in un dialetto che avevano dimenticato come leggere gli altri. I robot generici erano in realtà più flessibili.

4. Il problema delle "Allucinazioni"

Quando il robot cercava di creare una nuova molecola basandosi su una descrizione, spesso commetteva errori.

La scoperta: Usare i "Nomi Formali" (IUPAC) ha comportato il minor numero di errori. Quando il robot cercava di generare molecole usando i codici brevi o i progetti, era più propenso a "allucinare" (inventare molecole false o violare le regole della chimica).
Il meccanismo: I ricercatori hanno guardato dentro il "cervello" del robot (i suoi meccanismi di attenzione) e hanno scoperto che, leggendo i progetti dettagliati, il robot doveva prestare attenzione a ogni singola parte della molecola per fare le cose bene. Quando leggeva i codici brevi, spesso saltava dettagli importanti.

5. La conclusione principale

L'articolo conclude che non possiamo semplicemente dire "Gli LLM sono bravi in chimica". Dobbiamo chiedere: "Bravi in chimica usando quale formato di testo?"

Se vuoi che il robot conti gli atomi o individui differenze strutturali, dagli i progetti dettagliati (CML/MolJSON).
Se vuoi che il robot trovi una molecola basandosi su una descrizione, dagli il nome formale (IUPAC).
Se vuoi che il robot generi una nuova molecola, il nome formale è attualmente la scommessa più sicura per evitare errori.

In breve: Il modo in cui poni la domanda conta tanto quanto l'intelligenza della persona (o del robot) che risponde. Per ottenere i migliori risultati dall'IA in chimica, dobbiamo smettere di usare un unico linguaggio "predefinito" e iniziare a scegliere il linguaggio giusto per il compito specifico che dobbiamo svolgere.

Riepilogo Tecnico: Ripensare le Rappresentazioni Testuali Molecolari per gli LLM

Definizione del Problema

L'applicazione dei Large Language Models (LLM) alla chimica è in crescita, eppure il campo manca di una comprensione sistematica di quale rappresentazione testuale molecolare supporti meglio i diversi compiti. Sebbene il sistema Simplified Molecular Input Line Entry System (SMILES) sia diventato lo standard de facto grazie alla sua prevalenza nei corpora di pre-addestramento e nella letteratura, non è chiaro se questa rappresentazione sia ottimale per tutti i compiti di ragionamento chimico basati su LLM. Il lavoro precedente si concentra spesso sull'addestramento di modelli da zero su stringhe molecolari o sul fine-tuning per compiti specifici, utilizzando prevalentemente SMILES. Tuttavia, la chimica offre diversi formati leggibili dalle macchine (ad esempio, nomi IUPAC, InChI, SELFIES, XML/JSON strutturati) che differiscono per compattezza, invertibilità e struttura semantica. La domanda centrale affrontata è se la performance degli LLM sia invariante rispetto alla rappresentazione o se compiti specifici richiedano rappresentazioni specifiche per raggiungere un'ottimalità di competenza.

Metodologia

Gli autori introducono MolRepBench, un benchmark sistematico progettato per valutare la competenza molecolare degli LLM attraverso nove diverse rappresentazioni e otto compiti chimici.

Rappresentazioni Valutate:
Lo studio copre nove formati, che vanno da stringhe compatte a strutture grafiche esplicite:

Varianti SMILES: Canoniche, isomeriche e SMILES randomizzate.
Stringhe Ottimizzate per la Generazione: DeepSMILES e SELFIES.
Nomenclatura e Identificatori: Nomi IUPAC e International Chemical Identifier (InChI).
Testo Strutturato: Chemical Markup Language (CML) e MolJSON (una recente rappresentazione basata su grafo in formato JSON).

Modelli Valutati:
Il benchmark testa 16 LLM appartenenti a cinque famiglie:

Modelli generalisti open-weight: Qwen3 (4B/30B), Phi-4 (14B) e OLMo-3 (32B), inclusi varianti di ragionamento e non di ragionamento.
Modelli specializzati nel dominio: ChemDFM (v2.0 e R) ed Ether0, insieme ai rispettivi modelli base (Qwen2.5-14B e Mistral-Small-24B).
Modelli chiusi di frontiera: GPT-5.4-mini e Claude-Haiku-4.5.

Compiti:
Otto compiti spaziano dalla comprensione alla discriminazione e alla generazione:

Conteggio degli Atomi: Parsing delle stringhe per contare elementi specifici.
Identificazione dei Gruppi Funzionali: Riconoscimento di sottostrutture (es. esteri, ammine).
Stima delle Proprietà Molecolari: Predizione di proprietà computabili (LogP, TPSA, donatori/accettori di legame idrogeno) derivate da RDKit.
Recupero Molecolare: Corrispondenza tra descrizioni in linguaggio naturale e strutture molecolari.
Discriminazione degli Isomeri: Distinzione tra molecole con sottili differenze strutturali o stereochimiche.
Riconoscimento dei Tautomeri: Identificazione di equivalenze strutturali dinamiche.
Riconoscimento dello Stato di Protonazione: Identificazione di varianti di carica dello stesso modello.
Generazione da Didascalia a Molecola: Traduzione di descrizioni in linguaggio naturale in stringhe molecolari valide.

Metriche di Valutazione:
Lo studio impiega l'accuratezza di corrispondenza esatta (exact-match), il macro-F1, la correlazione di Spearman e la similarità di Tanimoto per i confronti strutturali. Fondamentalmente, per i compiti di generazione, gli autori utilizzano un LLM-as-a-judge (Gemini 3 Flash) per valutare qualitativamente le modalità di errore (es. allucinazioni, errori di sintassi, errori di scaffold) e punteggiare le generazioni in termini di fedeltà, ragionamento chimico e qualità complessiva.

Analisi Meccanicistica:
Per spiegare le differenze di performance, gli autori conducono:

Audit della Tokenizzazione: Misurazione del conteggio dei token e della lunghezza dei token di ragionamento.
Linear Probing: Test degli stati latenti per verificare se l'informazione chimica sia linearmente accessibile.
Analisi dell'Attenzione: Esame dei pesi di attenzione tra l'ultimo token e i token molecolari, e l'auto-attenzione all'interno della molecola.

Risultati Chiave

1. La Performance dipende dalla Rappresentazione
Nessuna singola rappresentazione è ottimale per tutti i compiti. La "migliore" rappresentazione varia significativamente in base al tipo di compito:

Rappresentazioni Strutturate (CML, MolJSON): Dominano nei compiti che richiedono una comprensione esplicita del grafo, come il Conteggio degli Atomi, la Discriminazione degli Isomeri e il Riconoscimento dei Tautomeri. CML ha ottenuto il punteggio aggregato più alto (81 vittorie su 128 configurazioni), seguita da MolJSON (75 vittorie).
Nomi IUPAC: Eccellono nei compiti semantici, specificamente nel Recupero Molecolare (vincendo per tutti i 16 LLM) e nella Generazione da Didascalia a Molecola. La loro struttura morfemica si allinea bene con le descrizioni in linguaggio naturale.
Varianti SMILES: Nonostante la loro dominanza nel pre-addestramento, le varianti SMILES sono raramente ottimali. Performano bene nella regressione delle proprietà (LogP, TPSA), ma spesso sottoperformano nella disambiguazione strutturale e nella generazione rispetto ai formati strutturati.
SELFIES: Hanno costantemente ottenuto le prestazioni peggiori tra tutti i 16 LLM, in particolare nel conteggio degli atomi e nella generazione.

2. Specializzazione vs. Generalizzazione
I modelli specializzati in chimica (es. ChemDFM) mostrano un compromesso. Sebbene superino significativamente i loro modelli base nei compiti basati su SMILES (es. ChemDFM-R-14B ha ottenuto punteggi elevati di exact-match nella generazione con SMILES), soffrono di oblio catastrofico o grave degradazione quando presentati con rappresentazioni di testo strutturato (CML, MolJSON, InChI). Ad esempio, ChemDFM-R-14B ha prodotto quasi zero generazioni valide con CML e InChI, mentre il suo modello base (Qwen2.5-14B) manteneva una performance robusta. Ciò suggerisce che il fine-tuning basato solo su SMILES premi una specializzazione che non si generalizza ad altri formati.

3. Qualità della Generazione e Modalità di Errore

Validità $\neq$ Correttezza: Alti tassi di validità (es. 97,6% per ChemDFM-R-14B con SMILES) non garantiscono la correttezza strutturale (la similarità di Tanimoto era solo 0,68).
LLM-as-a-Judge: I nomi IUPAC hanno prodotto la frazione più alta di generazioni corrette (50%) quando giudicati da Gemini 3 Flash. I canonical SMILES avevano un'alta fedeltà di rappresentazione ma una bassa qualità complessiva a causa di errori di scaffold e di ragionamento.
Modelli di Ragionamento: Le varianti abilitate al ragionamento (es. Phi-4-Reasoning, OLMo-Think) hanno generalmente ridotto i tassi di allucinazione rispetto alle loro controparti non di ragionamento, sebbene non abbiano migliorato uniformemente le performance in tutti i compiti.

4. Approfondimenti Meccanicistici

Tokenizzazione: Le rappresentazioni strutturate (CML, MolJSON) sono significativamente più lunghe (maggior numero di token) rispetto a SMILES. Tuttavia, producono lunghezze di token di ragionamento più brevi, suggerendo che la struttura esplicita riduca il carico cognitivo per il modello.
Attenzione: Le rappresentazioni strutturate richiedono al modello di prestare maggiore attenzione lungo l'intero span molecolare (maggiore attenzione "ultimo-token verso molecola"), mentre le varianti SMILES compatte incoraggiano una più ricca interazione token-to-token all'interno della stringa.
Codifica Interna: Il linear probing ha rivelato che, mentre le varianti SMILES sono ben codificate (probabilmente a causa del pre-addestramento), MolJSON (una rappresentazione post-addestramento) ha spesso prodotto una migliore performance nel linear probe, indicando che il modello può sfruttare efficacemente la struttura esplicita del grafo anche senza esposizione precedente.

Significato e Rivendicazioni

Il paper contesta la nozione di valutazione invariante dalla rappresentazione in chimica. Gli autori sostengono che:

La scelta della rappresentazione è critica: Il formato del testo molecolare è un fattore chiave nella competenza chimica degli LLM; utilizzare una singola rappresentazione (come SMILES) fornisce una visione parziale e distorta delle capacità di un modello.
Il routing consapevole del compito è necessario: Diversi compiti beneficiano di diverse rappresentazioni. Gli autori propongono un routing della rappresentazione consapevole del compito (task-aware representation routing), in cui il formato di input viene selezionato in base allo specifico compito chimico (es. usare IUPAC per il recupero, CML/MolJSON per il parsing strutturale).
Gli standard di valutazione devono evolversi: I benchmark dovrebbero riportare le performance attraverso molteplici rappresentazioni per far emergere i trade-off, in particolare la perdita di generalizzazione nei modelli specializzati nel dominio.
Giudizio Qualitativo: Le metriche rigide (tasso di validità, corrispondenza esatta) sono insufficienti per i compiti di generazione; l'approccio LLM-as-a-judge è essenziale per analizzare le modalità di errore come le allucinazioni e gli errori di scaffold.

Lo studio conclude che gli attuali LLM non possiedono ancora capacità molecolari robuste e invarianti dalla rappresentazione, e che il campo deve andare oltre la valutazione centrata su SMILES per sviluppare sistemi di IA chimica più robusti e generalizzabili.