What Does a Chemical Language Model Know About Molecules?

Riepilogo Tecnico: Cosa sa un Modello di Linguaggio Chimico sulle Molecole?

Problema
I modelli di linguaggio chimico (cLMs) hanno dimostrato prestazioni elevate nella predizione delle proprietà molecolari e nella progettazione generativa di farmaci. Tuttavia, permane uno scetticismo significativo all'interno della comunità riguardo al fatto che questi modelli apprendano una semantica molecolare significativa o se si limitino a sfruttare schemi sintattici superficiali delle rappresentazioni testuali molecolari (ad es., SMILES). Poiché le molecole possono essere rappresentate come stringhe in molteplici modi equivalenti, non è chiaro se i cLMME interiorizzino la struttura chimica o se si limitino a analizzare la grammatica delle stringhe. Affrontare questo problema richiede una comprensione meccanicistica di come i cLMME rappresentino internamente le molecole.

Metodologia
Gli autori applicano gli Autoencoder Sparsi (SAEs), una tecnica di interpretabzionalità meccanicistica, a MolFormer-XL (specificamente la variante open-weights MolFormer-10), un cLM encoder-only preaddestrato su 1,1 miliardi di stringhe SMILES molecolari.

• Addestramento SAE: Addestrano k-SAE sul residuo (residual stream) del modello per decomporre le attivazioni in feature sparse e interpretabili dall'uomo.
• Classificazione delle Feature: Le latenze SAE vengono classificate in base ai tipi di token dominanti (atomi, indici di anello, ramificazioni, legami) e mappate su concetti legati agli atomi (atomo, atomo in sottostruttura, sottostruttura) utilizzando la notazione SMARTS.
• Analisi di Perturbazione: Lo studio investiga gli spostamenti di rappresentazione causati da SMILES non canonici (variazioni valide nella parsing delle stringhe) e SMILES non validi (errori di sintassi o di valenza) per testare l'invarianza del modello rispetto alla notazione della stringa.
• Probing Downstream: Vengono addestrati linear probe su 21 compiti ADMET (Assorbimento, Distribuzione, Metabolismo, Escrezione, Tossicità) per identificare quali latenze SAE correlano con proprietà farmacologicamente rilevanti.
• Strumentazione: Gli autori hanno sviluppato InterMol, un visualizzatore web interattivo per esplorare le attivazioni SAE su stringhe e strutture molecolari.

Contributi Chiave e Risultati

1. Costruzione di Rappresentazioni Gerarchiche:
   L'analisi rivela una progressione gerarchica nel modo in cui vengono costruite le rappresentazioni molecolari:

   • Layer Iniziali: Si affidano pesantemente a latenze di tracciamento della posizione per analizzare la grammatia molecolare (ad es., tracciare gli indici degli anelli, le chiusure delle ramificazioni e le posizioni dei token). Questi layer mostrano un'alta densità di "latenze di posizione" che correlano con le posizioni relative dei token.
   • Layer Successivi: Passano verso la codifica di atomo-in-sottostruttura e feature a livello di sottostruttura. Il modello sembra apprendere latenze di coppia di atomi condivise per motivi comuni (ad es., C=O, C-N) piuttosto che latenze distinte per ogni specifica funzione di gruppo, permettendo il riutilizzo in strutture complesse.

2. Feature di Parsing Sintattico:
   Oltre ai concetti legati agli atomi, gli autori identificano due tipi distinti di feature di parsing sintattico:

   • Latenze di Posizione: Prominenti nei primi layer, queste tracciano specifiche posizioni di token o la completezza di sottostrutture sintattiche (ad es., tracciare un ossigeno con doppio legame all'interno di una ramificazione dall'apertura alla chiusura).
   • Latenze "Anything-But-X" (Qualsiasi cosa tranne X): Queste si attivano su tutti i token tranne tipi specifici (ad es., "qualsiasi cosa tranne i carboni"). Sebbene la loro funzione esatta non sia chiara, potrebbero assistere nella discriminazione degli eteroatomi, sebbene gli autori notino che potrebbero essere artefatti della dimensione del SAE.

3. Impatto delle Varianti SMILES:

   • SMILES Non Canonici: Producono spostamenti di rappresentazione più dirompenti rispetto agli SMILES non validi. La perturbazione è guidata dalla disruzione delle latenze di posizione nei primi layer, che si propaga ai layer più profondi. Ciò suggerisce che i modelli preaddestrati solo su SMILES canonici possano avere difficoltà con l'invarianza rispetto alle variazioni di stringa a causa della loro dipendenza dai meccanismi di tracciamento della posizione.
   • SMILES Non Validi: Gli errori di sintassi (ad es, troncamento) causano distribuzioni di similarità ampie, mentre gli errori di valenza influenzano significativamente specifiche latenze non posizionali. In particolare, una latenza specifica nel Layer 12 (L12/f/956) funge da rilevatore sia di canonicalità che di validità, mostrando una forte attivazione quando gli input sono aumentati o corrotti.

4. Latenze Farmacologicamente Rilevanti:
   Il linear probing sui compiti ADMET dimostra che gli embedding SAE superano le baseline dei fingerprint e dei descrittori molecolari in 16 dei 21 compiti. Gli autori hanno identificato latenze specifiche corrispondenti a noti tratti farmacoforici:

   • Assorbimento Intestinale Umano (HIA): Latenze che si attivano su sostituenti alogeni (Cl, F) e ossigeni con doppio legame.
   • Inibizione del CYP2C9: Una latenza che si attiva su eteroatomi all'interno di eterocicli.
   • Mutagenicità di Ames: Latenze che si attivano su legami azoto-azoto (nitrosammine) e gruppi nitro/azide.
   • Lipofilia: Latenze che si attivano su carboni aromatici (aumentando la lipofilia) e motivi di acido carbossilico (diminuendola).

Significato e Rivendicazioni
L'articolo sostiene di fornire una risposta meccanicistica fondata su ciò che i modelli di linguaggio chimico sanno delle molecole. Dimostra che i cLM non apprendono semplicemente schemi superficiali ma costruiscono rappresentazioni gerarchiche che progrediscono dal parsing sintattico ai concetti di sottostruttura chimicamente significativi. I risultati suggeriscono che, sebbene i cLM codifichino feature farmacologicamente rilevanti, la loro dipendenza dalle latenze di tracciamento della posizione crea una vulnerabilità alle variazioni di stringa non canoniche.

Gli autori inquadrano modestamente il loro lavoro come una base per la futura progettazione di cLM, suggerendo che le strategie di addestramento che coinvolgono l'augmentation di SMILES o l'apprendimento contrastivo potrebbero mitigare il bias posizionale. Propongono anche che il lavoro futuro potrebbe utilizzare transcoder cross-layer per identificare circuiti molecolari causali. Il paper evita esplicitamente di affermare che i cLM abbiano raggiunto un ragionamento chimico a livello umano, concentrandosi invece sull'identificazione di feature interpretabili che si allineano con i principi chimici noti. L'introduzione di InterMol è presentata come uno strumento per facilitare l'esplorazione comunitaria di queste latenze non interpretate.