Riepilogo Tecnico: Adattatore Consapevole della Scalabilità per il Ragionamento Strutturale di LLM (Cuttlefish)

1. Enunciato del Problema

I Large Language Models (LLM) sono sempre più applicati al ragionamento su strutture scientifiche 2D e 3D (molecole, proteine, acidi nucleici). Tuttavia, i metodi esistenti affrontano due limitazioni critiche che ostacolano un ragionamento generalizzato su tutti gli atomi:

1. Colli di bottiglia a lunghezza fissa (Scalabilità del Budget): Le architetture attuali si basano tipicamente su connettori di query a lunghezza fissa (ad esempio, stile Q-Former) o su tokenizzazione basata su sequenze. Questi approcci comprimono grafi strutturali a dimensione variabile in un budget di token costante. All'aumentare della complessità strutturale (ad esempio, proteine o acidi nucleici più grandi), ciò porta a una sovra-compressione delle caratteristiche geometriche, degradando le prestazioni. Al contrario, aumentare semplicemente il budget di token per tutti gli input porta a un'allocazione inefficiente, diluendo l'attenzione su entità piccole.
2. Allucinazioni Strutturali: I modelli che si basano esclusivamente su input sequenziali (ad esempio, SMILES, sequenze di residui) mancano di un ancoraggio geometrico esplicito. Senza evidenze strutturali 3D verificabili, gli LLM tendono a generare ragionamenti geometrici non derivati dal contesto di condizionamento, portando a allucinazioni riguardo a gruppi funzionali, meccanismi o interazioni a lungo raggio.

Il documento sostiene che manca un'interfaccia unificata per entità eterogenee su tutti gli atomi, rendendo necessario ripensare come le evidenze strutturali vengono selezionate ed esposte al modello linguistico.

2. Metodologia: Cuttlefish

Gli autori introducono Cuttlefish, un LLM multimodale unificato progettato per ancorare il ragionamento linguistico a indizi geometrici, scalando al contempo i token della modalità con la complessità strutturale. L'architettura è composta da tre componenti principali:

A. Encoder (EGNN Equivariante SE(3))

Le coordinate atomiche e le caratteristiche di input vengono prima codificate utilizzando una Rete Neurale su Grafo Equivariante (EGNN). Ciò garantisce che la rappresentazione sia invariante rispetto a rotazioni e traslazioni, producendo embedding di modalità a livello atomico. L'encoder è pre-addestrato tramite un compito di ricostruzione mascherata (previsione dell'identità dell'elemento, distanze pairwise e rumore direzionale) per apprendere le relazioni spaziali.

B. Patching Consapevole della Scalabilità

Per affrontare il collo di bottiglia del budget fisso, Cuttlefish impiega un meccanismo di gating condizionato all'istruzione:

• Selezione degli Ancoraggi Basata sulla Massa: Data un'embedding dell'istruzione e embedding dei nodi, un gate di scoring calcola i logit di rilevanza per nodo. Gli ancoraggi vengono selezionati in modo adattivo in base a una soglia di massa cumulativa ($\rho$). Ciò garantisce che il numero di token di query ($k_g$) scala con la complessità strutturale dell'entità, selezionando solo gli atomi più rilevanti per l'istruzione.
• Crescita Morbida delle Patch: Gli ancoraggi selezionati si espandono in patch strutturali tramite un meccanismo di assegnazione morbida. Questo fonde la vicinanza spaziale (distanza euclidea) con il bias semantico (rilevanza dell'istruzione).
• Pooling Ponderato In-Patch: Le caratteristiche dei nodi all'interno di ciascuna patch vengono aggregate utilizzando pesi di appartenenza per generare token di query strutturali. Ciò permette al modello di preservare segnali geometrici fini per regioni complesse, comprimendo al contempo aree meno rilevanti.

C. Adattatore di Ancoraggio Geometrico

Per mitigare le allucinazioni strutturali, i token adattivi vengono raffinati e iniettati nell'LLM:

• Recupero tramite Cross-Attention: I token delle patch subiscono un'attenzione incrociata con gli embedding completi della modalità (tutti gli atomi) attraverso una serie di blocchi di fusione. Ciò permette alle query di recuperare indizi geometrici ad alta risoluzione astratti durante la fase di patching.
• Iniezione: I token di modalità raffinati vengono proiettati nello spazio di embedding dell'LLM e inseriti in posizioni segnaposto designate all'interno della sequenza di istruzioni. Ciò espone indizi geometrici espliciti all'LLM, condizionando la sua output su una struttura verificabile.

D. Protocollo di Addestramento

Il modello è addestrato in tre fasi:

1. Pre-addestramento dell'Encoder: L'EGNN viene pre-addestrato su grafi spaziali a tutti gli atomi.
2. Sintonizzazione dell'Allineamento della Modalità: L'EGNN e l'LLM vengono congelati; solo il connettore (Patching e Adattatore) viene ottimizzato sul dataset GEO-AT (un nuovo dataset di istruzioni a tutti gli atomi introdotto dagli autori).
3. Sintonizzazione dell'Adattamento dell'LLM: L'LLM viene sbloccato con un tasso di apprendimento più basso per adattarsi alla nuova distribuzione di iniezione della modalità, preservando al contempo le capacità linguistiche generali.

3. Contributi Chiave

1. Patching Consapevole della Scalabilità: Un meccanismo di crescita di patch di ancoraggio condizionato all'istruzione che garantisce che il conteggio dei token di modalità scala con la complessità strutturale, mitigando efficacemente i colli di bottiglia dei connettori a lunghezza fissa.
2. Adattatore di Ancoraggio Geometrico: Un modulo che inietta indizi geometrici verificabili nell'LLM tramite token di modalità, condizionando esplicitamente il modello sulla geometria per ridurre le allucinazioni strutturali.
3. Framework Cuttlefish: Un LLM unificato consapevole della struttura capace di ragionare su modalità eterogenee a tutti gli atomi (molecole, proteine, DNA, RNA) con prestazioni elevate su vari benchmark.
4. Dataset GEO-AT: L'introduzione del primo dataset di istruzioni a tutti gli atomi che comprende molecole, proteine e acidi nucleici con coordinate a livello atomico e annotazioni linguistiche.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su benchmark eterogenei a tutti gli atomi, inclusi Mol-Instructions, DNA-Chat e RNA-QA.

• Prestazioni vs LLM Generali: Cuttlefish supera significativamente le linee di base degli LLM generali (ad esempio, Llama-3, Qwen, Mistral) e le varianti potenziate per il ragionamento su tutte le modalità. Ad esempio, sul benchmark GEO-AT, Cuttlefish + Llama-3.1-8B ha ottenuto un punteggio METEOR medio di 0.428 e un BERTScore di 0.864, rispetto a 0.186 e 0.694 per il solo backbone.
• Prestazioni vs Linee di Base Specifiche per la Modalità: Cuttlefish raggiunge la prestazione top-1 sulla maggior parte dei compiti, superando modelli specializzati come Mol-Llama (molecole), ProtChatGPT (proteine) e ChatNT (acidi nucleici).
• Stabilità della Scalabilità: A differenza dei connettori a lunghezza fissa che degradano all'aumentare della dimensione dell'entità, Cuttlefish mantiene una qualità di generazione stabile attraverso diversi conteggi di nodi del grafo (da piccole molecole a grandi proteine), dimostrando caratteristiche di scalabilità favorevoli.
• Efficienza dei Token: Cuttlefish mantiene un budget di token strutturali sostanzialmente inferiore rispetto alle linee di base a scalabilità lineare (ad esempio, ChatNT) preservando le prestazioni, confermando l'efficienza dell'allocazione adattiva dei token.
• Riduzione delle Allucinazioni: Nelle valutazioni delle allucinazioni (previsione di gruppi funzionali, spiegazione di meccanismi, interazioni a lungo raggio), Cuttlefish ottiene i tassi di allucinazione più bassi (ad esempio, 0.04 per i gruppi funzionali delle proteine contro 0.10 per ProtChatGPT) e i tassi di risposta più alti.
• Robustezza: Il modello dimostra una degradazione graduale sotto rumore di coordinate e rimane efficace anche quando le strutture sperimentali vengono sostituite da previsioni di AlphaFold2.

5. Significato e Affermazioni

Il documento afferma che Cuttlefish stabilisce un framework unificato per il ragionamento basato sulla struttura attraverso tutte le modalità a tutti gli atomi. Il suo significato risiede nell'affrontare le doppie sfide della scalabilità e della fedeltà:

• Scalabilità: Sostituendo i connettori rigidi a lunghezza fissa con il Patching Consapevole della Scalabilità, l'architettura supera i colli di bottiglia informativi, permettendo al modello di gestire la complessità strutturale senza sovra-compressione o inefficienza del contesto.
• Fedeltà: Utilizzando l'Adattatore di Ancoraggio Geometrico per iniettare evidenze geometriche esplicite, il modello riduce l'incertezza irriducibile (rischio Bayesiano) associata agli input basati solo su sequenze, sopprimendo di conseguenza le allucinazioni strutturali.

Gli autori concludono che gli input basati solo su sequenze sono insufficienti per la comprensione condizionata alla struttura e che i connettori a lunghezza fissa impongono un collo di bottiglia fondamentale per la cattura di semantica dipendente dalla geometria. Sostengono che l'addestramento congiunto delle modalità con scalabilità adattiva dei token è la chiave per un ragionamento scientifico multimodale unificato e robusto. Il lavoro è destinato a impostazioni generali di modellazione scientifica, senza impatti sociali più ampi oltre a quelli comuni all'area di ricerca.