Multi-Modal Protein Representation Learning with CLASP

Il paper introduce CLASP, un framework unificato tri-modale che integra apprendimento geometrico, modelli linguistici e apprendimento contrastivo per generare rappresentazioni proteiche superiori combinando sequenze, strutture 3D e descrizioni testuali, ottenendo prestazioni eccellenti in compiti di classificazione, recupero e clustering.

L'essenziale

🧬 CLASP: Il "Traduttore Universale" delle Proteine

Immagina di avere un libro di ricette (la sequenza di aminoacidi), una foto tridimensionale del piatto finito (la struttura della proteina) e una recensione culinaria scritta da un critico gastronomico (la descrizione testuale).

Finora, gli scienziati avevano difficoltà a collegare queste tre cose. Potevano leggere la ricetta, ma non capivano bene come fosse fatto il piatto nella realtà, o viceversa. Spesso, le ricette sembravano diverse ma producevano piatti simili, o piatti che sembravano uguali avevano ricette diverse.

CLASP (Contrastive Language–Amino acid Sequence–Structure Pretraining) è come un super-cuoco intelligente che impara a collegare istantaneamente queste tre visioni diverse dello stesso oggetto.

1. I Tre "Occhi" di CLASP

CLASP non guarda le proteine con un solo occhio, ma ne usa tre contemporaneamente, proprio come se avesse tre super-poteri:

• L'Occhio del Geometra (La Struttura): Immagina di prendere una proteina e trasformarla in un modello 3D fatto di palline e bastoncini (atomi). CLASP usa una tecnologia speciale (chiamata GNN E(3)-invariant) che capisce la forma della proteina indipendentemente da come la giri o la sposti. È come se riconoscesse un amico anche se lo vedi di spalle o se è sdraiato sul divano.
• L'Occhio del Linguista (La Sequenza): CLASP legge la "ricetta" chimica della proteina, ovvero la lunga catena di lettere (aminoacidi) che la compongono. Usa un modello linguistico esperto (ProtT5) che ha letto milioni di queste "ricette" per capire il contesto.
• L'Occhio del Critico (Il Testo): CLASP legge le descrizioni scritte dagli scienziati su cosa fa quella proteina (es. "aiuta a combattere le infezioni" o "trasporta ossigeno"). Usa un'intelligenza artificiale addestrata sulla biologia (BioGPT) per capire il significato profondo di queste parole.

2. Come impara? (La Festa delle Coppie)

Il segreto di CLASP è un gioco chiamato Apprendimento Contrastivo.

Immagina una grande festa dove ci sono tre gruppi di persone:

1. Chi porta le strutture 3D.
2. Chi porta le ricette scritte.
3. Chi porta le recensioni.

L'obiettivo di CLASP è far sì che, se una persona porta la struttura 3D di una proteina, trovi immediatamente la sua ricetta e la sua recensione corretta tra la folla.

• Se la struttura e la ricetta corrispondono allo stesso oggetto, CLASP le "abbraccia" (le avvicina nello spazio virtuale).
• Se non corrispondono (es. la struttura di un'auto e la ricetta di una torta), CLASP le allontana con forza.

Facendo questo gioco milioni di volte, CLASP impara a creare una mappa mentale unica dove tutto ciò che riguarda la stessa proteina (forma, ricetta e descrizione) finisce nello stesso punto, anche se arriva da fonti molto diverse.

3. Perché è così speciale?

Prima di CLASP, i modelli erano come persone che parlavano lingue diverse senza traduttore:

• Alcuni capivano solo la forma (ma non sapevano cosa faceva).
• Altri capivano solo le parole (ma non sapevano come fosse fatto l'oggetto).
• Altri ancora capivano solo la ricetta (ma non sapevano se fosse possibile costruirlo).

CLASP è il primo a unire tutto in un unico modello.

• Il test del "Zero-Shot": Se dai a CLASP una descrizione testuale mai vista prima (es. "un enzima che mangia la plastica") e gli chiedi di trovare la proteina giusta in un database di 35.000 candidati, lui ci riesce quasi sempre, mettendola al primo posto della classifica. È come se gli dessi una descrizione vaga di un animale e lui ti dicesse esattamente quale foto mostrare.
• Il test della famiglia: Se guardi le proteine raggruppate da CLASP, quelle della stessa "famiglia" (es. tutti gli enzimi che digeriscono il latte) si raggruppano insieme perfettamente, molto meglio rispetto ai metodi precedenti.

4. Cosa succede se togliamo un pezzo?

Gli scienziati hanno fatto un esperimento: hanno rimosso uno dei tre "occhi" (es. hanno tolto le descrizioni testuali o hanno usato un modello geometrico meno preciso).
Il risultato? Le prestazioni sono crollate. Questo dimostra che tutte e tre le informazioni sono necessarie. La struttura dà la forma, la sequenza dà la ricetta, e il testo dà il significato. Insieme, creano una comprensione completa che nessuna singola parte potrebbe dare da sola.

In Sintesi

CLASP è come un ponte universale che collega il mondo fisico delle proteine (la loro forma 3D), il mondo chimico (la loro sequenza) e il mondo delle idee (cosa fanno e come le descriviamo).

Questo permette ai ricercatori di:

• Trovare proteine utili per nuove medicine solo leggendo una descrizione.
• Capire meglio come funziona una proteina guardando la sua forma.
• Creare un "Google" per le proteine, dove puoi cercare con parole, immagini 3D o sequenze e ottenere risultati precisi.

In pratica, CLASP ci aiuta a leggere il "libro della vita" in tutte le sue lingue contemporaneamente.

Sommario tecnico

1. Il Problema

Le rappresentazioni attuali delle proteine si basano spesso su singoli modi di dati (modalità), come la sequenza di aminoacidi o la struttura tridimensionale (3D). Sebbene i modelli di linguaggio proteico (pLM) abbiano ottenuto grandi successi nell'analisi delle sequenze, e i metodi di apprendimento geometrico abbiano migliorato la comprensione delle strutture 3D, questi approcci spesso operano in isolamento.
Il problema centrale identificato dagli autori è la mancanza di un framework unificato che integri simultaneamente tre modalità critiche:

1. Sequenza: La stringa lineare di aminoacidi.
2. Struttura: La conformazione 3D atomica (dati PDB).
3. Testo: Le descrizioni biochimiche e funzionali curate (es. da UniProt, articoli scientifici).

Le descrizioni testuali contengono conoscenze semantiche di alto livello (ruoli cellulari, associazioni con malattie) che non sono direttamente inferibili dalla sola sequenza o struttura. Inoltre, la struttura 3D è spesso più conservata della sequenza e rivela omologie remote invisibili ai metodi basati solo su sequenza. Esistono modelli "bi-modali" (sequenza-testo o sequenza-struttura), ma pochi integrano esplicitamente la struttura 3D insieme al testo e alla sequenza in un'unica rappresentazione coerente.

2. Metodologia: CLASP

Gli autori introducono CLASP (Contrastive Language–Amino acid Sequence–Structure Pretraining), un framework di apprendimento rappresentazionale tri-modale unificato. L'architettura si basa su un obiettivo di apprendimento contrastivo ispirato a CLIP (Contrastive Language-Image Pre-training), esteso a tre dimensioni.

Componenti dell'Architettura:

1. Codificatore di Struttura (Structure Encoder):

   • Utilizza l'apprendimento profondo geometrico.
   • I file PDB vengono convertiti in grafi atomici utilizzando la libreria Graphein. I nodi rappresentano gli atomi (annotati con descrittori biochimici come idrofobicità, carica, ecc.) e gli spigoli rappresentano le distanze euclidee spaziali.
   • Viene impiegata una Rete Neurale a Grafo E(3)-invariante (EGNN). Questa architettura è fondamentale perché garantisce che le rappresentazioni apprese siano invarianti rispetto a rotazioni e traslazioni nello spazio 3D, catturando solo la geometria intrinseca della proteina.
   • Output: Embedding strutturale a 512 dimensioni.

2. Codificatori di Sequenza e Testo (Pre-computati e Fissi):

   • Sequenza: Vengono utilizzati gli embedding pre-calcolati di ProtT5 (un pLM basato su Transformer), che catturano informazioni contestuali ed evolutive dalle sequenze di aminoacidi.
   • Testo: Le descrizioni funzionali e i nomi delle proteine (da UniProt) vengono elaborati da BioGPT, un modello di linguaggio grande (LLM) specializzato in biomedicina, generando embedding testuali.
   • Entrambi gli encoder sono mantenuti "frozen" (non addestrati) durante l'addestramento di CLASP per ridurre il costo computazionale, ma vengono proiettati nello spazio condiviso.

3. Modulo di Allineamento (Alignment Module):

   • Gli embedding provenienti dalle tre modalità (Struttura, Sequenza, Testo) vengono passati attraverso strati di proiezione lineare specifici per modalità per mapparli in uno spazio di embedding condiviso (512 dimensioni).
   • Viene applicata una funzione di perdita contrastiva tri-modale. L'obiettivo è massimizzare la similarità (prodotto scalare) tra i tripletto corrispondenti (stessa proteina: Struttura + Sequenza + Testo) e minimizzarla per i tripletto non corrispondenti.
   • La funzione di perdita include tre termini di cross-entropy simmetrica (Struttura-Sequenza, Struttura-Testo, Sequenza-Testo) più un termine di regolarizzazione.

3. Contributi Chiave

• Primo Framework Tri-Modale Unificato: CLASP è il primo modello che allinea esplicitamente struttura 3D, sequenza e descrizione testuale in un unico spazio vettoriale, sfruttando la sinergia tra dati geometrici, sequenziali e semantici.
• Integrazione di EGNN e LLM: Combina l'invarianza geometrica delle EGNN con la potenza semantica dei moderni LLM (BioGPT) e pLM (ProtT5).
• Capacità Zero-Shot: Il modello è in grado di eseguire compiti di classificazione e recupero (retrieval) tra modalità diverse senza bisogno di addestramento specifico per il task (zero-shot).
• Validazione della Sinergia: Dimostra attraverso studi di ablazione che la rimozione di qualsiasi modalità degrada le prestazioni, confermando che le tre fonti di informazione sono complementari.

4. Risultati Sperimentali

Gli autori hanno valutato CLASP su diversi task di allineamento e recupero, confrontandolo con modelli state-of-the-art (come Progres, COLLAPSE, ProstT5, ProteinCLIP, ProtST).

• Allineamento Sequenza-Struttura: CLASP ha superato tutti i baseline, ottenendo un AUROC di 0.976 e un MCC di 0.841, superando di circa il 5-7% i modelli basati su CLIP che utilizzano encoder strutturali alternativi.
• Allineamento Descrizione-Struttura: Anche in questo task, CLASP ha mostrato prestazioni superiori (AUROC 0.858), dimostrando la capacità di collegare descrizioni testuali complesse alla struttura 3D.
• Recupero Sequenza da Testo: In un test di recupero su 35.911 candidati, CLASP ha posizionato la sequenza corretta nei primi percentili (media >98%) utilizzando descrizioni di tre stili diversi: curate (UniProt), letterarie (articoli) e scritte a mano (freehand). Questo dimostra una robustezza eccezionale alla variabilità linguistica.
• Clustering per Famiglia Proteica: Gli embedding di CLASP mostrano una separazione netta tra diverse famiglie proteiche (chinasi, GPCR, canali ionici, ecc.) quando valutati con metriche come Silhouette Score e Calinski-Harabasz Index, superando i modelli basati solo su struttura.
• Studi di Ablazione:
  • Sostituire l'EGNN con una GNN standard ha causato un calo significativo delle prestazioni (MCC -15 punti), sottolineando l'importanza dell'invarianza E(3).
  • L'uso di un obiettivo bi-modale (solo due modalità) ha portato a prestazioni inferiori rispetto all'approccio tri-modale completo.

5. Significato e Implicazioni

Il lavoro di CLASP stabilisce un nuovo standard per la rappresentazione delle proteine, dimostrando che l'integrazione di dati strutturali, sequenziali e testuali in un unico spazio latente porta a rappresentazioni più informative e biologicamente significative.

• Interpretabilità: Il modello crea uno spazio in cui le relazioni strutturali e funzionali sono allineate semanticamente, facilitando l'interpretazione delle funzioni proteiche.
• Applicazioni Pratiche: Le capacità di recupero zero-shot aprono la strada a motori di ricerca semantici per proteine, alla scoperta di farmaci (matching struttura-funzione) e all'annotazione automatica della letteratura scientifica.
• Generalizzazione: La capacità di gestire descrizioni testuali non strutturate (come quelle scritte a mano) suggerisce che il modello ha appreso relazioni causali profonde tra struttura, sequenza e funzione, andando oltre la semplice memorizzazione di pattern di addestramento.

In sintesi, CLASP non è solo un miglioramento incrementale, ma un cambio di paradigma verso modelli "agnostici rispetto alla modalità" che unificano la visione molecolare (struttura/sequenza) con la conoscenza biologica umana (testo), ponendo le basi per futuri modelli generativi e predittivi in biologia computazionale.