Understanding protein function with a multimodal retrieval-augmented foundation model

Il paper presenta PoET-2, un modello fondazionale proteico multimodale e basato su recupero che, integrando vincoli evolutivi specifici per famiglia e condizionamento strutturale, raggiunge prestazioni all'avanguardia nella previsione degli effetti delle varianti e nell'apprendimento delle relazioni sequenza-funzione, specialmente con dataset ridotti.

L'essenziale

Immagina di voler capire come funziona una macchina complessa, come un'auto di Formula 1, ma non hai il manuale di istruzioni. Hai solo migliaia di foto di auto simili che hanno corso in passato e qualche schema approssimativo. Se guardi abbastanza foto, inizi a capire: "Ah, se metto questo tipo di motore, l'auto va veloce ma si surriscalda", oppure "Se cambio la forma del cofano, l'auto è più stabile".

Questo è esattamente ciò che fa PoET-2, il nuovo modello presentato in questo articolo, ma invece di auto, studia le proteine.

Ecco una spiegazione semplice di cosa hanno fatto gli autori, usando metafore quotidiane.

1. Il Problema: Le Proteine sono come Lingue Complesse

Le proteine sono le "macchine" della vita. Sono fatte di catene di mattoncini (aminoacidi) che si piegano in forme 3D per svolgere compiti specifici (come digerire il cibo o combattere i virus).
Per decenni, gli scienziati hanno provato a capire queste proteine usando modelli di intelligenza artificiale (chiamati PLM) che imparano a "parlare" la lingua degli aminoacidi.

Il problema con i vecchi modelli:

• Erano come traduttori che conoscono solo le parole singole: Se cambiavi una parola (un aminoacido), capivano cosa succedeva. Ma se cambiavi una frase intera (aggiungevi o toglievi pezzi della catena), si confondevano.
• Si basavano solo sulla memoria: Per essere bravi, dovevano essere enormi (con miliardi di parametri), come un dizionario infinito. Questo li rendeva lenti e costosi da usare.
• Non usavano il contesto: Se dovevi capire una parola nuova, non potevano guardare le frasi simili scritte da altri per capire il senso.

2. La Soluzione: PoET-2, il "Poliglotta con Memoria Esterna"

PoET-2 è un nuovo modello che risolve questi problemi unendo tre idee geniali. Immaginalo come un architetto esperto che sta progettando un nuovo edificio.

A. L'Architetto ha una "Biblioteca Vivente" (Ricerca e Contesto)

Invece di dover memorizzare ogni singolo dettaglio nel suo cervello, PoET-2 ha una biblioteca esterna.

• L'analogia: Se devi progettare un ponte, non devi inventare tutto da zero. Chiami a raccolta 10 ingegneri esperti che hanno già costruito ponti simili (le "proteine familiari") e chiedi loro: "Come avete fatto voi?".
• Il vantaggio: PoET-2 guarda le proteine simili (omologhe) che gli fornisci e impara le regole specifiche di quel gruppo. Non serve un cervello gigante (il modello è piccolo, solo 182 milioni di parametri), perché usa l'intelligenza del contesto. È come avere un assistente che ti dice: "Ehi, per questo tipo di proteina, di solito si usa questo pezzo qui".

B. Guarda sia il "Disegno" che la "Lista della Spesa" (Multimodalità)

Le proteine hanno due aspetti: la sequenza di aminoacidi (la lista della spesa) e la forma 3D (il disegno dell'edificio).

• L'analogia: Molti modelli guardavano solo la lista della spesa. PoET-2 guarda entrambi. Se gli dai la lista degli ingredienti e una foto della struttura 3D (o una parte di essa), può capire meglio come l'edificio deve stare in piedi.
• Il risultato: Può prevedere meglio se una modifica rovinerà la stabilità della proteina, proprio come un architetto sa che togliere un pilastro fa crollare il tetto.

C. Due Cervelli in Uno (Doppia Architettura)

PoET-2 ha due "modi di pensare" che lavorano insieme:

1. Il Creativo (Generativo): È bravo a scrivere nuove sequenze da zero, come un poeta che compone una nuova poesia basandosi su stili precedenti. È utile per inventare nuove proteine.
2. L'Analista (Bidirezionale): È bravo a leggere e capire il significato profondo di una sequenza esistente, guardando sia prima che dopo ogni parola. È utile per capire se una mutazione è pericolosa o utile.

3. Cosa ha ottenuto? (I Risultati)

Grazie a questo approccio, PoET-2 ha fatto cose che i vecchi modelli non potevano fare:

• Capisce i "buchi" e gli "extra": I vecchi modelli si bloccavano se cambiavi la lunghezza della proteina (aggiungendo o togliendo aminoacidi, come tagliare o allungare una corda). PoET-2 gestisce queste modifiche con facilità.
• È un medico esperto: Nel testare mutazioni che causano malattie (come nel cancro), PoET-2 è diventato il migliore al mondo nel distinguere le mutazioni "cattive" da quelle "innocue".
• Impara velocemente (Few-Shot): Se hai pochi dati sperimentali (come avere solo 10 ricette per un nuovo piatto), PoET-2 impara molto più velocemente degli altri modelli, perché sa come usare il contesto delle proteine simili per colmare i buchi.

In Sintesi

PoET-2 è come un esperto di proteine che non deve studiare a memoria tutto l'universo, ma sa come cercare informazioni intelligenti tra i suoi colleghi esperti (le proteine simili) e come combinare la teoria (la sequenza) con la pratica (la forma 3D).

È più piccolo, più veloce e più intelligente dei suoi predecessori, aprendo la strada a:

• Progettare nuovi farmaci più rapidamente.
• Creare enzimi per pulire l'ambiente.
• Capire meglio le malattie genetiche.

In sostanza, PoET-2 ci sta dando un "manuale di istruzioni" molto più chiaro per leggere e riscrivere il codice della vita.

Sommario tecnico

1. Il Problema

I modelli linguistici per le proteine (PLM) hanno dimostrato di apprendere distribuzioni di probabilità su sequenze proteiche naturali, migliorando la previsione della struttura e la comprensione delle mutazioni. Tuttavia, la ricerca attuale affronta diverse sfide critiche:

• Limitazioni nelle mutazioni complesse: La maggior parte dei PLM esistenti si basa su approcci di masked language modeling (MLM) limitati alla previsione di singole sostituzioni. Questi modelli faticano a prevedere l'effetto di inserzioni/delezioni (indel) e di mutazioni di ordine superiore (effetti epistatici).
• Efficienza dei dati e generalizzazione: Sebbene i modelli su larga scala migliorino la previsione strutturale, non sembrano migliorare la modellazione della "fitness" (idoneità funzionale) o la previsione della funzione, specialmente in scenari supervisionati con dati limitati (few-shot).
• Costo e scalabilità: L'aumento della capacità del modello (miliardi di parametri) spesso porta a un memorizzazione dei dati piuttosto che a una vera generalizzazione, rendendo i modelli costosi da addestrare e distribuire.
• Integrazione multimodale: Le strategie recenti integrano o la struttura o il retrieval (recupero di informazioni), ma raramente entrambe in modo efficace.

2. Metodologia: PoET-2

Gli autori introducono PoET-2, un modello fondazionale per le proteine multimodale e potenziato dal retrieval (retrieval-augmented). L'architettura combina tre idee chiave:

A. Multimodalità

PoET-2 ragiona simultaneamente su sequenza e struttura. Può condizionare la generazione di nuove sequenze sia su omologhi sequenziali che strutturali, permettendo anche la generazione di sequenze basata su strutture scheletriche (backbone) parzialmente osservate (inverse folding).

B. Retrieval-Augmentation (Apprendimento in contesto)

Invece di affidarsi esclusivamente a miliardi di parametri per memorizzare le relazioni evolutive, PoET-2 utilizza un meccanismo di retrieval che permette l'apprendimento in contesto (in-context learning).

• Prompting: L'utente fornisce un "prompt" contenente un contesto (un insieme di proteine omologhe) e opzionalmente una "query" (una proteina parzialmente specificata con vincoli di sequenza o struttura).
• Architettura Gerarchica: Utilizza un encoder Transformer gerarchico che è equivariante rispetto all'ordine delle proteine nel contesto. Questo significa che l'ordine in cui le proteine omologhe vengono presentate non influenza l'output, eliminando la necessità di modelli enormi per catturare segnali evolutivi ampi.

C. Obiettivi di Addestramento Duali

PoET-2 impiega due decoder distinti per compiti complementari:

1. Decoder Autoregressivo (CLM - Causal Language Modeling): Addestrato per la generazione di sequenze e il calcolo della probabilità congiunta $P(sequenza|prompt)$. È fondamentale per la previsione zero-shot di varianti complesse (inclusi indel) e per il punteggio di fitness.
2. Decoder Bidirezionale (MLM - Masked Language Modeling): Addestrato per la comprensione bidirezionale e la creazione di embedding (rappresentazioni). Produce embedding ricchi e consapevoli del contesto, essenziali per compiti di previsione della funzione e della struttura.

Input e Architettura:

• Input: Sequenze di aminoacidi, coordinate dello scheletro (N, Cα, C) e punteggi di confidenza strutturale (pLDDT).
• Attenzione Basata sulla Struttura: Introduce un bias nell'attenzione basato sulle distanze tra atomi Cα, permettendo al modello di considerare la prossimità 3D piuttosto che solo la posizione lineare nella sequenza.
• Parametri: Il modello è compatto, con soli 182 milioni di parametri, rendendolo efficiente per l'inferenza.

3. Contributi Chiave

1. Nuovo Paradigma di Modellazione: Integrazione di retrieval-augmentation e multimodalità (sequenza + struttura) in un unico modello fondazionale per le proteine.
2. Superamento delle Limitazioni degli Indel: Capacità di prevedere l'effetto di mutazioni che cambiano la lunghezza della sequenza (indel) e mutazioni multiple, un compito dove i PLM basati su MLM falliscono.
3. Efficienza dei Dati: Dimostrazione che un modello più piccolo (182M parametri) con un'architettura intelligente supera modelli molto più grandi in scenari di apprendimento supervisionato con pochi dati.
4. Architettura Equivariante: Un design che garantisce l'invarianza rispetto all'ordine degli input, migliorando la robustezza e riducendo la complessità parametrica necessaria per l'apprendimento evolutivo.

4. Risultati Sperimentali

Il modello è stato valutato sul benchmark ProteinGym, che include dataset di Deep Mutational Scanning (DMS) e dati clinici.

• Previsione Zero-Shot (Senza addestramento sui dati specifici):

  • Indel e Mutazioni Multiple: PoET-2 stabilisce un nuovo stato dell'arte (SOTA), superando i modelli precedenti (come PoET-1 e VenusREM) di circa il 20% nella previsione di indel e migliorando significativamente la previsione di mutazioni di ordine superiore (3+ mutazioni).
  • Varianti Cliniche: Migliora l'AUROC nella distinzione tra mutazioni patogene e benigne sia per sostituzioni che per indel.
  • Ensemble: La combinazione di PoET-2 con VenusREM supera tutti i metodi esistenti su tutti i benchmark DMS.

• Apprendimento Supervisionato (Few-Shot):

  • Utilizzando gli embedding di PoET-2 in un modello di Regressione Gaussian Process (GP), il modello supera lo stato dell'arte precedente (Kermut) in tutte le configurazioni di validazione incrociata (Random, Modulo, Contiguous).
  • Efficienza dei Dati: PoET-2 dimostra una straordinaria efficienza. Un modello GP basato su PoET-2 addestrato con al massimo 100 punti dati raggiunge le prestazioni di modelli basati su altri fondamenti (come ESM C) addestrati con set di dati massimi (~2600 punti).

• Impatto della Struttura:

  • Il condizionamento strutturale migliora notevolmente la previsione zero-shot, specialmente per la stabilità termodinamica.
  • Tuttavia, ha un impatto limitato o nullo sulla previsione supervisionata della funzione, suggerendo che gli embedding appresi dal modello catturano già implicitamente le informazioni strutturali critiche.

5. Significato e Implicazioni

PoET-2 rappresenta un passo avanti significativo nell'informatica biologica per diversi motivi:

• Accessibilità: Con soli 182 milioni di parametri, è molto più leggero e veloce da eseguire rispetto ai giganti da miliardi di parametri, rendendo l'ingegneria proteica avanzata accessibile con risorse computazionali minime.
• Versatilità: La capacità di gestire indel e mutazioni multiple apre nuove strade per la progettazione di proteine che richiedono modifiche strutturali complesse, non solo sostituzioni puntuali.
• Paradigma di Efficienza: Dimostra che l'integrazione intelligente di dati esterni (retrieval) e multimodalità è più efficace della semplice scalatura dei parametri per la comprensione della funzione proteica.
• Applicazioni Pratiche: Il modello è pronto per essere integrato nei flussi di lavoro di progettazione di enzimi, farmaci e proteine terapeutiche, accelerando la scoperta scientifica riducendo la dipendenza da grandi quantità di dati sperimentali.

In sintesi, PoET-2 combina l'apprendimento contestuale, la multimodalità e un'architettura efficiente per superare i limiti attuali dei modelli linguistici proteici, offrendo prestazioni superiori sia nella previsione zero-shot che nell'apprendimento supervisionato con pochi dati.