Riassunto Tecnico: LOGICA (Logit-space Contrastive Alignment)

Definizione del Problema

I modelli linguistici biologici pre-addestrati (BioFMs) forniscono distribuzioni di probabilità dei token normalizzate, essenziali per la progettazione di sequenze, la valutazione delle varianti e l'interpretazione meccanicistica. Tuttavia, queste distribuzioni sono apprese da corpora non etichettati molto ampi e mancano di un condizionamento su specifici contesti biologici, come partner di interazione (ad esempio, ligandi, peptidi), ambienti cellulari o interventi terapeutici.

I metodi esistenti per il matching contestuale rientrano generalmente in due categorie, entrambe le quali compromettono l'utilità nativa dei BioFM:

1. Approcci nello spazio latente: Questi metodi scartano l'interfaccia a livello di token, apprendendo punteggi di compatibilità scalari da embedding aggregati o spazi latenti contrastivi. Sebbene efficaci per il recupero (retrieval), essi perdono le probabilità specifiche per posizione necessarie per l'analisi locale delle mutazioni e la generazione basata sulla verosimiglianza (likelihood).
2. Modellazione Linguistica Mascherata Condizionale (Conditional MLM): Questi metodi preservano l'interfaccia del token attraverso il fine-tuning con obiettivi condizionali. Tuttavia, le perdite di ricostruzione standard incoraggiano il recupero del token ma non riescono a separare esplicitamente i contesti accoppiati (compatibili) da quelli non accoppiati (incompatibili), in particolare quando i dati biologici accoppiati sono sparsi o rumorosi.

La sfida centrale è allineare diverse modalità biologiche (ad esempio, proteina e farmaco, TCR e peptide) attraverso vocabolari differenti senza distruggere l'interfaccia probabilistica nativa a livello di token che rende utili questi modelli per il ranking locale delle varianti e la generazione.

Metodologia: LOGICA

Gli autori introducono LOGICA (Logit-space Contrastive Alignment), un framework che esegue l'apprendimento contrastivo direttamente nello spazio dei logit di output dei modelli pre-addestrati, piuttosto che in uno spazio di embedding latente condiviso.

Architettura Core

• Adapter che Preservano la Testata Nativa (Native-Head-Preserving Adapters): LOGICA accoppia due modelli linguistici biologici pre-addestrati (ad esempio, ESM-2 per le proteine, SELFormer per i ligandi) utilizzando adapter cross-modali a porta (gated). Questi adapter iniettano informazioni contestuali negli stati nascosti di ciascun modello, ma sono progettati per restituire aggiornamenti che rimangano compatibili con la testata del token nativa di ciascun modello.
• Scoring nello Spazio dei Logit: Invece di aggregare gli stati nascosti, LOGICA utilizza i log-likelihood dei token contestualizzati come punteggi di compatibilità. Per una sequenza $x$ e un contesto $y$, il punteggio è definito come la media dei log-likelihood condizionali per sito:
  $$s_{\text{LOGICA}}(x, y; A) = \frac{1}{|A|} \sum_{i \in A} \log \pi_\theta(x_i | x_{\setminus i}, y)$$
  dove $A$ è l'insieme delle posizioni valutate (ad esempio, siti di mutazione).
• Allineamento Bidirezionale: Il framework supporta lo scoring bidirezionale, combinando le verosimiglianze da entrambe le direzioni ($x|y$ e $y|x$) tramite una miscela convessa appresa per gestire le differenze nella lunghezza della sequenza e nell'entropia del vocabolario.
• Addestramento Contrastivo: Il modello è addestrato utilizzando un obiettivo di tipo InfoNCE (o perdita di Bradley-Terry per coppie) dove i "positivi" sono coppie biologiche corrispondenti e i "negativi" sono costruiti mantenendo fissa una modalità e corrompendo l'altra (ad esempio, tramite mutazioni puntiformi casuali o scambio di partner).

Vantaggio Teorico: Cancellazione Locale della Mutazione

Un contributo teorico chiave è la proprietà di cancellazione locale della mutazione. Quando si confrontano due varianti ($x_A, x_B$) della stessa sequenza wild-type ($x_{wt}$) sotto lo stesso contesto, e condividono lo stesso insieme di posizioni mutate $M$, i termini ancora della wild-type nella ragione di verosimiglianza si cancellano esattamente:
$$s_M(x_A, y; x_{wt}) - s_M(x_B, y; x_{wt}) = \frac{1}{|M|} \sum_{i \in M} \left( \log \pi_\theta(x^A_i | \dots) - \log \pi_\theta(x^B_i | \dots) \right)$$
Ciò riduce l'obiettivo di ranking a un confronto diretto delle verosimiglianze dei token mutati condizionati dal contesto ai siti perturbati. Questa riduzione esatta non è generalmente disponibile nei modelli a spazio latente, che confrontano rappresentazioni globali della sequenza dove i termini condivisi non si cancellano algebricamente.

Contributi Chiave

1. Allineamento Contrastivo nello Spazio dei Logit: Un nuovo framework che allinea diverse modalità direttamente nello spazio dei logit di output, preservando l'interfaccia nativa della probabilità del token dei modelli pre-addestrati.
2. Adapter Cross-Modali a Porta (Gated): Un meccanismo che contestualizza gli encoder pre-addestrati senza sostituire le loro teste native, consentendo l'uso di dati accoppiati sparsi attraverso diversi vocabolari senza un tokenizer o un decoder condiviso.
3. Ranking delle Varianti Locale alla Mutazione: Una dimostrazione che la preservazione dell'interfaccia a livello di token permette l'esatta cancellazione dei termini wild-type, consentendo un ranking preciso delle varianti basato esclusivamente sulla verosimiglianza dei token mutati in presenza di un contesto biologico.
4. Interpretabilità e Generazione: Mantenendo la testata del token nativa, LOGICA supporta la mappatura delle dipendenze a livello di token (identificando quali residui del contesto influenzano specifiche posizioni della sequenza) e la generazione condizionata dal contesto tramite campionamento di Gibbs.

Risultati Sperimentali

Gli autori hanno valutato LOGICA su tre distinti compiti biologici:

1. Legame Proteina-Ligando e Resistenza

• Setup: Accoppiamento di ESM-2 (proteina) e SELFormer (ligando) su dati BindingDB.
• Performance: LOGICA ha superato i baseline di contrasto latente (LatentCA) e i baseline di MLM condizionale (LOGIMLM) su standard benchmark di interazione farmaco-target (DAVIS, BindingDB, BioSNAP).
• Resistenza ai Farmaci: Nel ranking delle varianti condizionate dal farmaco (predizione delle mutazioni di resistenza per oncogeni come KRAS, BRAF, EGFR), LOGICA ha migliorato significativamente l'AUC (da ~0.55 per i baseline latenti a ~0.65) e la correlazione di Spearman. I metodi a spazio latente non sono riusciti a migliorare rispetto al caso casuale nonostante il fine-tuning, evidenziando la necessità dell'interfaccia di verosimiglianza locale al token.
• Scalabilità: Le prestazioni sono scalate con la dimensione del backbone (fino a 650M di parametri) e hanno mostrato robustezza in regimi few-shot (10–15% di dati etichettati).

2. Riconoscimento TCR–Peptide

• Setup: Accoppiamento di TCRLang (TCR) ed ESM-2 (peptide) su dati IEDB.
• Ranking Zero-Shot: LOGICA ha raggiunto prestazioni state-of-the-art zero-shot nel ranking di varianti di peptide e TCR contro dati sperimentali di deep mutational scanning (DMS) (ePytope, BATCAVE, ATLAS).
• Confronto: Ha superato significativamente i baseline di contrasto latente e di classificazione. Notevolmente, mentre il MLM condizionale (LOGIMLM) performava vicino al caso casuale, l'allineamento contrastivo di LOGICA separava efficacemente i vicini funzionali da le coppie interrotte.
• Mappatura delle Dipendenze: Il modello ha identificato con successo le dipendenze tra residui cross-modali che si sovrapponevano ai contatti strutturali (AUC ~0.74 per i contatti peptide–CDR3$\beta$), dimostrando che i logit appresi codificano segnali strutturali biologicamente significativi.

3. Caso di Studio: Ottimizzazione dei Peptidi

• In un caso di studio per l'ottimizzazione del peptide NLVPMVATV per il riconoscimento del TCR, LOGICA ha classificato altamente le varianti che aumentano l'attività validata sperimentalmente (ad esempio, L2I, L2V) (3ª e 8ª su 171), dimostrando la sua utilità per il design generativo.

Significato e Rivendicazioni

Il paper sostiene che LOGICA offre un'alternativa rigorosa all'allineamento dello spazio latente per i modelli linguistici biologici di base. Il suo significato primario risiede nel preservare la semantica probabilistica dei modelli pre-addestrati pur rendendoli sensibili al contesto.

• Modularità: Il framework permette al contesto biologico esterno di rimodellare le probabilità dei token senza sostituire il vocabolario o l'architettura appresa dal modello, rendendolo applicabile a diversi backbone (proteine, recettori immunitari, piccole molecole, DNA/RNA).
• Locale vs Globale: Gli autori sottolineano che molte domande biologiche sono intrinsecamente locali al token (ad esempio, come un ligando cambi la plausibilità di una specifica sostituzione di un residuo). LOGICA affronta questo problema mantenendo lo scoring nello spazio di output dove risiedono queste semantiche locali, mentre i metodi latenti diluiscono tale segnale in embedding globali.
• Compromesso (Trade-off): Il paper riconosce con modestia che LOGICA è meno efficiente dal punto di vista computazionale rispetto ai modelli dual-encoder per il recupero su scala massiva (richiede valutazioni specifiche per coppia $O(NM)$ rispetto a $O(N+M)$ per i dual-encoder). Di conseguenza, è posizionato come un modello di reranking, valutazione delle varianti o di interazione generativa, piuttosto che come un motore di recupero di primo stadio.

In sintesi, LOGICA dimostra che la supervisione contrastiva può essere applicata efficacemente a dati biologici cross-modali sparsi allineando i modelli nello spazio dei logit, mantenendo così la capacità interpretativa e generativa dei modelli linguistici pre-addestrati originali.