EvoStruct: Bridging Evolutionary and Structural Priors for Antibody CDR Design via Protein Language Model Adaptation

Riepilogo Tecnico: EvoStruct

Problema: Collasso del Vocabolario nella Progettazione di CDR Basata su GNN
I metodi all'avanguardia attuali per la progettazione delle Regioni Determinanti la Complementarità (CDR) degli anticorpi si affidano pesantemente alle Reti Neurali a Grafo Equivarianti (GNN). Sebbene questi metodi raggiungano alti tassi di recupero della sequenza, soffrono di una modalità di fallimento critica denominata "collasso del vocabolario". In questo fenomeno, i modelli addestrati su dati strutturali limitati (circa 3.000 complessi anticorpo-antigene) non riescono ad apprendere l'intera distribuzione degli amminoacidi. Invece, sovrastimano un sottoinsieme ristretto di residui—specificamente tirosina e glicina—ignorando al contempo residui funzionalmente critici ma rari come triptofano, cisteina e metionina.

Questo collasso si verifica perché gli encoder GNN tentano di apprendere i modelli di sostituzione amminoacidica de novo da set di addestramento strutturale sparsi, scartando i ricchi modelli di sostituzione evolutiva codificati in database contenenti centinaia di milioni di sequenze proteiche. Di conseguenza, questi modelli presentano:

1. Ridotta Diversità: Il vocabolario efficace ($V_{eff}$) scende da un valore nativo di ~15,5 a 3,0–5,5.
2. Scarsa Apprendimento delle Coppie di Legame: I modelli non riescono a catturare le correlazioni specifiche tra le coppie di amminoacidi del paratopo (anticorpo) e dell'epitopo (antigene).
3. Debolezza nelle Posizioni di Contatto: Il recupero della sequenza è significativamente inferiore nelle posizioni di contatto con l'antigene rispetto alle posizioni non di contatto, indicando un fallimento nell'apprendere la fisica del legame specifica per l'antigene.

Metodologia: Colmare i Priori Evolutivi e Strutturali
Per risolvere questi problemi, gli autori propongono EvoStruct, un framework che collega un Modello Linguistico Proteico (PLM) congelato al contesto strutturale 3D tramite un adattatore a cross-attenzione. L'architettura opera su due percorsi paralleli:

1. Percorso Evolutivo (Backbone PLM): Il modello utilizza un ESM-2 congelato (650 milioni di parametri) per generare embedding per la catena pesante dell'anticorpo. Mascherando le posizioni CDR durante l'inferenza, ESM-2 fornisce priori evolutivi di alta qualità e un vocabolario amminoacidico calibrato derivato dal suo addestramento su oltre 250 milioni di sequenze.
2. Percorso Strutturale (Encoder GNN): Un GNN equivariante E(3) consapevole delle relazioni codifica il grafo completo del complesso 3D anticorpo-antigene. Cattura la geometria spaziale, le interazioni tra residui e la prossimità all'epitopo. Per gestire la memoria, il GNN ritaglia il contesto antigenico ai $K_{ag}$ residui più vicini alla CDR.
3. Mini Adattatore Strutturale: Questa è l'innovazione centrale. Esso esegue un'attenzione incrociata dove:
   • Query ($Q$): Derivate dagli embedding CDR di ESM-2 (priori evolutivi).
   • Chiavi ($K$) e Valori ($V$): Derivate dal contesto strutturale codificato dal GNN (CDR + residui antigenici ritagliati).
   • L'adattatore proietta questi elementi in uno spazio condiviso, permettendo alla rappresentazione evolutiva di interrogare "in quale ambiente strutturale mi trovo?" e ricevere la risposta strutturale del GNN. L'output viene proiettato nuovamente nello spazio degli embedding di ESM-2.
4. Testina di Sequenza: Le previsioni finali sono generate da una testina di sequenza che opera interamente nello spazio degli embedding del PLM, preservando la calibrazione del vocabolario di ESM-2.

Strategia di Addestramento
EvoStruct impiega un regime di addestramento specifico per prevenire l'oblio catastrofico dei priori evolutivi mentre si adatta ai compiti strutturali:

• Scongelamento Progressivo: Seguendo Howard & Ruder (2018), il backbone ESM-2 è inizialmente congelato mentre l'adattatore e il GNN vengono addestrati. Le fasi successive scongelano progressivamente i livelli superiori del transformer e infine affinano tutti i parametri.
• Regolarizzazione di Coerenza R-Drop: Per garantire robustezza rispetto alle variazioni di dropout, il modello esegue due passaggi in avanti con maschere di dropout diverse e penalizza l'incoerenza tra le perdite di sequenza risultanti.
• Perdita Multi-Task: L'obiettivo combina la cross-entropia della sequenza, la perdita di coordinate (Huber), la perdita contrastiva di accoppiamento (InfoNCE), la perdita di docking e la perdita del paratopo ombra (supervisione della distanza pairwise).

Contributi Chiave

1. Diagnosi Quantitativa: Il documento fornisce un'analisi sistematica del collasso del vocabolario nella progettazione di CDR utilizzando il vocabolario efficace ($V_{eff}$) e le metriche di correlazione delle coppie di legame, rivelando che i metodi GNN recuperano solo il 20–35% della diversità amminoacidica nativa.
2. Adattamento Innovativo: Adatta il paradigma di collegamento PLM-struttura specificamente per la progettazione di CDR, introducendo lo scongelamento progressivo e la regolarizzazione R-Drop per affrontare il compromesso unico tra diversità e accuratezza in questo dominio.
3. Validazione Empirica: Lo studio dimostra che la calibrazione del vocabolario del PLM può essere trasferita con successo alla progettazione di CDR, rompendo il compromesso tradizionale in cui l'alta accuratezza solitamente comporta una bassa diversità.

Risultati
Valutato sul benchmark CHIMERA-BENCH contro 11 baseline (inclusi GNN, modelli di diffusione e metodi autoregressivi), EvoStruct ha raggiunto:

• Maggiore Recupero della Sequenza: 0,43 di Recupero Amminoacidico (AAR), un miglioramento relativo del 16% rispetto alle migliori baseline GNN (0,37).
• Minima Perplexity: 1,88 (una riduzione del 43% rispetto a RAAD), indicando previsioni più confidenti e calibrate.
• Diversità Ripristinata: Ha raggiunto un vocabolario efficace ($V_{eff}$) di 12,4, recuperando l'80% della diversità nativa, rispetto a 4,7–5,3 per le baseline GNN. Ha generato una diversità amminoacidica 2,3 volte maggiore.
• Correlazione di Legame Migliorata: Ha raggiunto la massima correlazione delle coppie paratopo-epitopo ($r=0,73$) e la massima correlazione di arricchimento dell'interfaccia ($r=0,81$), suggerendo un instradamento riuscito delle informazioni antigeniche alla testina di sequenza.
• Qualità Strutturale: Ha prodotto scheletri CDR con un RMSD di 1,84 Å, comparabile ai migliori metodi GNN.

Significato e Limitazioni
Il documento afferma che EvoStruct risolve il fallimento sistematico dei GNN nel sfruttare i priori evolutivi, dimostrando che collegare PLM congelati con encoder strutturali è una strategia efficace per la progettazione di anticorpi. Stabilisce che la calibrazione del vocabolario di modelli come ESM-2 è trasferibile alla progettazione di CDR, permettendo ai modelli di raggiungere simultaneamente alta accuratezza e alta diversità.

Tuttavia, gli autori sono modesti riguardo alle metriche di legame. Sebbene EvoStruct sia leader nella qualità della sequenza, non raggiunge le metriche di interfaccia di legame più alte (ad esempio, $fnat$ e DockQ); notevolmente, RefineGNN (che non condiziona sull'antigene) ha ottenuto punteggi di legame leggermente superiori. Gli autori attribuiscono ciò al fatto che l'adattatore a cross-attenzione non sfrutta appieno le informazioni strutturali dell'antigene per la previsione dell'interfaccia e notano che il recupero delle posizioni di contatto rimane una sfida per tutti i metodi. Suggeriscono che il lavoro futuro dovrebbe esplorare architetture di adattatori più ricche e obiettivi alternativi per migliorare ulteriormente le previsioni di legame specifiche per l'antigene.