Sintesi Tecnica: ABOPD – Progettazione delle CDR anticorpali tramite Distillazione On-Policy

1. Definizione del Problema

La progettazione computazionale delle regioni determinanti la complementarità (CDR) degli anticorpi è una sfida critica nell'ingegneria proteica, poiché questi loop flessibili determinano il riconoscimento dell'antigene. Sebbene i recenti modelli generativi basati sulla diffusione abbiano fatto avanzare il campo, esiste un disallineamento fondamentale tra l'obiettivo di addestramento e il processo di inferenza:

• Distribuzione di Addestramento: Il denoising standard supervisiona i modelli su "stati derivati dal riferimento", ovvero strutture rumorose ottenute perturbando le CDR native (ground truth).
• Distribuzione di Inferenza: Durante la generazione, il modello produce ricorsivamente stati basati sulle proprie predizioni precedenti.
• Il Disallineamento: Man mano che la traiettoria di generazione procede, gli errori di predizione si accumulano, causando la visita da parte del modello di stati che deviano significativamente dalla distribuzione derivata dal riferimento utilizzata durante l'addestramento. Ciò è particolarmente dannoso per le CDR flessibili come la CDR-H3, dove piccole deviazioni del backbone possono propagarsi, portando a ingombri sterici e geometrie errate rivolte verso l'antigene.

Le attuali strategie di post-addestramento, come il Fine-Tuning Supervisionato (SFT) o la distillazione offline, continuano a operare sulla distribuzione derivata dal riferimento, fallendo nel correggere gli errori che sorgono specificamente lungo la propria traiettoria di generazione.

2. Metodologia: Framework ABOPD

Gli autori propongono ABOPD (framework di progettazione anticorpale basato su On-Policy Distillation), una strategia di post-addestramento progettata per allineare la supervisione strutturale con gli stati effettivamente incontrati durante la generazione ricorsiva. Il framework consiste in tre fasi principali:

A. Pre-addestramento Ibrido (H-DiffAb)

Per stabilire un'inizializzazione robusta, gli autori pre-addestrano un singolo modello, H-DiffAb, attraverso diversi scenari di masking: single-CDR, multi-CDR e target mask di tutte e sei le CDR. Questo modello funge da inizializzazione sia per lo studente che per l'insegnante (teacher), garantendo confronti equi.

B. Adattamento dell'Insegnante Consapevole del Backbone (Backbone-Aware Teacher Adaptation)

Un modello "Insegnante" viene derivato da H-DiffAb incorporando informazioni privilegiate disponibili solo durante l'addestramento: la geometria nativa dei residui target.

• Architettura: L'insegnante utilizza adattatori MLP residui leggeri per codificare le coordinate $C_\alpha$ native, le maschere di validità degli atomi (N, $C_\alpha$, C, O, $C_\beta$) e le caratteristiche di distanza target-complesso.
• Funzione: Questi descrittori privilegiati condizionano la predizione del denoising senza alterare la rappresentazione dello stato di diffusione. L'insegnante è ottimizzato su stati derivati dal riferimento per minimizzare gli errori di coordinata e orientamento, risultando in un modello con capacità di predizione geometrica superiore rispetto al modello base H-DiffAb.

C. Distillazione On-Policy (L'Innovazione Centrale)

Il modello "Studente" viene sottoposto a post-addestramento utilizzando un approccio a obiettivo misto:

1. Rollout dello Studente: Lo studente genera traiettorie di denoising inverso (rollout) partendo da stati completamente rumorosi.
2. Corrispondenza di Stato: In specifici istanti temporali ($t \in \{80, 70, \dots, 5\}$), l'Insegnante congelato valuta lo stesso stato generato dallo studente ($R^S_t$) che lo studente sta attualmente elaborando.
3. Distillazione della Transizione di Coordinata: Lo studente è addestrato per corrispondere alla predizione del rumore di coordinata dell'Insegnante ($\hat{\epsilon}^{pos}$) su questi stati di rollout. Questo è formulato come una minimizzazione della divergenza KL inversa, semplificata in una perdita $L_2$ sulle predizioni del rumore di coordinata:
   $$\mathcal{L}_{OPD}^{pos} = \mathbb{E} \left[ \sum_{t \in \mathcal{T}} \sum_{i \in \mathcal{G}} \| \hat{\epsilon}^{pos}_{S, t, i} - \hat{\epsilon}^{pos}_{T, t, i} \|^2_2 \right]$$
   Fondamentalmente, questa supervisione è applicata solo alle coordinate $C_\alpha$, poiché esse controllano direttamente la geometria del backbone e il posizionamento dei loop. Le predizioni di sequenza e orientamento non vengono distillate in questo passaggio per evitare l'overfitting sulle potenzialmente imperfette predizioni di sequenza dell'insegnante.
4. Ancora di Denoising Offline: Per preservare l'obiettivo congiunto sequenza-struttura-orientamento appreso durante il pre-addestramento, la perdita di denoising originale ($\mathcal{L}_{anchor}$) viene mantenuta su stati derivati dal riferimento campionati indipendentamente.
5. Obiettivo Finale: $\mathcal{L}_{ABOPD} = \mathcal{L}_{anchor} + \beta \mathcal{L}_{OPD}^{pos}$ (con $\beta=0.6$).

3. Contributi Chiave

1. Identificazione del Disallineamento della Distribuzione di Stato: Il documento evidenzia che il divario tra gli stati derivati dal riferimento e gli stati di rollout dello studente si amplia durante il processo di denoising, particolarmente nelle fasi successive di raffinamento dove le correzioni geometriche sono più critiche.
2. Framework ABOPD: La proposta di un metodo di distillazione on-policy che combina la distillazione della transizione delle coordinate $C_\alpha$ sugli stati di rollout dello studente con un'ancora di denoising offline.
3. Insegnante Consapevole del Backbone: La dimostrazione che un modello insegnante aumentato con la geometria nativa privilegiata fornisce target geometrici significativamente più accurati rispetto ai modelli standard, anche se la sua accuratezza di sequenza non è superiore.

4. Risultati Sperimentali

Il metodo è stato valutato su due benchmark: Ridisegno simultaneo multi-CDR (19 complessi SAbDab) e Generazione RAbD CDR-H3 (60 casi target).

• Performance RAbD CDR-H3: ABOPD ha ridotto la RMSD $C_\alpha$ da 2.37 Å a 1.95 Å (un miglioramento di 0.42 Å) rispetto al baseline H-DiffAb. Ha inoltre superato sia il controllo SFT che la distillazione offline.
• Ridisegno Multi-CDR: ABOPD ha migliorato la RMSD in tutte le sei CDR, con il guadagno più significativo su CDR-H3 (2.94 Å $\to$ 2.48 Å). Ha inoltre ridotto significativamente i tassi di clash intra-CDR e CDR-antigene (da 0.93% a 0.42% e da 1.58% a 0.67%, rispettivamente).
• Fedeltà Geometrica: Sono stati osservati miglioramenti in lDDT, TM-score e DockQ, indicando una migliore geometria locale, struttura della catena pesante globale e posizionamento dell'interfaccia.
• Analisi del Meccanismo: L'analisi a livello di timestep ha rivelato che il "vantaggio dell'Insegnante" (la riduzione dell'errore fornita dall'insegnante rispetto al modello base) diventa positivo solo negli istanti temporali successivi ($t \le 50$). Ciò conferma che la supervisione on-policy è più efficace nelle fasi finali del raffinamento geometrico, quando la traiettoria dello studente si è già allontanata dalla distribuzione di riferimento.
• Studi di Ablazione: La distillazione della sola branca delle coordinate ha prodotto i risultati migliori. L'aggiunta della distillazione di sequenza o orientamento non ha fornito ulteriori benefici e, in alcuni casi, ha degradato le prestazioni.

5. Significato e Rivendicazioni

Il documento afferma che ABOPD offre una via verso una progettazione proteica ad alta fedeltà affrontando i limiti specifici delle strategie di post-addestramento standard.

• Approccio Complementare: Gli autori posizionano ABOPD come una direzione complementare ai pre-addestramenti su larga scala e alle nuove architetture generative. Dimostra che un post-addestramento strutturale efficace non dipende solo dal segnale di supervisione, ma dall'applicazione di tale segnale agli stati corretti (ovvero, quelli visitati durante la generazione).
• Ambito Modesto: Gli autori dichiarano esplicitamente che il metodo migliora il recupero del backbone e l'accuratezza geometrica, ma non pretende necessariamente di risolvere tutti gli aspetti della progettazione anticorpale (ad esempio, i guadagni nel recupero della sequenza sono stati modesti). Il contributo primario è la validazione della distillazione on-policy per correggere gli errori geometrici accumulati nella generazione di anticorpi basata sulla diffusione.