Residue-Level Attributions in Protein Language Models Do Not Recover Allergen Epitopes

Sintesi Tecnica: Le attribuzioni a livello di residuo nei modelli linguistici proteici non recuperano gli epitopi allergenici

Problema
I modelli di deep learning, in particolare i modelli linguistici proteici (PLM), hanno migliorato significativamente l'accuratezza della predizione dell'allergenicità a livello di proteina, agevolando lo screening della sicurezza di nuovi alimenti. Tuttavia, rimane una lacuna critica nel comprendere se le spiegazioni generate da questi modelli (attribuzioni a livello di residuo) catturino informazioni biologicamente significative. Nello specifico, non è chiaro se gli alti punteggi di attribuzione corrispondano a siti di riconoscimento immunitario sperimentalmente validati (epitopi). Sebbene i modelli producano spesso heatmap che qualitativamente sembrano allinearsi con motivi noti, il loro allineamento quantitativo con gli epitopi reali è sconosciuto. Il documento distingue tra fedeltà del modello (se una spiegazione evidenzia i residui che influenzano causalmente l'output del modello) e fedeltà immunologica (se tali residui si allineano con i siti di riconoscimento immunitario osservati sperimentalmente).

Metodologia
Gli autori hanno costruito un benchmark basato sugli epitopi per valutare quantitativamente i segnali di attribuzione a livello di residuo dei classificatori di allergenicità.

• Curatela dei Dati: È stato curato un dataset dall'Immune Epitope Database (IEDB), concentrandosi su epitopi MHC di classe II (sia B-cell che T-cell) associati ad allergie e sperimentalmente validati. Le sequenze positive sono state mappate sulle proteine parentali a lunghezza intera da UniProt e NCBI. Le sequenze negative sono state tratte da voci UniProtKB/Swiss-Prot revisionate, escludendo proteine virali/umane e allergeni. Il dataset è stato suddiviso in set di addestramento e di valutazione utilizzando il clustering consapevole dell'omologia per prevenire la fuga di dati (data leakage).
• Modelli Valutati: Sono stati testati tre classificatori:
  1. ESM-2 Frozen: Un PLM standard con un backbone congelato e una testa di classificazione addestrata.
  2. MTL ESM-2: Una variante di multi-task learning che condivide il backbone congelato di ESM-2 ma aggiunge una testa ausiliaria di predizione degli epitopi a livello di residuo per testare se la supervisione esplicita degli epitopi migliori l'allineamento.
  3. DeepPlantAllergy: Un'architettura pubblicata, riaddestrata sul dataset curato per un confronto controllato.
• Metodi di Attribuzione: Lo studio ha valutato Integrated Gradients (IG), occlusion, pesi di attenzione, Gradient×Input e la testa ausiliaria del residuo MTL.
• Metriche di Valutazione: Le prestazioni a livello di residuo sono state valutate utilizzando AUROC, AUPRC e Precision@k, confrontando i punteggi di attribuzione con maschere binarie di epitopi annotati. Sono stati generati baseline casuali per stabilire la significatività statistica.
• Validazione Funzionale:
  • Mascheramento (Masking): Per testare la fedeltà del modello, i residui classificati da IG sono stati mascherati per misurare la diminuzione dell'allergenicità predetta.
  • Mutagenesi per Saturazione: Sono state eseguite sostituzioni sistematiche di singoli residui per determinare se la sensibilità del modello fosse guidata da specifiche identità di epitopi o da proprietà fisico-chimiche più ampie.

Risultati Chiave

1. Classificazione Forte, Attribuzione Debole: Tutti e tre i modelli hanno raggiunto elevate prestazioni di classificazione a livello di proteina (AUROC > 0,96). Tuttavia, nessuno dei segnali di attribuzione a livello di residuo (IG, occlusion, ecc.) ha superato significativamente i baseline casuali nell'allinearsi con gli epitopi annotati in termini di AUROC, AUPRC o Precision@k. Diversi segnali hanno performato significativamente peggio del caso casuale.
2. Fallimento del Multi-Task Learning: Il modello MTL ESM-2, che includeva una testa ausiliaria addestrata direttamente sulle maschere degli epitopi, non è riuscito a migliorare l'allineamento delle attribuzioni della testa di classificazione primaria con gli epitopi. Ciò suggerisce che la classificazione dell'allergenicità a livello di proteina può essere raggiunta senza fare affidamento su caratteristiche localizzate degli epitopi.
3. Dissociazione della Fedeltà:
   • Fedeltà del Modello: È stato scoperto che Integrated Gradients sono fedeli al modello. Il mascheramento dei residui identificati da IG ha ridotto significativamente l'allergenicità predetta dal modello più del mascheramento casuale, confermando che IG identifica i residui causalmente importanti per la decisione del modello.
   • Disallineamento Immunologico: Nonostante siano fedeli al modello, questi residui non si sovrappongono agli epitopi annotati.
4. Specificità Fisico-Chimica vs. Epitopo: La mutagenesi per saturazione ha rivelato che i modelli erano sensibili a caratteristiche fisico-chimiche e composizionali globali (es. carica, idrofobicità, aromaticità) piuttosto che a specifiche sequenze di epitopi. Gli effetti della mutagenesi erano spesso maggiori al di fuori delle regioni degli epitopi annotati rispetto all'interno di esse.

Contributi

1. Benchmark Basato sugli Epitopi: Gli autori forniscono un benchmark quantitativo utilizzando AUROC, AUPRC e Precision@k per valutare la fedeltà immunologica delle spiegazioni dei modelli di allergenicità.
2. Evidenza di Disallineamento: Lo studio dimostra che i forti classificatori di allergenicità falliscono costantemente nel produrre segnali di attribuzione a livello di residuo che si allineano con gli epitopi sperimentali meglio del caso casuale.
3. Dissociazione dei Criteri di Fedeltà: Il lavoro stabilisce una chiara dissociazione tra fedeltà del modello (IG identifica i residui causali) e fedeltà immunologica (quei residui non sono epitopi), suggerendo che i modelli si affidino a caratteristiche fisico-chimiche globali piuttosto che a meccanismi specifici degli epitopi.

Significatività e Rivendicazioni
Il documento conclude che i segnali di importanza a livello di residuo dei modelli linguistici proteici attuali non dovrebbero essere interpretati come spiegazioni immunologiche per lo screening della sicurezza o il design di ipoallergeni senza una validazione quantitativa. Le scoperte implicano che:

• Modificare i residui evidenziati dai metodi di attribuzione potrebbe non ridurre l'allergenicità se tali segnali non sono allineati con gli epitopi.
• Le visualizzazioni di attribuzione possono servire per l'audit del modello, ma non costituiscono prova di una comprensione a livello di epitopo.
• Il lavoro futuro dovrebbe concentrarsi su predittori biologicamente vincolati che incorporino prior strutturali e immunologici, e la comunità necessita di benchmark standardizzati, basati sugli epitopi, per valutare se le spiegazioni dei modelli catturano meccanismi biologicamente significativi.

Gli autori riconoscono i limiti, tra cui l'incompletezza e il bias delle annotazioni IED, la restrizione alle maschere di residui MHC-II lineari e l'uso di perturbazioni in silico come proxy del riconoscimento immunitario sperimentale.