Source- and Release-Aware Calibration Recovers EGFR Potency Prediction Under Cross-Source and Future-Release Domain Shift

Sintesi Tecnica: Calibrazione Sensibile alla Fonte e al Rilascio per la Predizione della Potenza di EGFR

Problematica
I modelli di potenza basati sui ligandi per il recettore del fattore di crescita epidermico (EGFR) dimostrano spesso una forte accuratezza interna quando valutati su split casuali. Tuttavia, l'articolo sostiene che tali metriche siano gonfiate da serie analoghe condivise, duplicati chimici e convenzioni di saggio specifiche per fonte. Nel deployment reale della chimica medicinale, i modelli affrontano gravi spostamenti di dominio (domain shifts) attraverso:

1. Spostamenti di scaffold e temporali: Generalizzazione verso nuovi scaffold chimici o periodi temporali futuri.
2. Spostamenti cross-source: Trasferimento da ChEMBL a database indipendenti come BindingDB.
3. Spostamenti di rilascio futuro: Predizione su molecole aggiunte a un database dopo il cutoff di addestramento (ad esempio, molecole ChEMBL36 quando addestrate su ChEMBL30).

Sotto rigorosi protocolli di valutazione, l'articolo dimostra che i modelli standard (fingerprint, ensemble, reti neurali a grafi e persino modelli a coppie sensibili ai cliff di attività) collassano quando valutati su queste distribuzioni spostate. Nello specifico, su un vero pannello di rilascio futuro di 2.907 molecole non sovrapponibili di ChEMBL36, i modelli addestrati su ChEMBL30 raggiungono punteggi $R^2$ negativi, performando peggio di un semplice baseline della media.

Metodologia
Lo studio impiega un framework rigoroso e riproducibile per diagnosticare e recuperare da questi fallimenti:

• Curatela Rigorosa dei Dati: Un benchmark di alta qualità per l'IC50 di EGFR è stato ricostruito da ChEMBL (e BindingDB) utilizzando regole rigide: relazioni di uguaglianza esatta, unità nM, tipi di saggio validi, rimozione di conflitti di duplicati (SD > 0,5) e splitting basato sullo scaffold.
• Costruzione del Benchmark:
  • Pannello di Rilascio Futuro: L'addestramento è stato bloccato a ChEMBL30, e la valutazione è stata eseguita su 2.907 molecole non sovrapponibili di ChEMBL36.
  • Pannello Cross-Source: Valutazione su dati BindingDB con rigorosa rimozione delle sovrapposizioni.
  • Benchmark Pubblici: Valutazione su dataset di attività-cliff di MoleculeACE e ACNet.
• Modelli Baseline: Lo studio ha testato una vasta gamma di architetture, inclusi Morgan fingerprints, Ridge/RandomForest/XGBoost e una moderna Directed Message Passing Neural Network (GINE/D-MPNN).
• Soluzione Proposta: Calibrazione Residua Sensibile alla Fonte e al Rilascio:
  • Invece di riaddestrare il modello base, gli autori propongono una testa di calibrazione leggera e priva di backpropagation.
  • Meccanismo: Un piccolo set di etichette di "supporto" (decine o centinaia di molecole) della distribuzione spostata (ad esempio, BindingDB o ChEMBL36) viene utilizzato per stimare l'errore residuo $r(x) = y - f(x)$ del modello base.
  • Teste di Calibrazione: Sono stati testati diversi stimatori, tra cui un offset della media, regressione lineare, Morgan residual ridge (regressione dei residui sui fingerprint) e Morgan kNN-residual (trasferimento dei residui dai vicini più prossimi).
  • Predizione: La predizione calibrata è $\hat{y}_{cal}(x) = f(x) + \hat{r}(x)$.
  • Incertezza: Gli intervalli di predizione conforme split sono stati ricalibrati utilizzando i residui del set di supporto spostato per ripristinare una copertura valida.

Risultati Chiave

1. Collasso del Modello sotto Spostamento:

   • Sul pannello di rilascio futuro ChEMBL30 $\to$ ChEMBL36, i modelli non calibrati (inclusi i GNN) hanno ottenuto valori di $R^2$ compresi tra -0,33 e -2,52, fallendo nel superare il baseline della media.
   • Simili collassi sono stati osservati su BindingDB e sugli split temporali esterni.
   • Gli obiettivi di coppia relativi ai cliff di attività hanno migliorato le metriche SAR locali ma non hanno risolto lo spostamento di dominio globale.

2. Recupero tramite Calibrazione Few-Shot:

   • Utilizzando solo un piccolo numero di etichette di supporto scaffold-disjoint dalla distribuzione spostata, la testa di calibrazione residua ha ripristinato un $R^2$ positivo.
   • BindingDB: L'RMSE è migliorato da 1,5959 (zero-shot) a 0,8285 con 512 etichette di supporto.
   • Rilascio Futuro (ChEMBL36): L'RMSE è migliorato da 1,42 ($R^2$ -0,33) a 1,00 ($R^2$ +0,33) con solo 64 etichette, e a 0,85 ($R^2$ +0,52) con 512 etichette.
   • Il metodo è stato efficace con appena 16–64 etichette corrispondenti alla distribuzione.

3. Generalizzazione ed Efficienza:

   • Trasferimento del Target: La stessa ricetta di calibrazione ha recuperato con successo le performance su target chinasici indipendenti e non-EGFR (ABL1 e BRAF), dove il modello base aveva valori di $R^2$ zero-shot rispettivamente di -1,81 e -2,45.
   • Efficienza Computazionale: Al budget di etichette ridotto (16–64 etichette), la calibrazione senza backprop ha eguagliato o superato il fine-tuning completo di GNN richiedendo circa un ordine di grandezza in meno di tempo computazionale (ad esempio, 0,01s vs 0,38s).
   • Incertezza: Gli intervalli conformi in-domain hanno sottocoperto gravemente i dati di rilascio futuro. La ricalibrazione del raggio conforme su poche etichette spostate ha ripristinato una copertura quasi nominale (ad esempio, target 0,90 $\to$ copertura empirica 0,90), sebbene con intervalli più ampi e onesti.

Significatività e Rivendicazioni
L'articolo sostiene che la degradazione osservata nella predizione della potenza di EGFR non è un fallimento inerente dell'apprendimento delle rappresentazioni (poiché anche i GNN sono falliti), ma un problema di spostamento di dominio risolvibile. Il contributo centrale è una ricetta di deployment pratica e azionabile:

• Non affidarsi esclusivamente al trasferimento di rappresentazione o alle metriche di validazione interna.
• Implementare i modelli per il triage in-domain ma raccogliere un piccolo set di supporto corrispondente alla distribuzione (decine di molecole) quando si passa a scenari cross-source o di rilascio futuro.
• Applicare la calibrazione residua a questo set di supporto per recuperare predizioni e stime di incertezza valide.

Gli autori sottolineano che questo approccio trasforma un modello di rilascio in avanti "fallimentare" in uno utilizzabile senza il costo computazionale o il rischio di oblio catastrofico associati al fine-tuning completo. Lo studio evidenzia inoltre che gli obiettivi sensibili ai cliff di attività sono preziosi per la SAR locale ma insufficienti per l'adattamento del dominio globale senza una calibrazione consapevole della fonte.

Limitazioni Riconosciute
L'articolo nota che la curatela rigorosa riduce il numero di cliff di attività, che la calibrazione few-shot assume la disponibilità di etichette target-source e che, sebbene l'esperimento ChEMBL30-per-36 sia un forte stress test retrospettivo, la vera validazione prospettica in laboratorio rimane il livello più alto di evidenza. Inoltre, le etichette XAI attuali sono annotazioni strutturali deboli piuttosto che farmacofori curati da esperti.