Empty scaffold allocation bias in molecular distribution shift evaluation

Sintesi Tecnica: Bias di Allocazione degli Scaffold Vuoti nella Valutazione dello Spostamento di Distribuzione Molecolare

Definizione del Problema
La valutazione basata sugli scaffold è una metodologia standard per stimare la generalizzazione dei modelli di machine learning molecolare verso serie chimiche non viste. Questo approccio si basa sul presupposto che ogni unità di divisione (un gruppo di molecole che condividono uno scaffold) corrisponda a un nucleo comune chimicamente significativo. Tuttavia, la procedura di estrazione degli scaffold di Bemis–Murcko restituisce frequentemente una rappresentazione di scaffold "vuota" per le molecole prive di un framework anello-linker conservato. Nei protocolli standard di divisione per scaffold, queste molecole "senza scaffold" vengono raggruppate in un unico, indivisibile "bucket di scaffold vuoto" e trattate come un'unica unità di divisione.

Lo studio identifica un fallimento critico: questo raggruppamento tratta una popolazione residua definita per assenza come se fosse una classe di scaffold chimicamente coerente. Poiché le molecole senza scaffold sono strutturalmente eterogenee e prive di un nucleo comune, la loro allocazione come singola unità può portare a un grave bias di allocazione. Nello specifico, le strategie di divisione standard spesso depletano queste molecole dal set di addestramento, concentrandole nei set di validazione o di test. Ciò crea uno scenario di valutazione in cui le prestazioni del modello sono confuse dall'sottorappresentazione di una sottopopolazione strutturalmente diffusa e debolmente supportata, piuttosto che testare una genuina generalizzazione a livello di scaffold.

Metodologia
Lo studio ha condotto un'analisi sistematica su 16 dataset MoleculeNet e 73 task Deep-PK/ADMET. La metodologia ha previsto:

1. Caratterizzazione delle Molecole senza Scaffold: Gli autori hanno quantificato la prevalenza di scaffold vuoti e analizzato la loro coesione strutturale (utilizzando la similarità di Tanimoto e la Coesione Gini) e il supporto nello spazio chimico (similarità del vicino più prossimo rispetto alle molecole con scaffold). Hanno inoltre valutato lo spostamento di distribuzione dipendente dal task negli spazi dei label e dei target.
2. Valutazione delle Strategie di Divisione: Sono state confrontate quattro strategie di divisione: la divisione standard per scaffold di Bemis–Murcko, il clustering basato su UMAP, DataSAIL e LoHi. L'analisi si è concentrata sui "fold depletati in addestramento rappresentativi" (il fold con la minore proporzione di no-scaffold nell'addestramento) per valutare la copertura nel caso peggiore lato addestramento e il conseguente arricchimento nei rami di valutazione.
3. Valutazione delle Prestazioni:
   • Classificazione: I modelli sono stati valutati utilizzando la Precision-Recall normalizzata (normPR) per misurare la prestazione di ranking rispetto al baseline del tasso di positività. Lo studio ha confrontato le prestazioni sui sottoset di test no-scaffold rispetto ai riferimenti dei fold ordinari.
   • Regressione: I modelli sono stati valutati utilizzando l'errore medio assoluto relativo (relMAE) per quantificare gli errori scalati. Lo studio ha analizzato l'"inflazione del relMAE" (il rapporto tra l'errore sui sottoset no-scaffold rispetto ai fold ordinari).
4. Diagnostica Meccanicistica: Gli autori hanno investigato le correlazioni tra il degrado delle prestazioni e potenziali cause, tra cui la perdita di supporto nell'addestramento, lo spostamento del prior, il drift della calibrazione e la compressione della scala di predizione.
5. Proposta di Riparazione (ESA): È stata sviluppata una strategia di riparazione "Empty-Scaffold-Aware" (ESA). Questa procedura post-divisione mantiene fissi gli assegnamenti delle molecole con scaffold (preservando lo scheletro consapevole della fuga di dati/leakage) e riassegna le molecole senza scaffold in micro-cluster strutturali locali. Questi micro-cluster vengono poi ridistribuiti tra i rami di addestramento, validazione e test per ripristinare la rappresentazione lato addestramento pur controllando l'esposizione alla similarità frontale all'addestramento.

Risultati Chiave

• Prevalenza e Proprietà: Le molecole senza scaffold sono comuni, apparendo in 8 dei 16 dataset MoleculeNet e in 40 dei 73 task Deep-PK/ADMET, con alcuni endpoint fisico-chimici che si avvicinano al 50%. Queste molecole sono strutturalmente diffuse (similarità di Tanimoto intra-gruppo mediana di 0,110, vicina ai livelli di background) e debolmente supportate dallo spazio chimico degli scaffold (similarità del vicino più prossimo mediana di 0,300).
• Bias di Allocazione: La divisione per scaffold standard alloca costantemente l'intero bucket di scaffold vuoti ai rami di valutazione, lasciando il set di addestramento con zero molecole senza scaffold nei casi peggiori. Anche le strategie alternative (UMAP, DataSAIL, LoHi) non riescono a garantire una rappresentazione proporzionale lato addestramento, risultando spesso in set di addestramento con una copertura di no-scaffold significativamente inferiore rispetto al dataset completo.
• Impatto sulla Classificazione: Quando le molecole senza scaffold sono arricchite nei set di test ma depletate nell'addestramento, le prestazioni di classificazione degradano significativamente. La normPR mediana scende verso il baseline del prior (ad esempio, da 0,259 a 0,035 in MoleculeNet). Ciò indica una perdita di potere discriminativo, con le prestazioni che comprimono verso il caso casuale piuttosto che riflettere un semplice sbilanciamento delle classi.
• Impatto sulla Regressione: I task di regressione mostrano una significativa inflazione dell'errore. Il relMAE mediano aumenta di 1,35 volte complessivamente, con il 44,8% dei punti di valutazione che mostra almeno un'inflazione di 2 volte. Questa inflazione è guidata da un aumento dell'errore assoluto di predizione e, in alcuni task ADMET, dalla contrazione della scala del target.
• Driver Meccanicistici: Il degrado delle prestazioni è fortemente associato alla compressione della scala di predizione nella classificazione e alla perdita di supporto nell'addestramento nella regressione. Lo spostamento del prior e il drift della calibrazione hanno mostrato associazioni deboli con la perdita di prestazioni.
• Efficacia di ESA: La strategia di riparazione ESA ha ripristinato con successo la rappresentazione lato addestramento (aumentando il recupero del supporto da 0,64 a 1,11) e ha ridotto la concentrazione di molecole senza scaffold nei rami di valutazione (riducendo il rapporto di sink da 5,28 a 0,43) senza introdurre nuove perdite significative di similarità.

Significatività e Rivendicazioni
Il paper sostiene che l'allocazione dello scaffold vuoto sia un modo di fallimento precedentemente trascurato che confonde la generalizzazione a livello di scaffold con la sottorappresentazione di una sottopopolazione residua debolmente supportata. Gli autori sostengono che la progettazione affidabile dei benchmark molecolari debba diagnosticare non solo la fuga di analoghi (analogue leakage) e la similarità globale train-test, ma anche la sottorappresentazione indotta dalla rappresentazione di tali sottopopolazioni.

Lo studio non afferma che le divisioni per scaffold siano invalide, ma piuttosto che la loro interpretazione è compromessa quando le molecole senza scaffold vengono trattate come un'unica unità chimicamente incoerente. Il contributo centrale è l'identificazione di questo bias e la dimostrazione che le attuali strategie di divisione non garantiscono un adeguato supporto nell'addestramento per queste molecole. La proposta di riparazione ESA illustra un principio più ampio: la difficoltà di valutazione e la rappresentazione lato addestramento dovrebbero essere riportate come proprietà distinte di un benchmark split. Gli autori concludono che i report dei benchmark dovrebbero separare esplicitamente la frequenza delle molecole senza scaffold, il supporto che ricevono nel lato addestramento e il loro arricchimento nei rami di valutazione, per distinguere la generalizzazione a livello di scaffold dal fallimento dell'estrapolazione guidato dal supporto.