Riepilogo Tecnico: Decomposizione del Divario di Generalizzazione nella Predizione dell'Attività dei PROTAC

Enunciato del Problema

I predittori di apprendimento automatico per l'attività biochimica, specificamente per i PROTAC (chimere di targeting della proteolisi), presentano un significativo "divario di generalizzazione". Sebbene i modelli riportino valori AUROC elevati (0,85–0,91) sotto validazione incrociata con split casuali, le prestazioni crollano precipitosamente a circa 0,67 sotto protocolli leave-one-target-out (LOTO). Questo divario è ben documentato ma precedentemente non decomposto. La domanda centrale è se questo crollo delle prestazioni rifletta un'incapacità fondamentale dei modelli di estrapolare verso nuovi target (fallimento dell'apprendimento) o se sia guidato da rumore irriducibile nei dati, in particolare la varianza delle misurazioni tra laboratori e l'eterogeneità delle etichette.

Metodologia

Gli autori introducono PROTAC-Bench, un benchmark curato di 10.748 misurazioni di degradazione su 173 target, dando priorità alla densità delle misurazioni all'interno del target e alle strutture di replicazione multi-pubblicazione rispetto alla dimensione grezza del corpus. Lo studio impiega un framework di decomposizione della varianza per attribuire il divario di generalizzazione a componenti specifici:

1. Protocolli di Valutazione: Lo studio confronta la validazione incrociata con split casuali, la split per scaffold e il protocollo LOTO canonico. Introduce inoltre una valutazione "cross-lab within-target", trattenendo i dati di una pubblicazione per target con più pubblicazioni per isolare la varianza inter-laboratorio.
2. Architettura e Invarianza di Scala: Gli autori valutano otto architetture distinte (inclusi DeepPROTACs, DegradeMaster, PROTAC-STAN e baseline standard come Random Forest con impronte digitali Morgan) e scalano i modelli linguistici proteici (PLM) da 8M a 3B parametri (ESM-2).
3. Ottimizzazione degli Iperparametri (HPO): Viene condotta una ricerca HPO a 21 dimensioni su 2.000 prove per testare se un'ottimizzazione aggressiva possa rompere il soffitto delle prestazioni. I risultati sono analizzati rispetto alla previsione in forma chiusa di Bailey-López de Prado per il bias di selezione.
4. Decomposizione della Varianza: Il divario è triangolato utilizzando quattro limiti indipendenti:
   • Varianza delle misurazioni inter-laboratorio (tramite cascata cross-lab).
   • Scelta della soglia di binarizzazione su quattro schemi di etichettatura.
   • Rimozione dei conflitti cross-DOI.
   • Spostamento distribuzionale residuo.
5. Calibrazione Few-Shot: Lo studio verifica se il retraining per target con dati few-shot ($k=5$) combinato con caratteristiche ADMET possa recuperare le prestazioni perse a causa del rumore di misurazione.

Risultati Chiave

1. Il Soffitto Universale delle Prestazioni

Su tutte le otto architetture valutate e le scale PLM ESM-2, le prestazioni LOTO si stabilizzano in una fascia ristretta di 0,668–0,678 AUROC.

• Scalatura PLM: PLM più grandi (fino a 3B parametri) non migliorano le prestazioni LOTO; anzi, le prestazioni sono non monotone, raggiungendo un picco a 150M parametri (0,691) e regredendo a scale maggiori. Ciò suggerisce che i modelli più grandi agiscono come "tassonomi accidentali", identificando famiglie di target che hanno visto verbatim durante il pre-addestramento piuttosto che apprendere meccanismi di degradazione generalizzabili.
• Regressione HPO: La configurazione meglio classificata tra 2.000 prove HPO (obiettivo single-seed 0,764) è regredita a 0,603 sotto validazione multi-seed, un calo di 0,161 AUROC. Questo corrisponde alla previsione teorica per il bias di selezione (Bailey-López de Prado), indicando che l'HPO single-seed si adatta eccessivamente al rumore.

2. Attribuzione della Varianza

Lo studio scompone il divario da random-split a LOTO (circa 0,18–0,20 AUROC) e identifica la varianza delle misurazioni inter-laboratorio come componente dominante:

• Limite Inter-Laboratorio: Una cascata cross-lab within-target (Random-CV 0,802 $\to$ Cross-Lab 0,678 $\to$ LOTO 0,653) ancorizza il contributo inter-laboratorio a 0,124 AUROC.
• Ancora Empirica: Composti identici misurati su diverse pubblicazioni mostrano una variazione mediana di DC50 di 3,7 volte, traducendosi in un tasso equivalente di inversione delle etichette di ~23% sotto calibrazione del rumore sintetico.
• Altri Fattori: La scelta della binarizzazione contribuisce per ~0,05 AUROC, mentre altri fattori (rimozione conflitti, spostamento residuo) sono trascurabili. Il divario è principalmente un problema di varianza di misurazione, non di fallimento dell'apprendimento.

3. Recupero tramite Calibrazione Few-Shot

Sebbene il "soffitto" sia fisso per la previsione zero-shot, lo studio dimostra che il retraining per target few-shot può recuperare una parte delle prestazioni perse:

• La combinazione di impronte digitali Morgan, caratteristiche ADMET e retraining stratificato $k=5$ eleva l'AUROC LOTO su 65 target da 0,668 a 0,7050.
• Questo approccio supera le baseline di meta-apprendimento (MAML, ProtoNet) e suggerisce che la componente di varianza inter-laboratorio è recuperabile se è disponibile un piccolo numero di misurazioni specifiche per target.
• Calibrazione: La scalatura di Platt post-hoc recupera l'Expected Calibration Error (ECE) dell'output grezzo da 0,150 a 0,031, portandolo al di sotto della soglia di 0,05 per una buona calibrazione.

4. Approcci Strutturali e Geometrici

La valutazione delle caratteristiche strutturali 3D (EGNN, Boltz-2, tasche predette da AlphaFold) mostra che contribuiscono al massimo 0,013 AUROC oltre alle impronte digitali 2D Morgan. I controlli di mescolamento delle tasche (permutazione casuale dei residui della tasca) degradano le prestazioni di meno di 0,013 AUROC, indicando che gli attuali strumenti di previsione strutturale non forniscono un segnale abbastanza forte da superare il pavimento del rumore inter-laboratorio.

Significato e Affermazioni

Il documento afferma che il divario di generalizzazione apparente nella predizione dell'attività dei PROTAC non è un fallimento dell'architettura o della capacità del modello, ma una riflessione del pavetto di riproducibilità inter-laboratorio dei dati sperimentali sottostanti.

• Contributo Metodologico: Il lavoro fornisce un framework di decomposizione della varianza e un benchmark (PROTAC-Bench) che sposta il focus da "modelli migliori" a "migliore valutazione del rumore di misurazione". Sostiene che il soffitto operativo per la previsione su target tenuti fuori è attualmente limitato dalla qualità dei dati (0,668–0,678 AUROC) piuttosto che da limitazioni algoritmiche.
• Implicazione Pratica: Per il dispiegamento, il documento raccomanda un protocollo a tre livelli: una baseline Morgan (0,668), arricchita da caratteristiche ADMET (0,687) e ulteriormente migliorata dal retraining per target few-shot (0,705). Sottolinea che i predittori dovrebbero essere utilizzati per l' "arricchimento attivo-verso-inattivo" piuttosto che per il ranking fine della potenza, poiché il rumore dei dati preclude un ranking preciso.
• Generalizzabilità: Gli autori ipotizzano che questa metodologia di decomposizione – attribuire i divari di generalizzazione alla varianza di misurazione piuttosto che al fallimento dell'apprendimento – serva come modello per altri contesti terapeutici con pochi dati, dove la varianza inter-laboratorio o inter-sito è una fonte dominante di rumore.

Gli autori dichiarano esplicitamente che nessun modello in questo lavoro supera l'accuratezza predittiva ottenibile da esperti di dominio utilizzando strumenti standard di chemioinformatica sotto le attuali limitazioni dei dati, e che il contributo principale è la trasparenza metodologica riguardo ai protocolli di valutazione e all'attribuzione della varianza.