Model Rankings in Drug–Target Affinity Prediction Vary Across Evaluation Regimes: A Controlled Multi-Seed Study of Model-Comparison Reliability

Nella corsa alla scoperta di nuovi medicinali, gli scienziati affrontano spesso un compito arduo: trovare la chiave giusta per una specifica serratura. Le "chiavi" sono piccole molecole, potenziali farmaci, e le "serrature" sono le proteine all'interno del corpo umano che guidano una malattia. Quando un farmaco si adatta bene a una proteina, può bloccare un processo patologico o riparare una funzione guasta. Prevedere quanto fortemente un farmaco si legherà a una proteina è un passaggio critico nello screening di milioni di candidati, permettendo ai ricercatori di concentrare le proprie risorse su quelli più promettenti. Per anni, i modelli informatici sono stati addestrati per fare queste previsioni, imparando da vasti database di interazioni note tra farmaci e proteine. L'obiettivo è sempre stato quello di costruire un modello capace di indovinare con precisione la forza di un legame mai visto prima, che significhi prevedere come un nuovo farmaco si comporterà contro una proteina nota, o come un farmaco noto potrebbe interagire con una proteina target completamente nuova.

Tuttavia, un nuovo studio dell'Università Normale di Harbin suggerisce che la risposta alla domanda "quale modello è il migliore" dipende interamente dalla domanda che viene posta. I ricercatori, Haobo Kui e Xinyuan Cui, si sono posti l'obiettivo di testare se le classifiche di questi modelli informatici rimangano stabili quando le regole del gioco cambiano. Nel mondo reale della scoperta di farmaci, un modello potrebbe essere chiamato a prevedere le interazioni per un farmaco mai visto prima, o per una proteina mai vista prima, o per una combinazione di entrambi. Il team ha scoperto che un modello che vince in uno scenario può perdere in un altro, e che l'ordine in cui i modelli vengono classificati può ribaltarsi completamente a seconda delle specifiche condizioni di test. Il loro lavoro, che ha coinvolto l'esecuzione di oltre cento esperimenti rigorosamente controllati, rivela che non esiste un unico modello "migliore" per tutte le situazioni; al contrario, la scelta corretta dipende dall'abbinamento del modello alla specifica sfida di generalizzazione che dovrà affrontare.

Per comprendere la portata di questa indagine, immaginate un laboratorio in cui gli scienziati stanno testando cinque diversi tipi di motori. In un test standard, potrebbero far percorrere a tutti i motori una pista familiare e liscia. Ma nel mondo reale, alcuni motori devono gestire strade ghiacciate, mentre altri devono navigare su passi montani ripidi. Kui e Cui hanno costruito un rigoroso quadro di test per vedere se il motore che vince sulla pista liscia vinca anche sul ghiaccio o in montagna. Hanno utilizzato due enormi database puliti di interazioni farmaco-proteina, contenenti oltre 118.000 record da una fonte e oltre 30.000 da un'altra. Da questi dati, hanno creato tre distinti ambienti di test. Il primo era un ambiente "warm" (caldo), in cui il modello veniva testato su farmaci e proteine che aveva già visto durante l'addestramento, misurando essenzialmente quanto fosse capace di ricordare e interpolare ciò che aveva appreso. Il secondo era un ambiente "cold-drug" (farmaco freddo), dove il modello doveva prevedere le interazioni per composti chimici completamente nuovi che non aveva mai incontrato. Il terzo era un ambiente "cold-target" (target freddo), dove il modello affrontava sequenze proteiche completamente nuove, simulando la sfida di trovare un farmaco per un meccanismo di malattia appena scoperto.

I ricercatori non si sono limitati a eseguire i modelli una sola volta e a prendere i risultati. Per garantire che le loro scoperte non fossero solo un colpo di fortuna dovuto al caso, hanno eseguito ogni esperimento tre volte con condizioni iniziali leggermente diverse, una tecnica nota come uso di più "seed" (semi). Hanno confrontato tre modi diversi di combinare le informazioni su farmaco e proteina, insieme a due metodi di base stabiliti, assicurandosi che tutti i modelli avessero approssimativamente la stessa potenza di calcolo. In totale, hanno condotto 126 sessioni di addestramento separate, mantenendo i partizionamenti dei dati e le regole di valutazione identici in tutto il processo. Fondamentalmente, hanno mantenuto i risultati finali del test sigillati fino al completamento di ogni singola sessione, evitando qualsiasi bias accidentale in cui il modello potesse essere modificato per adattarsi ai dati di test. Questo approccio rigoroso e verificabile ha permesso loro di tracciare ogni risultato alla sua origine, garantendo l'integrità del confronto.

I risultati sono stati sorprendenti e controintuitivi. Quando i ricercatori hanno esaminato le classifiche dei modelli nelle condizioni "warm", un modello ha costantemente superato gli altri. Tuttavia, quando sono passati allo scenario "cold-drug", le classifiche sono cambiate drasticamente. Nel caso più estremo, relativo al dataset più grande, l'ordine dei modelli per lo scenario "cold-target" era l'esatto opposto dell'ordine per lo scenario "cold-drug". Un modello che era il chiaro vincitore nella previsione delle interazioni con nuove proteine è diventato il chiaro perdente quando gli è stato chiesto di prevedere le interazioni con nuovi farmaci. Questo ribaltamento completo, misurato tramite uno strumento statistico che confronta le classifiche, ha dimostrato che il successo di un modello non è una qualità assoluta ma relativa, che cambia con il contesto.

Inoltre, lo studio ha evidenziato che anche all'interno dello stesso scenario di test, i risultati non erano sempre perfettamente stabili. Osservando le singole sessioni piuttosto che solo la media, i ricercatori hanno scoperto che l'ordine esatto dei modelli poteva variare da una sessione di addestramento all'altra. Ciò significa che affidarsi a un singolo esperimento per dichiarare un vincitore è rischioso, poiché l'esito potrebbe essere influenzato dal rumore casuale del processo di addestramento. Eseguendo più seed, il team ha potuto vedere il quadro completo di quanto fosse affidabile la prestazione del modello. Hanno scoperto che, sebbene alcuni modelli mostrassero vantaggi costanti in aree specifiche, come nel caso del setting "cold-drug" dove certe strategie di fusione performavano meglio in entrambi i dataset, nessun singolo modello dominava ogni metrica e ogni scenario.

I ricercatori hanno anche esplorato come questi risultati si traducano in un'applicazione nel mondo reale osservando un target proteico specifico e non visto, chiamato VEGFR2, che è coinvolto nella crescita dei vasi sanguigni ed è un importante bersaglio per le terapie contro il cancro. Utilizzando le previsioni congelate dai loro esperimenti, hanno simulato come diversi modelli avrebbero classificato i potenziali candidati farmaceutici per questo specifico target. Hanno scoperto che i modelli producevano liste diverse di candidati principali. Un modello potrebbe classificare un particolare composto come la scelta migliore, mentre un altro potrebbe posizionarlo molto più in basso. Ciò ha dimostrato che la scelta del modello non è solo un esercizio accademico; essa impatta direttamente su quali candidati farmaceutici gli scienziati sceglieranno di testare in laboratorio. Se un ricercatore sceglie un modello basandosi sulle sue prestazioni in un setting "warm", potrebbe finire per dare priorità ai composti sbagliati per un nuovo target.

In definitiva, questo studio funge da guida vitale per il futuro della scoperta computazionale di farmaci. Esso argomenta contro l'idea di un modello campione universale che possa essere applicato a ogni problema. Al contrario, suggerisce che l'affidabilità dei confronti tra modelli dipenda dal far corrispondere il metodo di valutazione all'uso previsto. Se l'obiettivo è trovare farmaci per nuovi target, il modello deve essere testato su nuovi target. Se l'obiettivo è trovare nuovi farmaci per target noti, il modello deve essere testato su nuovi farmaci. I ricercatori concludono che, affinché la selezione dei modelli sia davvero affidabile, deve essere scenario-dipendente, basata su più seed e verificabile. Comprendendo che le classifiche cambiano tra diversi regimi di valutazione, gli scienziati possono prendere decisioni più informate, assicurando che gli strumenti che utilizzano siano adatti alle sfide specifiche della pipeline di scoperta dei farmaci.