Structure-Based Drug–Drug Interaction Prediction from Morgan Fingerprints: A Degree-Controlled and Cold-Start Evaluation of a Random Forest Baseline

Nel mondo della medicina, i momenti più pericolosi spesso non avvengono quando un singolo farmaco fallisce, ma quando due medicinali sicuri si incontrano e creano una reazione tossica. Per decenni, i medici si sono affidati a enormi database per controllare questi scontri, ma questi elenchi sono essenzialmente record statici di ciò che è già stato scoperto. Essi non offrono alcuna intuizione sul futuro, lasciando i medici ciechi quando viene prescritto a un paziente un nuovo farmaco che non è mai stato testato contro gli altri che sta assumendo. Per risolvere questo problema, gli scienziati si sono rivolti ai computer, sperando di insegnare loro le regole della chimica molecolare affinché possano prevedere accoppiamenti pericolosi prima che accadano. L'idea è quella di osservare la struttura chimica di due farmaci — le loro forme atomiche e proprietà — e vedere se il computer può individuare un modello che suggerisca che essi possano scontrarsi tra loro. Tuttavia, la strada verso uno strumento di previsione affidabile è costellata di trappole nascoste, in particolare nel modo in cui i ricercatori decidono cosa conta come una coppia "sicura" per istruire il computer. Se i dati di addestramento sono difettosi, il computer potrebbe imparare a fare affidamento su artefatti dei dati piuttosto che imparare la chimica.

Un team di ricercatori della Sanjivani University in India ha intrapreso l'obiettivo di testare la vera forza di questi modelli informatici, eliminando le scorciatoie che spesso ne gonfiano il successo. Si sono concentrati su un tipo specifico di impronta digitale digitale utilizzata per rappresentare i farmaci, nota come impronte digitali di Morgan, che scompone una molecola in una lunga stringa di bit che descrivono le sue caratteristiche strutturali. Hanno anche aggiunto dieci misurazioni fisiche di base, come il peso molecolare e la capacità del farmaco di sciogliersi nei grassi. I ricercatori hanno costruito un modello informatico utilizzando un metodo chiamato Random Forest, che funziona come un panel di esperti che votano se una coppia di farmaci interagirà. Ma prima di poter fidarsi dei risultati, dovevano risolvere un problema fondamentale nel modo in cui questi modelli vengono solitamente testati. Nei test standard, i ricercatori creano esempi "negativi" — coppie di farmaci assunti come sicuri — semplicemente scegliendo combinazioni casuali che non sono ancora state registrate. Il team ha scoperto che questo metodo comune è profondamente fallace. Quando hanno auditato il proprio protocollo di test, hanno scoperto che quasi il ventuno percento delle coppie che avevano etichettato come "sicure" erano in realtà interazioni registrate nel database completo. Il computer veniva ingannato facendogli credere di stare imparando la chimica, quando in realtà stava solo memorizzando quali farmaci apparivano frequentemente nei dati.

Per ottenere una vera misura della capacità del modello, i ricercatori hanno ricostruito il loro test da zero. Hanno creato due nuovi, rigorosi benchmark. Il primo era un test standard in cui le coppie negative venivano scelte casualmente, ma con la correzione cruciale che ogni singola interazione nota veniva rimossa dalla lista dei "sicuri". Il secondo benchmark, più difficile, era stato progettato per impedire al computer di fare affidamento sugli artefatti dei dati utilizzando la popolarità di un farmaco come indizio. In questa versione, ogni farmaco appariva nella lista dei "sicuri" con la stessa frequenza con cui appariva nella lista dei "pericolosi", costringendo il modello a fare affidamento interamente sulle forme e le proprietà chimiche piuttosto che su quanto un farmaco sia famoso. I risultati sono stati rivelatori. Nel primo test, più semplice, un sistema di controllo che utilizzava solo i nomi dei farmaci — ignorando completamente la loro chimica — ha ottenuto prestazioni simili al complesso modello chimico. Ciò ha suggerito che, nei test semplici, il modello stava principalmente imparando quali farmaci sono popolari, non come interagiscono.

Quando i ricercatori sono passati al test più rigoroso, controllato sulla popolarità, il quadro è cambiato drasticamente. Il semplice sistema basato sui nomi è crollato, non performando meglio di una scelta casuale, provando che il successo precedente era effettivamente una scorciatoia. Anche il modello chimico ha subito un calo di prestazioni, ma non è fallito completamente. È riuscito a distinguere tra coppie interagenti e non interagenti con un grado modesto di accuratezza, identificando correttamente le interazioni circa il sessantadue percento delle volte nelle coppie casuali. Il modello ha performato ancora peggio quando entrambi i farmaci in una coppia erano completamente nuovi per il sistema, uno scenario noto come "cold start", in cui il computer non aveva mai visto nessuno dei due farmaci prima d'ora. In questo test più difficile, l'accuratezza è scesa a circa il cinquantotto percento. Sebbene questo sia migliore del caso casuale, è tutt'altro che la affidabilità quasi perfetta necessaria per l'uso clinico. I ricercatori hanno anche scoperto che il modo in cui i dati chimici venivano combinati contava più del tipo di algoritmo informatico utilizzato. Un metodo specifico che trattava i due farmaci come un'unica unità indipendente dall'ordine e includeva le loro proprietà fisiche funzionava significativamente meglio rispetto al semplice accostare i loro codici chimici uno accanto all'altro.

Lo studio conclude che, sebbene la previsione basata sulla struttura sia promettente, il segnale nascosto nelle forme chimiche è molto più debole di quanto suggerito da studi precedenti. I ricercatori hanno testato il loro modello finale su dieci combinazioni di farmaci ben note, inclusa la pericolosa miscela di Sildenafil e Nitroglicerina. Il modello non è riuscito a segnalare questa specifica coppia come pericolosa, classificandola come "nessuna interazione prevista", il che evidenzia un limite critico: il computer vede solo le forme delle molecole, non i meccanismi biologici, come il modo in cui influenzano i vasi sanguigni o gli enzimi, che effettivamente causano il danno. Per affrontare questa incertezza, il team ha costruito un'applicazione prototipo che non fornisce una risposta semplice sì o no. Invece, offre un output a tre livelli: una previsione di nessuna interazione, una previsione di probabile interazione e una via di mezzo etichettata come "incerto". Il sistema è progettato per astenersi dal dare una risposta definitiva quando non è sicuro, consigliando all'utente di consultare un riferimento medico attendibile.

Questo lavoro serve come necessaria verifica della realtà per il campo della sicurezza dei farmaci. Dimostra che molte affermazioni di alte prestazioni in passato sono state probabilmente gonfiate da metodi di test difettosi che hanno permesso ai computer di fare affidamento su artefatti dei dati. I ricercatori hanno fornito una base solida e onesta che i futuri modelli più avanzati dovranno superare per dimostrare il proprio valore. Essi sottolineano che il loro strumento è un prototipo di ricerca, non un dispositivo clinico, e che non dovrebbe mai essere usato per prendere decisioni mediche da solo. La strada da seguire prevede l'uso di modelli più sofisticati, come quelli che mappano l'intera rete di interazioni biologiche, e il test contro questi stessi controlli rigorosi. Fino ad allora, il modo più affidabile per garantire la sicurezza del paziente rimane il giudizio attento dei medici e i database curati su cui si affidano, con i computer che fungono da opinione seconda, utile ma cauta.