MolGlueBench reveals heterogeneous transfer of context gains across molecular-glue DC50 domains

Nella ricerca di una cura per le malattie, gli scienziati cercano spesso piccole molecole che possano agire come collanti molecolari. Si tratta di piccoli composti chimici progettati per incollare due specifiche proteine all'interno di una cella. Quando queste due proteine sono costrette a interagire, l'addetto alle pulizie naturale della cellula viene spesso ingannato nel distruggere una proteina bersaglio dannosa, come quella che guida la crescita del cancro. Questo approccio offre speranza per il trattamento di malattie che erano precedentemente considerate incurabili con i farmaci tradizionali. Tuttavia, trovare il collante giusto è incredibilmente difficile. Gli scienziati devono testare migliaia di strutture chimiche per vedere quali riescano effettivamente a innescare questa distruzione, e il processo è lento, costoso e spesso imprevedibile. Per accelerare le cose, i ricercatori si sono rivolti ai computer, sperando di costruire modelli in grado di prevedere quanto bene una nuova molecola funzionerà prima ancora che venga sintetizzata in un laboratorio.

La promessa di questi modelli informatici è che possono imparare dagli esperimenti passati per prevedere il successo futuro. Ma c'è una trappola nascosta nel modo in cui questi modelli vengono solitamente testati. Spesso, a un programma informatico viene mostrato un insieme di dati passati, gli viene chiesto di apprendere gli schemi e poi viene testato su un diverso segmento di quegli stessi dati. Se i dati di test condividono le stesse condizioni sperimentali o provengono dalla stessa fonte dei dati di addestramento, il modello potrebbe apparire un genio. In realtà, potrebbe aver semplicemente memorizzato le peculiarità del laboratorio specifico o del database su cui è stato addestrato, piuttosto che aver appreso le vere regole della chimica. Ciò crea un falso senso di fiducia, in cui un modello sembra perfetto sulla carta ma fallisce completamente di fronte a un nuovo tipo di esperimento o a un nuovo bersaglio biologico.

Un team di ricercatori dell'Università di Nantong e dell'Università Nazionale di Singapore ha deciso di esporre questo problema con un nuovo, rigoroso test chiamato MolGlueBench. Invece di limitarsi a controllare se un modello sia in grado di indovinare la risposta corretta per una molecola familiare, hanno progettato una sfida che costringe il modello a dimostrare di poter gestire situazioni completamente nuove. Hanno raccolto 1.560 misurazioni specifiche di quanto bene diversi collanti molecolari funzionassero, tratte da quattro diversi database pubblici. Queste misurazioni coprivano oltre mille composti chimici unici e centinaia di diversi framework strutturali. Fondamentalmente, non hanno registrato solo la struttura chimica del collante, ma anche il contesto completo dell'esperimento: quale linea cellulare è stata utilizzata, quali proteine erano coinvolte e da quale database provenivano i dati.

I ricercatori hanno poi sottoposto i loro modelli a una serie di test via via più difficili. Per prima cosa, hanno chiesto ai modelli di prevedere le prestazioni di nuove strutture chimiche che non erano mai state viste prima, ma che provenivano dallo stesso mix di esperimenti dei dati di addestramento. In questo scenario, i modelli si sono comportati ragionevolmente bene. Quando al computer è stato permesso di utilizzare sia la struttura chimica che il contesto sperimentale, le sue previsioni sono migliorate leggermente, suggerendo che conoscere le condizioni del test aiutasse il modello a classificare correttamente le molecole. Questo risultato sembrava promettente, come se l'informazione extra sull'esperimento fosse un indizio prezioso.

Tuttavia, la storia è cambiata drasticamente quando i ricercatori hanno cambiato le regole per simulare uno scenario del mondo reale. Hanno chiesto ai modelli di prevedere le prestazioni di molecole in database completamente nuovi o per proteine bersaglio completamente nuove che il modello non aveva mai incontrato durante l'addestramento. Questo è il vero test per capire se un modello ha appreso una regola universale o se ha solo memorizzato un dataset specifico. In questi nuovi ambienti non visti, il vantaggio di utilizzare il contesto sperimentale è svanito. Di fatto, aggiungere l'informazione del contesto extra ha spesso peggiorato le previsioni. I modelli che si affidavano ai dettagli sperimentali hanno fallito nel trasferire la loro conoscenza ai nuovi domini, mentre i modelli che si basavano esclusivamente sulla struttura chimica si sono comportati leggermente meglio, sebbene con errori significativi.

Lo studio ha rivelato che l'utilità del contesto sperimentale non è una verità universale, ma una scorciatoia locale. All'interno dei dati familiari, il contesto ha aiutato il modello a indovinare l'ordine corretto delle molecole. Ma quando il modello è uscito dalla sua zona di comfort verso un nuovo database o un nuovo bersaglio biologico, quegli stessi indizi contestuali sono diventati fuorvianti. Il modello aveva imparato ad associare determinati allestimenti sperimentali a determinati risultati, ma tali associazioni non hanno retto quando l'allestimento è cambiato. Ad esempio, i modelli hanno avuto difficoltà particolarmente nel cercare di prevedere i risultati per target specifici come GSPT1 e CDK2, o nel muoversi lontano dai dati provenienti da un database specifico chiamato TPDdb. Gli errori non erano piccoli: le previsioni dei modelli erano sballate di un fattore di circa otto o dieci volte la concentrazione effettiva necessaria per degradare la proteina bersaglio.

Questa scoperta funge da fondamentale richiamo alla realtà per il campo della scoperta di farmaci. Dimostra che la capacità di un modello di prevedere bene all'interno di una singola collezione di dati non garantisce che funzionerà per scoperte future o per diversi tipi di problemi biologici. I ricercatori hanno concluso che, sebbene questi modelli informatici possano aiutare a classificare le molecole all'interno di un set noto di esperimenti, non possono ancora essere affidati per prevedere valori assoluti o per dare priorità a candidati per nuovi bersagli non visti. Lo studio non dice che il contesto sia inutile, ma piuttosto che il suo valore è fragile e dipende interamente dalle condizioni specifiche dei dati. Finché i modelli non dimostreranno di funzionare attraverso questi domini più difficili e realistici, gli scienziati devono rimanere cauti nel fare affidamento su di essi per prendere decisioni finali su quali molecole testare in laboratorio. La strada da seguire richiede la costruzione di modelli che siano testati contro queste sfide più dure e realistiche, assicurando che gli strumenti che costruiamo siano davvero abbastanza robusti da gestire la complessità del mondo vivente.