Assessing the Generalizability of Machine Learning and Physics Methods for DNA-Encoded Libraries

Lo studio dimostra che, sebbene i modelli di apprendimento automatico eccellano nella previsione di composti simili a quelli delle librerie codificate in DNA (DEL), l'integrazione con metodi di modellazione strutturale è necessaria per generalizzare con successo a nuovi spazi chimici, sottolineando l'importanza di test pilota specifici per ogni sistema e fornendo il pacchetto open-source "DEL-iver" per supportare tali analisi.

L'essenziale

🧬 Il Grande Esperimento: Trovare l'ago nel pagliaio (o quasi)

Immagina di avere un enorme magazzino pieno di miliardi di chiavi diverse (le molecole). Il tuo obiettivo è trovare quelle poche chiavi che aprono una specifica serratura (una proteina malata che vuoi curare).

Fino a poco tempo fa, provare tutte queste chiavi una per una sarebbe stato come cercare di aprire una serratura con un milione di chiavi diverse, una al giorno: ci vorrebbero secoli. Ma grazie a una tecnologia chiamata Librerie di Molecole Codificate con DNA (DEL), possiamo provare miliardi di chiavi contemporaneamente, come se avessimo un esercito di robot che le provano tutte in un secondo.

Il problema? Il magazzino è pieno di chiavi "finte" o che non funzionano mai. E le chiavi che funzionano sono spesso strane, costruite in modo particolare per passare il test, ma che non si possono comprare in negozio per fare medicine vere.

🤖 Il tentativo dei "Cervelli Artificiali" (Machine Learning)

Gli scienziati hanno pensato: "E se insegnassimo a un'intelligenza artificiale (AI) a guardare queste miliardi di chiavi, imparare quali funzionano e poi prevedere quali altre chiavi, mai viste prima, potrebbero funzionare?"

L'idea era geniale: usare l'AI per saltare il passo della prova fisica e andare direttamente a trovare le chiavi perfette per le medicine.

Tuttavia, c'è stato un grande concorso internazionale (chiamato BELKA) dove centinaia di team hanno provato a costruire queste AI. Il risultato è stato sconcertante: nessuna AI è riuscita a generalizzare.

• Cosa significa? L'AI era bravissima a riconoscere le chiavi che aveva già visto nel magazzino (come un bambino che riconosce i suoi giocattoli), ma quando le mostravano una chiave leggermente diversa o mai vista prima (fuori dal magazzino), l'AI si bloccava e tirava a indovinare. Era come se un cane addestrato a cercare una pallina rossa non sapesse cosa fare se gli dessi una pallina blu.

🔍 Cosa hanno scoperto gli autori di questo studio?

Il team dell'Università del Michigan ha deciso di fare da detective per capire perché l'AI falliva e se potevano aiutarla. Ecco le loro scoperte, spiegate con metafore:

1. L'AI è un "Perfetto Straniero"

L'AI funziona benissimo se le dai chiavi costruite con gli stessi pezzi di base che ha già visto. Ma se le dai una chiave fatta con pezzi nuovi o con una forma diversa, l'AI va in tilt.

• La lezione: Non puoi fidarti ciecamente dell'AI per trovare cose completamente nuove. Devi prima fare dei piccoli test per vedere se l'AI è "in sintonia" con il tipo di chiave che stai cercando.

2. Il problema del "Rumore" (Dati sbilanciati)

Nel magazzino, per ogni 1000 chiavi, ce n'è solo 1 che funziona. Le altre 999 sono spazzatura.

• L'analogia: È come cercare un granello d'oro in una montagna di sabbia. L'AI si confonde perché vede troppa sabbia.
• La scoperta: Gli scienziati hanno scoperto che potevano buttare via il 90% della sabbia (le chiavi che non funzionano) e l'AI imparava comunque bene! Questo significa che non serve un magazzino infinito per addestrare l'AI; serve un magazzino più "pulito" e intelligente.

3. L'AI da sola non basta: serve la "Fisica"

Quando l'AI falliva, gli scienziati hanno provato a darle un aiuto diverso. Invece di farle guardare solo la forma della chiave (come fa l'AI), hanno usato dei simulatori fisici (chiamati docking e co-folding).

• L'analogia: L'AI guarda la chiave e dice: "Sembra simile a quelle che funzionano". Il simulatore fisico invece prende la chiave, la infila nella serratura e dice: "Guarda, questa chiave gira bene nella serratura, quella invece sbatte contro".
• Il risultato: A volte il simulatore fisico era molto meglio dell'AI nel trovare le chiavi giuste, ma dipendeva dalla serratura. Per una serratura (proteina) funzionava meglio il simulatore, per un'altra funzionava meglio l'AI. Non c'è un metodo unico che vince sempre.

🛠️ La soluzione: "DEL-iver" (Il Kit di Sopravvivenza)

Poiché non esiste un metodo magico che funziona per tutto, gli autori hanno creato un pacchetto software gratuito e aperto chiamato DEL-iver.

Immagina DEL-iver come una scatola degli attrezzi per il fai-da-te:

• Ti permette di analizzare i dati del magazzino.
• Ti aiuta a scegliere se usare l'AI o il simulatore fisico in base alla tua specifica serratura.
• Ti guida passo dopo passo per non fare errori.

🎯 La conclusione in una frase

Non esiste un'intelligenza artificiale magica che può prevedere tutto da sola. Per trovare le medicine del futuro, dobbiamo combinare l'astuzia dell'AI con la precisione della fisica, ma prima di tutto dobbiamo fare piccoli test rigorosi per capire quale strumento usare per ogni problema specifico.

In sintesi: L'AI è potente, ma ha bisogno di una guida esperta per non perdersi nel mondo delle cose nuove.

Sommario tecnico

Titolo

Valutazione della Generalizzabilità dei Metodi di Machine Learning e Fisica per le Librerie Codificate in DNA (DEL)

1. Il Problema

Le librerie codificate in DNA (DEL) permettono lo screening ultra-alto throughput di miliardi di molecole simultaneamente, offrendo un potenziale enorme per l'identificazione di nuovi farmaci. Tuttavia, esistono limitazioni significative:

• Diversità Chimica Limitata: Le molecole nelle DEL sono spesso vincolate a schemi sintetici specifici (es. scaffold triazinici) e hanno una diversità chimica ridotta rispetto agli spazi chimici commerciali.
• Sfida della Generalizzazione (OOD): L'obiettivo è addestrare modelli di Machine Learning (ML) sui dati delle DEL per prevedere l'attività di molecole "fuori distribuzione" (Out-of-Distribution, OOD), ovvero composti non presenti nelle librerie (off-DNA).
• Fallimento delle Competizioni Recenti: La competizione NeurIPS 2024 (BELKA) ha dimostrato che, nonostante l'uso di enormi dataset (~133 milioni di molecole), nessun modello ML è riuscito a generalizzare efficacemente a un set di test privato contenente nuovi scaffold e nuovi mattoni costruttivi (building blocks). I modelli migliori hanno ottenuto punteggi medi di precisione (mAP) molto bassi (0.36), indicando un fallimento nel predire composti OOD.

2. Metodologia

Gli autori hanno condotto un'analisi sistematica confrontando approcci basati puramente su ligandi (ML) con approcci basati sulla struttura (fisica), utilizzando il dataset pubblico BELKA (3 target: sEH, BRD4, HSA).

• Analisi dei Dati e Split:

  • Classificazione delle molecole di test in tre categorie: In-Distribution (ID, stesso scaffold e mattoni), Near-Distribution (ND, nuovo scaffold, stessi mattoni), e Out-of-Distribution (OOD, nuovo scaffold e nuovi mattoni).
  • Valutazione dell'impatto della composizione del dataset, inclusa la rimozione (downsampling) delle molecole "non-hit" (che costituiscono il 99.46% dei dati) per testare la robustezza del modello.
  • Test di strategie di splitting casuali (random splits) per verificare se l'addestramento su dati OOD migliorasse le prestazioni.

• Modelli di Machine Learning:

  • Utilizzo di architetture standardizzate (MLP - Multilayer Perceptrons) con diverse codifiche molecolari (ECFP4, MACCS, APDP, grafi).
  • Implementazione di invarianza alla permutazione per i mattoni costruttivi 2 e 3 (BB2, BB3) per gestire la libertà rotazionale.
  • Integrazione di "feature" derivate dalla fisica (impronte digitali PLIP - Protein-Ligand Interaction Profiler) ottenute da docking strutturale, concatenate con le fingerprint chimiche.

• Metodi Basati sulla Struttura (Docking e Co-folding):

  • Confronto di tre metodi principali su un set di ~165k molecole OOD:
    1. Glide (Schrödinger): Docking molecolare classico con griglia predefinita.
    2. GALigandDock (Rosetta): Docking con flessibilità del recettore.
    3. Boltz-2: Un modello di fondazione per il "co-folding" (predizione simultanea di proteina e ligando).
  • Pre-elaborazione specifica: Sostituzione del tag DNA con un linker PEG3 per evitare steriche non realistiche e uso di DiffDock-L per identificare i siti di legame corretti (specialmente per sEH).

• Strumento Open-Source:

  • Sviluppo e rilascio di DEL-iver, un pacchetto Python per l'analisi, la modellazione e l'estensione dell'identificazione di hit dalle schermate DEL.

3. Risultati Chiave

• Limiti del ML Puro:

  • I modelli ML eccellono nel predire molecole In-Distribution (es. AP = 0.902 per sEH su ID), ma le prestazioni crollano drasticamente su dati OOD (es. AP = 0.001 per sEH su OOD), avvicinandosi al caso casuale.
  • La rimozione del 90% delle molecole "non-hit" dal set di addestramento non ha degradato significativamente le prestazioni, suggerendo che la qualità e la composizione del dataset sono più importanti della dimensione assoluta.
  • L'addestramento su dati OOD (split casuali) ha migliorato le prestazioni per BRD4 ma ha degradato quelle per sEH e HSA, indicando una forte dipendenza dal target.

• Superiorità dei Metodi Strutturali (in casi specifici):

  • Boltz-2 ha mostrato le migliori prestazioni nel discriminare gli hit per BRD4 su dati OOD (AUROC = 0.947 vs 0.619 per il ML), superando significativamente i metodi di docking tradizionali.
  • GALigandDock è risultato superiore per sEH (AUROC = 0.915 vs 0.501 per il ML).
  • Glide ha mostrato prestazioni migliori rispetto agli altri metodi strutturati solo su set In-Distribution per sEH.
  • In sintesi, non esiste un metodo "migliore" universale; la scelta ottimale dipende dal target biologico e dallo spazio chimico dei ligandi.

• Integrazione ML-Fisica:

  • L'aggiunta di feature strutturali (PLIP) ai modelli ML ha portato a miglioramenti marginali e inconsistenti. In alcuni casi, feature derivate da un metodo di docking che performava bene (es. Boltz-2 per BRD4) hanno peggiorato le prestazioni del modello ML, suggerendo che la capacità di discriminare gli hit non si traduce automaticamente in feature ottimali per l'apprendimento automatico.

• Analisi delle Pose:

  • L'analisi delle pose predette (RMSD) e della superficie accessibile al solvente (SASA) ha mostrato che i metodi con le migliori capacità di discriminazione degli hit tendono a produrre pose con una SASA maggiore, indicando un posizionamento più realistico del ligando rispetto al linker DNA.

4. Contributi Principali

1. Valutazione Sistematica: Prima analisi completa che confronta direttamente ML, docking e co-folding su un dataset DEL reale e diversificato, evidenziando il divario tra prestazioni "in-distribution" e "out-of-distribution".
2. Linee Guida per la Generalizzazione: Dimostrazione che la generalizzazione a nuovi scaffold chimici rimane una sfida aperta e che la semplice scalabilità dei dati non risolve il problema senza una corretta rappresentazione fisica o diversità strutturale.
3. Dipendenza dal Target: Evidenziazione che l'efficacia dei metodi di screening virtuale è fortemente dipendente dal target proteico specifico e dalla classe chimica dei ligandi.
4. Risorsa Open-Source (DEL-iver): Rilascio di un pacchetto software completo che include pipeline di analisi, generazione di embedding, addestramento di modelli ML, e strumenti di visualizzazione, rendendo accessibile la tecnologia a chimici computazionali e non.
5. Dataset e Modelli: Pubblicazione delle strutture dockate e co-foldate generate nello studio per il futuro benchmarking della comunità scientifica.

5. Significato e Conclusioni

Il lavoro conclude che, nonostante i progressi nel Machine Learning, la predizione affidabile di nuovi farmaci al di fuori dello spazio chimico delle librerie DEL (OOD) non può essere garantita da modelli puramente basati sui dati.

• Raccomandazione: È fondamentale condurre test pilota rigorosi e specifici per il target prima di lanciare campagne di screening virtuali su larga scala.
• Strategia Ibrida: L'integrazione di metodi basati sulla fisica (come il co-folding con Boltz-2 o il docking avanzato) può superare i limiti del ML puro per certi target, ma non è una soluzione universale.
• Impatto Futuro: Lo strumento DEL-iver e le conclusioni del lavoro forniscono una roadmap per ottimizzare l'uso delle DEL nella scoperta di farmaci, spostando il focus dalla semplice raccolta di dati alla comprensione dei limiti di generalizzabilità dei modelli predittivi.