PoseBusters: AI-based docking methods fail to generate physically valid poses or generalise to novel sequences

Questo articolo presenta PoseBusters, uno strumento di validazione che dimostra come gli attuali metodi di docking proteina-ligando basati sul deep learning spesso falliscano nel generare strutture fisicamente plausibili o nel generalizzare su nuove sequenze, sottoperformando così rispetto agli strumenti di docking classici che incorporano meglio i principi fisici essenziali.

L'essenziale

Immagina di cercare di trovare la chiave perfetta per adattarsi a una serratura molto specifica e complessa. Nel mondo della scoperta di farmaci, il "lucchetto" è una proteina nel tuo corpo, e la "chiave" è un potenziale medicinale (una molecola). Il processo di capire esattamente come quella chiave si inserisce nel lucchetto è chiamato docking.

Per anni, gli scienziati hanno utilizzato programmi informatici tradizionali basati su regole per fare questo. Recentemente, una nuova ondata di programmi "AI" (Deep Learning) è arrivata, promettendo di svolgere il lavoro in modo più veloce e migliore. Questi modelli AI sono come studenti brillanti che hanno memorizzato milioni di esempi di chiavi e serrature.

Ecco una semplice analisi di ciò che il paper ha scoperto:

1. La trappola dell' "RMSD": Sembra buono sulla carta

Gli scienziati di solito giudicano quanto sia bravo un programma di docking misurando l'RMSD. Pensa all'RMSD come a un righello. Se l'AI predice dove va la chiave, e questa predizione è entro 2 millimetri (Angstrom) da dove la chiave si trova realmente in una foto dal vivo (una struttura cristallina), l'AI riceve un voto sufficiente.

Il paper ha scoperto che molti programmi AI ottengono punteggi alti in questo test del righello. Dicono: "Guarda! Siamo accurati al 90%!"

2. Il controllo della realtà: La chiave "impossibile"

Il problema è che questi programmi AI, essendo così concentrati sul far corrispondere la misura del righello, a volte creano chiavi fisicamente impossibili.

Immagina che l'AI predica una chiave che:

• Ha un legame (una connessione tra atomi) che è così teso da potersi spezzare come un ramoscello secco.
• Ha una forma ad anello che è attorcigliata come un pretzel, anche se la chimica dice che dovrebbe essere piatta come un pancake.
• Ha due parti della chiave che si scontrano tra loro come due auto che cercano di passare attraverso la stessa porta contemporaneamente.

Il paper chiama queste strutture "fisicamente implausibili". È come se l'AI avesse disegnato l'immagine di una chiave che sembra corretta da lontano, ma se provassi a costruirla, si romperebbe o danneggerebbe la serratura.

3. Entra in gioco PoseBusters: L'ispettore

Per catturare queste cattive predizioni, gli autori hanno costruito uno strumento chiamato PoseBusters. Pensa a PoseBusters come a un rigoroso ispettore edilizio o a un responsabile del controllo qualità.

Invece di misurare solo il righello (RMSD), PoseBusters controlla le "leggi della fisica" per ogni predizione:

• Validità Chimica: La molecola ha senso dal punto di vista chimico? (ad es. La carica è corretta? Gli atomi sono collegati correttamente?)
• Geometria: Gli anelli sono piatti? I legami hanno la lunghezza corretta?
• Scontri (Clashes): La chiave si è scontrata con il lucchetto o con altre parti della macchina?

Se una predizione fallisce questi controlli, viene contrassegnata come "invalida", indipendentemente da quanto fosse buono il valore del righello.

4. La grande rivelazione: Vecchio vs Nuovo

I ricercatori hanno testato cinque nuovi metodi di docking basati su AI contro due metodi tradizionali più vecchi (AutoDock Vina e Gold).

• Su serrature familiari (Dati di addestramento): Quando l'AI è stata testata su serrature che aveva già visto durante il suo addestramento, sembrava incredibile nel test del righello. Un'AI (DiffDock) sembrava addirittura battere i vecchi metodi.
• Il filtro della "Fisica": Ma quando PoseBusters ha controllato la fisica, le prestazioni dell'AI sono crollate drasticamente. Molte delle sue predizioni "perfette" erano in realtà strutture impossibili. I vecchi metodi tradizionali, pur essendo leggermente più lenti, producevano chiavi che erano sia accurate che fisicamente possibili.
• Su serrature nuove e sconosciute (Benchmark Set): Quando i ricercatori hanno testato l'AI su serrature completamente nuove che non aveva mai visto (un "Benchmark Set"), l'AI ha faticato molto. Non riusciva a generalizzare. I vecchi metodi, che si affidano a regole fisiche piuttosto che alla semplice memorizzazione di pattern, gestivano molto meglio queste nuove serrature.

5. Il "tocco magico" non risolve tutto

Gli autori hanno cercato di aiutare l'AI aggiungendo una fase di "rifinitura" dopo la predizione, utilizzando un motore fisico (chiamato campo di forza) per levigare le forme strane.

• Il risultato: Questo ha aiutato l'AI a sistemare alcune delle sue chiavi rotte, ma non l'ha resa migliore dei vecchi metodi tradizionali. I vecchi metodi partivano già da una base solida; l'AI doveva cercare di riparare una base rotta.

Il succo della questione

Il paper conclude che i metodi di docking basati sull'AI non sono ancora pronti a sostituire gli strumenti tradizionali.

Sebbene siano veloci e possano indovinare la posizione corretta, spesso ignorano le leggi base della chimica e della fisica. Per essere davvero "all'avanguardia", un metodo deve superare due test:

1. Il Test del Righello: Si trova nel posto giusto?
2. Il Test della Fisica: È un oggetto reale e costruibile?

Attualmente, i metodi tradizionali superano entrambi. I metodi AI superano il primo, ma spesso falliscono il secondo. Gli autori sperano che, utilizzando il proprio strumento "PoseBusters", gli sviluppatori possano correggere questi modelli AI affinché comprendano meglio la fisica, portando in futuro a predizioni farmacologiche veramente accurate.

Sommario tecnico

Problema
Gli ultimi anni hanno visto l'emergere di numerosi metodi di docking proteina-ligando basati sul deep learning (DL), che promettono miglioramenti significativi in termini di velocità e accuratezza per la scoperta di farmaci basata sulla struttura. Tuttavia, è stato identificato un difetto critico: sebbene questi metodi riportino spesso prestazioni allo stato dell'arte basate sulla deviazione quadratica media (RMSD) delle modalità di legame predette rispetto alle strutture cristalline, essi generano frequentemente strutture molecolari fisicamente implausibili. Queste strutture possono violare regole chimiche fondamentali, come lunghezze di legame errate, anelli aromatici distorti o gravi ingombri sterici tra il ligando e la proteina. Di conseguenza, valutare i metodi di docking esclusivamente sulla RMSD è insufficiente, in particolare per gli approcci basati su DL che potrebbero mancare dei "bias induttivi" intrinseci nei metodi classici basati sulla fisica per garantire la coerenza chimica e il realismo fisico.

Metodologia
Per colmare questa lacuna, gli autori introducono PoseBusters, un pacchetto Python che utilizza il toolkit di cheminformatica RDKit per eseguire una suite completa di controlli di qualità sulle predizioni di docking. La suite di test valida tre categorie di proprietà:

1. Validità e Coerenza Chimica: I controlli includono la sanitizzazione RDKit, la preservazione della formula molecolare, la connettività dei legami, la chiralità tetraedrica e la stereochimica del doppio legame rispetto al ligando di input.
2. Validità Intramolecolare: Questo gruppo valuta la plausibilità fisica del ligando stesso, inclusi legami e angoli (entro il 25% dei limiti di geometria dei legami), la planarità degli anelli aromatici e dei doppi legami (entro 0,25 Å), gli ingombri sterici interni e i rapporti di energia conformazionale (utilizzando l'Universal Force Field, UFF).
3. Validità Intermolecolare: Questo gruppo valuta le interazioni tra il ligando e il suo ambiente, controllando gli ingombri tra proteina-ligando e ligando-cofattore basati sui raggi di van der Waals (con una soglia di 0,75) e la sovrapposizione di volume (limitando l'intersezione a <7,5%).

Gli autori hanno applicato PoseBusters per valutare sette metodi di docking: cinque approcci basati su DL (DeepDock, DiffDock, EquiBind, TankBind e Uni-Mol) e due metodi classici stabiliti (AutoDock Vina e CCDC Gold). La valutazione è stata condotta su due dataset:

• Astex Diverse Set: Un benchmark standard contenente 85 complessi, molti dei quali si sovrappongono ai dati di addestramento dei metodi DL.
• PoseBusters Benchmark Set: Un nuovo e rigoroso set di test di 308 complessi di alta qualità rilasciato dopo il 2021, che garantisce l'assenza di sovrapposizione con i dati di addestramento (PDBbind General Set v2020) dei metodi DL testati. Questo set è stato utilizzato per valutare la generalizzazione a nuove sequenze e strutture.

Inoltre, gli autori hanno eseguito la minimizzazione dell'energia post-docking utilizzando campi di forza di meccanica molecolare (AMBER ff14sb e Sage) sulle predizioni DL per determinare se la plausibilità fisica potesse essere recuperata attraverso il raffinamento classico.

Contributi Chiave

• Suite di Test PoseBusters: Lo sviluppo di uno strumento open-source che identifica sistematicamente pose di ligandi chimicamente incoerenti e fisicamente implausibili, andando oltre le semplici metriche RMSD.
• Benchmarking Rigoroso: Un'analisi comparativa che dimostra come gli attuali metodi di docking basati su DL non riescano a generalizzare a nuove sequenze e producano spesso strutture non valide, anche quando raggiungono punteggi RMSD bassi.
• Identificazione della Fisica Mancante: L'evidenza che i metodi DL mancano di specifici bias induttivi riguardanti la geometria chimica e i vincoli sterici, che sono naturalmente codificati nei campi di forza classici.

Risultati

• Performance su Astex Diverse Set: Sebbene DiffDock apparisse superiore basandosi solo sulla RMSD (72% delle predizioni entro 2 Å), le sue prestazioni sono diminuite significativamente quando è stata considerata la plausibilità fisica (47% PB-valid). I metodi classici (Gold e AutoDock Vina) hanno superato tutti i metodi DL quando erano richiesti sia la RMSD che la validità fisica.
• Performance su PoseBusters Benchmark Set: Su questi dati non visti, il divario si è ampliato. Gold e AutoDock Vina sono rimasti i migliori performer. Il miglior metodo DL, DiffDock, ha raggiunto solo il 12% di validità PB, mentre altri metodi DL (EquiBind, Uni-Mol, TankBind) hanno generato quasi nessuna posa fisicamente valida.
• Generalizzazione e Overfitting: I metodi DL hanno performato significativamente peggio su proteine con bassa identità di sequenza (<30%) rispetto ai loro set di addestramento, suggerendo un grave overfitting sui target di addestramento.
• Impatto della Minimizzazione dell'Energia: L'applicazione della minimizzazione dell'energia post-docking ha migliorato significativamente la plausibilità fisica delle predizioni DL (aumentando il numero di pose valide), indicando che i campi di forza contengono la fisica rilevante per il docking mancante nei modelli DL attuali. Tuttavia, anche con questo raffinamento, i metodi DL non hanno superato gli strumenti classici.
• Modalità di Fallimento Specifiche: Lo studio ha identificato modelli di fallimento distinti per ogni metodo DL, come TankBind che trascura la stereochimica, Uni-Mol che predice lunghezze di legame non standard ed EquiBind che genera ingombri proteina-ligando.

Significatività
L'articolo sostiene che l'attuale standard di valutazione dei metodi di docking basato esclusivamente sulla RMSD è inadeguato e fuorviante. Asserisce che affinché un metodo sia considerato "stato dell'arte", deve non solo predire modalità di legame simili alla nativa, ma anche generare strutture chimicamente coerenti e fisicamente plausibili. Gli autori affermano che PoseBusters fornisce un framework necessario per identificare i bias induttivi mancanti nei modelli di deep learning. Evidenziando che gli attuali metodi DL non superano ancora gli strumenti di docking classici quando viene considerata la realtà fisica, il lavoro mira a guidare lo sviluppo di metodi di predizione più accurati e realistici che integrino la velocità del deep learning con il rigore fisico dei campi di forza classici.