Large scale prospective evaluation of co-folding across 557 Mac1-ligand complexes and three virtual screens

Questo studio valuta su larga scala le prestazioni di metodi di co-piegamento basati sull'intelligenza artificiale (come AlphaFold3, Boltz-2 e Chai-1) nel predire strutture e affinità di complessi proteina-ligando, rivelando che, sebbene questi modelli non riescano a catturare tutte le riorganizzazioni conformazionali, le loro stime di affinità e i punteggi di docking integrati offrono un approccio promettente per la prioritizzazione degli hit nella scoperta di farmaci.

L'essenziale

🧬 Il Grande Esperimento: L'AI che impara a "indossare" i farmaci

Immagina di dover trovare la chiave perfetta per aprire un lucchetto molto complicato (il virus o una malattia). In passato, gli scienziati cercavano queste chiavi provando milioni di forme diverse, sperando che una si adattasse. Oggi, usiamo l'Intelligenza Artificiale (AI) per prevedere come queste chiavi (i farmaci) si inseriscono nel lucchetto (la proteina del virus) prima ancora di costruirle.

Questo studio ha messo alla prova i tre migliori "sarti" digitali del momento (chiamati AlphaFold3, Chai-1 e Boltz-2) per vedere se sono davvero bravi a cucire i farmaci addosso alle proteine, o se stanno solo "memorizzando" i vestiti che hanno già visto.

Ecco cosa è successo, diviso in due grandi avventure.

---

🏆 Avventura 1: La Prova del Fuoco (557 Nuovi Farmaci)

I ricercatori hanno preso 557 nuovi farmaci contro il virus SARS-CoV-2 (quello del COVID), che sono stati scoperti dopo che questi programmi di AI avevano finito di studiare. È come se avessimo dato ai sarti dei nuovi tessuti che non avevano mai visto prima, per vedere se sapevano ancora cucire bene.

Cosa hanno scoperto?

• I sarti AI sono stati fantastici: Tutti e tre i programmi sono riusciti a prevedere la forma esatta del farmaco nel lucchetto con una precisione incredibile (più del 50% dei casi era perfetto).
• Meglio dei vecchi metodi: I metodi tradizionali (come il "Docking", che è come provare a forzare la chiave a mano) hanno fatto un po' più di fatica e hanno sbagliato più spesso.
• Il trucco? Anche se i programmi non hanno capito tutti i piccoli movimenti della proteina (come se la proteina si fosse allungata per accogliere il farmaco), hanno comunque indovinato dove mettere il farmaco. È come se avessero indovinato dove mettere il piede in una scarpa, anche se non avevano previsto che la scarpa si sarebbe allargata un po'.

La morale: L'AI è bravissima a prevedere la forma esatta di un farmaco quando sa già che quel farmaco funziona.

---

🕵️‍♂️ Avventura 2: L'Ago nel Pagliaio (Cercare l'ago tra i pagliai)

Poi, i ricercatori hanno fatto una prova più difficile. Hanno preso delle liste enormi di milioni di molecole, dove c'erano pochi veri farmaci (gli "aghi") e tantissimi falsi positivi (i "pagliai" che sembrano aghi ma non lo sono). L'obiettivo era: chi riesce a separare meglio gli aghi veri dai pagliai?

Qui le cose si sono messe male per l'AI.

• I vecchi metodi (Docking) hanno vinto: I programmi tradizionali, che sono molto veloci e usano la fisica per calcolare le forze, sono stati molto bravi a dire: "Questo è un vero farmaco, questo è spazzatura".
• L'AI ha perso il suo filo: I programmi di AI (come AlphaFold3) si sono confusi. Hanno pensato che molti "pagliai" fossero "aghi" perfetti. Non sono riusciti a distinguere bene tra chi funziona e chi no in mezzo a una folla così disordinata.
• Perché? L'AI è stata addestrata a riconoscere schemi di successo. Quando le ha dato un mucchio di cose che sembravano funzionare ma non lo facevano, si è fidata troppo del suo "istinto" e ha fatto errori.

La morale: L'AI è un genio nel disegnare il farmaco perfetto una volta che lo hai trovato, ma è meno brava a cercarlo in mezzo a milioni di candidati sconosciuti.

---

💡 Le Analogie Chiave

1. L'AI come un Sarto Esperto:

   • Se gli dai un tessuto che assomiglia a quelli che ha già cucito, fa un abito perfetto (Avventura 1).
   • Ma se lo metti in un magazzino pieno di stracci e gli chiedi di trovare l'unico vestito che sta bene a un cliente, si confonde e prova a vestire anche gli stracci (Avventura 2).

2. Il Docking come un Ispettore Fisico:

   • È più lento e usa regole rigide (come la gravità o l'elettricità), ma è molto onesto. Se qualcosa non sta fisicamente bene, lo scarta subito. È meno "creativo" ma più affidabile per setacciare grandi quantità di roba.

3. La Collaborazione Perfetta:

   • Il vero segreto non è scegliere uno dei due, ma usarli insieme.
   • Usa il metodo fisico (Docking) per fare una prima selezione veloce tra milioni di opzioni (trovare gli aghi).
   • Poi, prendi i pochi candidati promettenti e passa all'AI (Co-folding) per disegnare il progetto perfetto, capire esattamente come si lega e ottimizzarlo.

🚀 Conclusione Semplice

Questo studio ci dice che l'Intelligenza Artificiale nel campo dei farmaci è molto potente, ma non è magica.

• È eccellente per capire come un farmaco funziona e per migliorarlo una volta che lo abbiamo trovato.
• È meno efficace da sola per cercare nuovi farmaci in librerie enormi e caotiche.

Il futuro della medicina non sarà "AI contro Vecchi Metodi", ma "Vecchi Metodi per trovare, AI per perfezionare". Insieme, possono accelerare la scoperta di cure salvavita molto più velocemente di quanto potremmo fare da soli.

Sommario tecnico

Titolo dello Studio

Valutazione prospettica su larga scala del co-folding su 557 complessi Mac1-ligando e tre screening virtuali

1. Il Problema

La previsione accurata delle strutture dei complessi proteina-ligando e il loro ranking in base all'affinità sono problemi centrali nella scoperta di farmaci. Sebbene i metodi di co-folding basati sul deep learning (come AlphaFold3, Chai-1 e Boltz-2) promettano di superare i limiti del docking tradizionale permettendo di esplorare la variabilità conformazionale della proteina "on-the-fly" e di prevedere l'affinità, la loro valutazione è stata finora ostacolata da due fattori principali:

1. La difficoltà di garantire l'indipendenza dai dati di addestramento (rischio di memorizzazione).
2. L'assenza di set di test sufficientemente grandi e prospettici.

Molti studi precedenti hanno mostrato che il successo del co-folding potrebbe essere legato alla somiglianza strutturale con le strutture presenti nel set di addestramento, suggerendo una "memorizzazione" piuttosto che una vera comprensione fisica delle interazioni.

2. Metodologia

Gli autori hanno condotto una valutazione rigorosa e prospettica utilizzando due benchmark distinti:

A. Benchmark Mac1 (SARS-CoV-2 Macrodomain):

• Dataset: 557 complessi ligando-Mac1 risolti tramite cristallografia a raggi X (risoluzione ~1 Å) durante una campagna di drug discovery attiva. Questi dati sono stati generati dopo le date di taglio per l'addestramento dei modelli (es. AF3: 30 settembre 2021; Boltz-2: 30 giugno 2023).
• Dati: I ligandi sono topologicamente diversificati (cluster basati su MCS e Tanimoto coefficient), rappresentando una tipica campagna industriale di ottimizzazione. Solo 202 di questi hanno dati di potenza (IC50) completi.
• Metodi Testati: AlphaFold3 (AF3), Chai-1, Boltz-2 e, come controllo, il docking classico DOCK3.7.
• Metriche: Valutazione della precisione della posa (RMSD < 2 Å), capacità di prevedere cambiamenti conformazionali della proteina (es. loop opening, flip peptidico), correlazione tra punteggi di confidenza del modello e accuratezza della posa, e correlazione tra punteggi di affinità e potenza sperimentale.

B. Benchmark di Ri-ranking (Virtual Screening Hit-lists):

• Dataset: Tre set di dati provenienti da screening prospettici su larga scala contro tre target diversi: AmpC β-lattamasi, recettore σ₂ e recettore della dopamina D4.
• Composizione: Centinaia di molecole (da 500 a 1500) selezionate dai primi posti di screening di librerie da centinaia di milioni/miliardi di composti. Ogni set contiene un mix di veri ligandi (attivi) e falsi positivi (composti con buon punteggio di docking ma inattivi sperimentalmente).
• Obiettivo: Valutare se i punteggi di co-folding possono distinguere meglio i veri ligandi dai falsi positivi rispetto ai punteggi di docking tradizionali.

3. Contributi Chiave

• Dataset Indipendente di Grande Scala: Creazione e utilizzo di un set di 557 strutture cristallografiche Mac1 non presenti nei dati di addestramento dei modelli, offrendo un test "blind" reale per la validazione del co-folding.
• Analisi Comparativa: Confronto diretto tra metodi di deep learning (co-folding) e metodi basati sulla fisica (docking) su due compiti distinti: previsione di pose per ligandi noti e ri-ranking di hit-lists eterogenee.
• Valutazione della Memorizzazione: Analisi dettagliata della correlazione tra la similarità chimica con i dati di addestramento e l'accuratezza della previsione, per quantificare il rischio di "hallucination" o memorizzazione.

4. Risultati Principali

A. Previsione delle Posa (Benchmark Mac1):

• Accuratezza: AF3 e Chai-1 hanno superato DOCK3.7, prevedendo correttamente (>2 Å RMSD) circa il 70% dei ligandi, mentre Boltz-2 ha raggiunto il 52% e DOCK3.7 il 41%.
• Memorizzazione: Non è stata trovata una correlazione significativa tra l'accuratezza della posa (RMSD) e la similarità chimica (Tc o MCS%) con i ligandi di addestramento. I modelli sono riusciti a prevedere pose accurate anche per ligandi con bassa similarità ai dati di training.
• Conformazioni Proteiche: Nonostante l'alta accuratezza nella posa del ligando, i modelli di co-folding non sono riusciti a prevedere i grandi riarrangiamenti conformazionali della proteina (es. apertura di loop o flip del backbone) osservati sperimentalmente. Spesso la posa del ligando era corretta anche quando la conformazione della proteina era errata.
• Correlazione con l'Affinità:
  • Boltz-2: Ha mostrato la correlazione più forte tra il punteggio di affinità predetto (pIC50) e la potenza sperimentale (r = 0.6), con un errore medio assoluto (MAE) di ~0.7 kcal/mol dopo calibrazione lineare.
  • AF3/Chai-1: I punteggi di confidenza (L-pLDDT, ipTM) correlano debolmente ma significativamente con la potenza, e meglio di DOCK3.7.

B. Ri-ranking di Hit-lists (Benchmark AmpC, σ₂, D4):

• Distinguere Attivi da Inattivi: In questo scenario più difficile (ligandi eterogenei e molti falsi positivi), il co-folding non ha superato il docking.
  • DOCK3.7: Ha mostrato una buona capacità di separazione (AUC ~76-79) tra veri ligandi e falsi positivi.
  • AF3: Ha fallito nel distinguere gli attivi dagli inattivi (AUC ~46-60, spesso peggio del caso casuale per D4 e σ₂).
  • Boltz-2: Ha mostrato prestazioni intermedie, migliori di AF3 ma generalmente inferiori o pari a DOCK3.7 nella capacità di discriminazione.
• Conclusione: I metodi di co-folding non riescono a identificare efficacemente i "falsi positivi" in una lista di screening eterogenea, un compito in cui il docking, nonostante la sua velocità e le approssimazioni fisiche, rimane superiore.

5. Significato e Conclusioni

Lo studio rivela un paradosso apparente ma illuminante:

1. Ottimizzazione di Serie (Lead Optimization): Il co-folding è superiore al docking nella previsione accurata delle pose e nella stima dell'affinità per serie di ligandi noti e simili (come nella fase di ottimizzazione di un hit). I modelli sembrano aver imparato pattern di interazione specifici che permettono di riprodurre fedelmente le strutture, anche senza modellare correttamente la dinamica proteica.
2. Scoperta di Nuovi Hit (Hit Discovery): Il co-folding non è ancora efficace nel ri-ranking di librerie virtuali massive e diversificate per distinguere i veri leganti dai falsi positivi. In questo contesto, i metodi basati sulla fisica (docking) rimangono più robusti.

Implicazioni Future:
I risultati suggeriscono che i metodi di co-folding e il docking non sono in competizione, ma complementari.

• Il docking è ideale per l'esplorazione di spazi chimici vasti e la selezione iniziale di candidati (screening).
• Il co-folding è ideale per la successiva ottimizzazione, la previsione precisa delle pose e la stima dell'affinità per i candidati selezionati.

L'integrazione di approcci basati sulla fisica e di deep learning potrebbe quindi migliorare i pipeline di scoperta di farmaci, sfruttando i punti di forza di ciascun metodo nelle diverse fasi del processo.