Large scale prospective evaluation of co-folding across 557 Mac1-ligand complexes and three virtual screens

Diese prospektive Studie bewertet die Leistungsfähigkeit von Deep-Learning-Co-Folding-Methoden wie AlphaFold3, Boltz-2 und Chai-1 an 557 neu bestimmten Mac1-Ligand-Komplexen und drei virtuellen Screens, wobei sich zeigt, dass diese Modelle zwar viele Ligandenposen akkurat vorhersagen, aber konformationelle Änderungen oft nicht erfassen und eine Kombination aus physikbasierten Docking-Scores und KI-gestützten Affinitätsvorhersagen die beste Strategie für das Hit-Prioritizing darstellt.

Das Wesentliche

🧩 Das große Experiment: KI gegen den alten Docking-Computer

Stellen Sie sich vor, Sie versuchen, einen Schlüssel (ein Medikament) in ein Schloss (ein Virus-Protein) zu stecken. Das Ziel ist es, das Schloss zu blockieren, damit das Virus nicht mehr funktioniert.

Früher haben Wissenschaftler das mit einem sehr schnellen, aber etwas groben Computerprogramm gemacht, das wir „Docking" nennen. Das ist wie ein schneller Mechaniker, der tausende Schlüssel durchprobiert, aber manchmal den falschen Schlüssel nimmt, nur weil er grob in das Schloss passt.

In den letzten Jahren gab es einen neuen Helden: KI-Modelle (wie AlphaFold3, Chai-1 und Boltz-2). Diese sind wie hochintelligente Architekten, die nicht nur den Schlüssel, sondern auch das Schloss im Detail verstehen und vorhersagen können, wie sich das Schloss verformt, wenn der Schlüssel reingeht.

Die Frage war: Sind diese neuen KI-Architekten wirklich besser als der alte schnelle Mechaniker?

Um das herauszufinden, haben die Forscher ein riesiges Experiment durchgeführt.

🧪 Teil 1: Der Test mit den 557 Schlüsseln (Mac1-Protein)

Die Forscher hatten eine riesige Sammlung von 557 neuen Schlüsseln, die sie gegen ein SARS-CoV-2-Protein (Mac1) getestet hatten. Sie kannten die perfekte Passform für alle diese Schlüssel aus echten Experimenten (Röntgenaufnahmen).

Was passierte?

• Die KI-Modelle waren beeindruckend. Sie konnten in über 50 % der Fälle den Schlüssel fast perfekt in das Schloss legen (besser als 2 Angström Abweichung). Das ist wie wenn Sie eine Nadel in ein Heuhaufen stecken und die KI sagt: „Hier ist sie!" und sie liegt genau richtig.
• Der alte Docking-Computer war etwas ungenauer.
• Aber: Die KI war nicht perfekt. Sie konnte manchmal nicht vorhersagen, wenn sich das Schloss selbst verformte, um den Schlüssel besser zu halten (wie ein Schloss, das sich öffnet, um den Schlüssel aufzunehmen). Die KI dachte oft, das Schloss bleibe starr.

Die Moral: Wenn man schon weiß, dass ein Schlüssel funktioniert, ist die KI super, um zu verstehen, wie genau er passt.

🎯 Teil 2: Die große Suche im Riesen-Heuhaufen (Virtuelle Screens)

Jetzt wurde es schwieriger. Die Forscher nahmen drei riesige Listen mit Millionen von Schlüsseln, die sie noch nie gesehen hatten. Darin waren ein paar echte Treffer (die funktionieren) und tausende von „Schein-Treffern" (die aussehen, als würden sie passen, aber in Wirklichkeit gar nicht funktionieren).

Das Ziel: Die echten Treffer von den Fälschungen unterscheiden.

Das Ergebnis war überraschend:

• Der alte Docking-Computer (der schnelle Mechaniker) war hier oft besser! Er konnte die echten Treffer gut von den Fälschungen trennen.
• Die KI-Modelle hatten hier große Mühe. Sie waren oft verwirrt. Sie sagten manchmal: „Oh, dieser Schlüssel sieht toll aus!" – und es war eine Fälschung. Oder sie übersahen echte Treffer.
• Die KI war auch nicht viel besser darin, vorherzusagen, wie stark ein Schlüssel das Schloss blockiert (die „Potenz").

Warum?
Stellen Sie sich vor, die KI hat gelernt, wie Schlüssel in bekannte Schlösser passen. Wenn sie aber völlig neue, fremde Schlüssel sieht, die in einem riesigen Heuhaufen versteckt sind, verlässt sie sich zu sehr auf das, was sie schon kennt, und übersieht die Details. Der alte Docking-Computer hingegen schaut nur auf die physikalische Form: „Passt das hier rein? Ja/Nein." Das ist bei der Suche nach neuen Dingen manchmal robuster.

💡 Was lernen wir daraus? (Die große Erkenntnis)

Die Studie sagt uns nicht, dass die KI schlecht ist. Sie sagt uns, dass beide Methoden ihre Stärken haben und sich gegenseitig brauchen:

1. Für die Suche (Discovery): Wenn Sie in einer riesigen Bibliothek nach einem neuen Medikament suchen, ist der schnelle Docking-Computer immer noch der beste „Fänger". Er filtert die Millionen von Kandidaten schnell heraus.
2. Für die Optimierung (Optimization): Wenn Sie einen Kandidaten gefunden haben und wissen wollen, wie genau er funktioniert oder wie Sie ihn verbessern können, ist die KI der bessere „Architekt". Sie kann die feinen Details der Bindung vorhersagen, die der alte Computer übersieht.

🏁 Fazit in einem Satz

Die neuen KI-Modelle sind genial darin, zu verstehen, wie ein Medikament wirklich funktioniert, sobald man es gefunden hat, aber beim Finden neuer Medikamente in riesigen Datenmengen sind sie dem bewährten, schnellen Docking-Verfahren noch nicht überlegen. Die beste Strategie ist also, beide zusammenzuarbeiten: Erst den schnellen Computer nutzen, um Kandidaten zu finden, und dann die KI, um sie zu verfeinern.

Technische Zusammenfassung

Titel: Groß angelegte prospektive Evaluation von Co-Folding über 557 Mac1-Ligand-Komplexe und drei virtuelle Screens

1. Problemstellung

Die genaue Vorhersage von Protein-Ligand-Komplexen und deren Ranking nach Affinität sind zentrale Herausforderungen in der Wirkstoffentwicklung. Während Deep-Learning-Methoden wie AlphaFold2 die Proteinstrukturvorhersage revolutioniert haben, bleibt die Bewertung neuer "Co-Folding"-Methoden (die Protein und Ligand gleichzeitig falten) schwierig.

• Herausforderungen: Bestehende Evaluierungen leiden oft unter mangelnder Unabhängigkeit von den Trainingsdaten (Risiko von "Memorization" oder Auswendiglernen) und unzureichend großen Testsets.
• Ziel: Es besteht ein Bedarf an rigorosen, groß angelegten prospektiven Tests, um die Fähigkeiten von Co-Folding-Modellen (AlphaFold3, Chai-1, Boltz-2) zu validieren, insbesondere bei der Vorhersage von Bindungsmodi, Konformationsänderungen und Affinitäten für Liganden, die nicht in den Trainingsdaten enthalten waren.

2. Methodik

Die Studie vergleicht drei führende Co-Folding-Methoden (AlphaFold3/AF3, Chai-1, Boltz-2) mit einem etablierten physikbasierten Docking-Verfahren (DOCK3.7) in zwei Hauptbenchmark-Szenarien:

• Benchmark 1: SARS-CoV-2 Mac1 (NSP3-Makrodomäne)

  • Datensatz: 557 neu aufgeklärte Röntgenkristallstrukturen von Liganden, die an die Mac1 binden. Diese Daten wurden nach den Trainings-Cutoff-Daten der Modelle generiert (prospektiv).
  • Charakterisierung: Die Liganden sind strukturell vielfältig (basierend auf ECFP4-Tanimoto-Koeffizienten und Maximum Common Substructure, MCS), aber viele teilen gemeinsame Gerüste. Nur 202 Liganden haben vollständig gemessene IC50-Werte.
  • Aufgabe: Vorhersage der Bindungspose (RMSD < 2 Å) und Korrelation der internen Konfidenzscores/Affinitätsschätzungen mit der experimentellen Potenz.

• Benchmark 2: Prospektive virtuelle Screens (Hit-Listen)

  • Zielproteine: AmpC β-Lactamase, Dopamin D4-Rezeptor und σ₂-Rezeptor.
  • Datensatz: Experimentell getestete Moleküle aus großen Docking-Screens (Milliarden von Verbindungen), die als "True Positives" (aktive Liganden) oder "False Positives" (hohe Docking-Scores, aber keine Bindung) klassifiziert wurden.
  • Aufgabe: Unterscheidung zwischen echten Bindern und Decoys in den Hit-Listen und Bewertung der Fähigkeit der Modelle, diese zu re-ranken.

3. Wichtige Beiträge und Ergebnisse

A. Vorhersage von Bindungsmodi (Mac1-Datensatz)

• Genauigkeit: AF3 und Chai-1 konnten >70 % der Liganden mit einem RMSD < 2 Å korrekt vorhersagen. Boltz-2 erreichte ~52 %. DOCK3.7 lag bei ~41 %. Co-Folding-Methoden übertrafen das klassische Docking deutlich bei der Pose-Vorhersage.
• Konformationsänderungen: Trotz der Versprechen, Proteindynamik zu erfassen, konnten die Modelle keine signifikanten experimentell beobachteten Konformationsänderungen (z. B. "Peptide Flip" oder große Loop-Öffnungen) korrekt vorhersagen. AF3 sagte falsche Konformationen voraus, wenn diese in der Kristallstruktur nicht vorhanden waren.
• Memorization vs. Generalisierung: Es gab keine signifikante Korrelation zwischen der Ähnlichkeit der Testliganden zu den Trainingsdaten (Tc oder MCS) und der Vorhersagegenauigkeit. Dies deutet darauf hin, dass die Modelle auch für strukturell diverse, neue Liganden funktionieren und nicht nur auswendig gelernt haben.
• Konfidenz vs. Genauigkeit: Die internen Konfidenzscores (AF3 L-pLDDT, Chai-1 ipTM) korrelierten signifikant mit der Pose-Genauigkeit (RMSD).

B. Affinitätsvorhersage (Mac1-Datensatz)

• Boltz-2: Zeigte die stärkste Korrelation mit experimentellen IC50-Werten (Pearson r ≈ 0,6) und erreichte nach Kalibrierung einen niedrigeren mittleren absoluten Fehler (MAE) als ein Baseline-Prädiktor.
• AF3 & Chai-1: Zeigten eine schwächere, aber signifikante Korrelation zwischen Konfidenzscores und Potenz.
• DOCK3.7: Die Docking-Energien korrelierten nur schwach mit der experimentellen Affinität.

C. Re-Ranking von Hit-Listen (AmpC, D4, σ₂)

• Diskriminierungsfähigkeit: Hier zeigten die Co-Folding-Methoden ihre Schwächen.
  • DOCK3.7 trennte aktive von inaktiven Molekülen am effektivsten (hohe AUC-Werte, z. B. 78,8 für σ₂).
  • AF3 und Boltz-2 konnten True Positives nicht besser von False Positives unterscheiden als das Docking; bei AF3 war die Trennung teilweise schlechter als Zufall (AUC < 50 für D4).
• Ursache: Die Co-Folding-Modelle scheinen Schwierigkeiten zu haben, hochdiverse, neue Chemotypen zu bewerten, die nicht den gelernten Mustern entsprechen, während Docking-Scoring-Funktionen in diesem "Filter"-Szenario robuster sind.

4. Signifikanz und Schlussfolgerungen

Die Studie liefert eine der umfassendsten unabhängigen Evaluierungen von Co-Folding-Methoden und führt zu folgenden Schlussfolgerungen:

1. Komplementarität der Methoden: Es gibt keine "One-Size-Fits-All"-Lösung.
   • Co-Folding (AF3, Boltz-2): Übertrifft das Docking bei der Strukturvorhersage bekannter Liganden und bei der Affinitätskorrelation innerhalb einer homologen Serie (Optimierung von Leitstrukturen). Sie sind ideal für das Verständnis von Bindungsmodi und die Feinabstimmung von Molekülen.
   • Docking (DOCK3.7): Bleibt überlegen bei der Identifizierung und Klassifizierung von Bindern in großen, hochdiversen virtuellen Bibliotheken (Hit-Discovery), wo Geschwindigkeit und die Fähigkeit, False Positives herauszufiltern, entscheidend sind.
2. Limitationen: Co-Folding-Modelle können derzeit keine großen Proteinkonformationsänderungen zuverlässig vorhersagen und neigen dazu, "Halluzinationen" zu produzieren, wenn die physikalischen Wechselwirkungen nicht mit den Trainingsmustern übereinstimmen.
3. Zukunftsperspektive: Die Integration von physikbasierten Docking-Ansätzen (für das Screening) und Deep-Learning-Co-Folding (für die Strukturvalidierung und Affinitätsoptimierung) bietet den vielversprechendsten Weg zur Verbesserung von Pipelines in der strukturabhängigen Wirkstoffentwicklung.

Zusammenfassend zeigt die Arbeit, dass Co-Folding ein mächtiges Werkzeug für die Optimierung von Leitstrukturen ist, aber das klassische Docking für das Screening großer Bibliotheken unverzichtbar bleibt.