On the Reliability of AI Methods in Drug Discovery: Evaluation of Boltz-2 for Structure and Binding Affinity Prediction

Die Studie zeigt, dass das KI-Modell Boltz-2 zwar für das schnelle Vorab-Screening nützlich ist, jedoch aufgrund unzureichender energetischer Korrelationen und struktureller Unsicherheiten keine verlässliche Alternative zu physikbasierten Methoden für die präzise Identifizierung von Wirkstoffkandidaten darstellt.

Das Wesentliche

🧪 Der KI-Test: Träumt die neue Software wirklich von perfekten Medikamenten?

Stellen Sie sich vor, Sie suchen nach dem perfekten Schlüssel für ein sehr kompliziertes Schloss (das ist Ihr Ziel-Protein im Körper). In der Vergangenheit mussten Wissenschaftler Tausende von Schlüsseln (Chemikalien) mit der Hand ausprobieren oder teure, langsame Maschinen nutzen, um zu sehen, welcher Schlüssel passt.

Jetzt gibt es eine neue, super-schnelle KI namens Boltz-2. Sie verspricht, in Sekunden zu erraten, welcher Schlüssel passt und wie fest er im Schloss sitzt. Die Hoffnung war: "Endlich können wir Medikamente in Rekordzeit finden!"

Aber diese neue Studie von Forschern am University College London hat einen großen Eimer kalten Wassers über diese Hype gegossen. Hier ist, was sie herausgefunden haben, einfach erklärt:

1. Der "Alles-oder-Nichts"-Effekt (Die Struktur)

Stellen Sie sich vor, Sie bitten einen KI-Roboter, ein Foto von einem Menschen zu zeichnen, der eine Tasse Kaffee hält.

• Die traditionelle Methode (Docking): Der Roboter nimmt ein Foto der Tasse und klebt es fest an die Hand. Es sieht vielleicht nicht perfekt aus, aber die Tasse ist da.
• Die KI-Methode (Boltz-2): Der Roboter ist sehr kreativ. Manchmal malt er die Tasse in die Hand, manchmal aber auch auf den Kopf oder in den Bauch.

Das Ergebnis der Studie:
Bei einem der beiden getesteten Proteine (3CLPro, wichtig für Viren) hat die KI oft völlig falsche Stellen für die Medikamente vorgeschlagen. Sie hat sich nicht auf eine richtige Stelle geeinigt, sondern hat viele verschiedene, oft unsinnige Positionen gemalt. Bei dem anderen Protein (TNKS2) war sie etwas besser, aber immer noch nicht perfekt.

• Die Lektion: Die KI ist wie ein Künstler, der viele Skizzen macht, aber nicht immer weiß, wo das Schloss wirklich ist.

2. Der "Glücksbringer"-Effekt (Die Vorhersage der Stärke)

Stellen Sie sich vor, Sie wollen wissen, wie fest ein Schlüssel im Schloss steckt.

• Die alte Methode (Physik): Man misst es mit einer Waage. Es dauert lange, ist teuer, aber das Ergebnis ist genau.
• Die KI-Methode: Die KI schaut sich den Schlüssel an und sagt: "Oh, der sieht gut aus! Wahrscheinlich hält er sehr fest."

Das Problem:
Die KI sagt fast bei jedem Schlüssel, er sei "sehr fest" (zwischen -5 und -8 kcal/mol). Sie kann nicht gut unterscheiden zwischen einem Schlüssel, der wirklich fest sitzt, und einem, der gar nicht passt.

• Der Vergleich: Es ist wie ein Lehrer, der bei einem Test fast allen Schülern eine "Sehr gut" gibt, egal ob sie die Aufgabe gelöst haben oder nicht. Wenn man dann die besten 100 Schüler (die besten Medikamente) genauer prüft, merkt man: Die KI hat gar keine Ahnung, wer wirklich gut ist. Die Vorhersage der KI und die echte physikalische Messung haben keine Verbindung zueinander.

3. Der "Verzerrte Spiegel" (Chemische Fehler)

Das ist vielleicht der lustigste und gleichzeitig beunruhigendste Teil.
Die KI malt die Moleküle (die Schlüssel) so, wie sie sie "kennt". Aber manchmal macht sie chemische Fehler:

• Sie macht aus einem gesättigten Ring (wie ein festes Rad) plötzlich einen aromatischen Ring (wie ein offenes Netz).
• Sie fügt Wasserstoffatome hinzu oder nimmt sie weg, wo sie nicht hingehören.

Warum ist das schlimm?
Stellen Sie sich vor, Sie bauen ein Haus. Die KI sagt: "Der Balken ist 2 Meter lang." Aber in Wirklichkeit hat sie den Balken so gezeichnet, als wäre er aus Gummi. Wenn Sie dann versuchen, das Haus zu bauen (das Medikament zu testen), passt es nicht, weil die Bauteile chemisch falsch sind. Die KI hat die "Form" des Moleküls verändert, ohne es zu merken.

4. Das Fazit: Ein schneller Assistent, aber kein Experte

Die Forscher kommen zu einem klaren Schluss:

• Was Boltz-2 gut kann: Sie ist extrem schnell. Wenn Sie 100.000 Kandidaten haben und nur eine grobe Idee brauchen, wer vielleicht passt, ist sie toll. Sie ist wie ein schneller Scout, der das Gelände abläuft.
• Was Boltz-2 NICHT kann: Sie kann nicht sagen, welches Medikament wirklich funktioniert oder wie stark es wirkt. Dafür braucht man die "schwere Physik" (die alten, langsamen Methoden).

Die große Metapher:
Boltz-2 ist wie ein sehr schneller, aber etwas verwirrter Architekt. Er kann in Sekunden Tausende von Hausentwürfen skizzieren. Aber wenn Sie ihm sagen: "Welcher Entwurf hält einem Sturm stand?", antwortet er bei fast allen Entwürfen mit "Alle sind super!".
Um zu wissen, welches Haus wirklich sicher ist, müssen Sie trotzdem den alten, erfahrenen Statiker (die Physik-basierte Methode) hinzuziehen. Man kann sich nicht nur auf den schnellen Architekten verlassen, wenn es um Leben und Tod (Medikamente) geht.

Zusammenfassend: KI ist ein mächtiges Werkzeug, um die Suche zu beschleunigen, aber sie ersetzt noch lange nicht die harte, physikalische Realität. Wir brauchen beide: Die Geschwindigkeit der KI und die Genauigkeit der Physik.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des vorliegenden Papers auf Deutsch:

Titel: Zur Zuverlässigkeit von KI-Methoden in der Wirkstoffentwicklung: Evaluation von Boltz-2 für die Vorhersage von Struktur und Bindungsaffinität

Autoren: Shunzhou Wan, Xibei Zhang, Xiao Xue, Peter V. Coveney (University College London)

---

1. Problemstellung

Trotz des anhaltenden Hypes um Künstliche Intelligenz (KI) in der Wirkstoffentwicklung wurden bisher noch keine von KI entdeckten Medikamente von den Aufsichtsbehörden zugelassen. Ein zentrales Problem bleibt die Lücke zwischen der Geschwindigkeit von KI-Methoden und der physikalischen Präzision, die für die Identifizierung und Optimierung von Leitstrukturen (Lead Identification/Optimization) erforderlich ist.
Während Modelle wie AlphaFold 2 die Strukturvorhersage revolutioniert haben, fehlt es oft an der Fähigkeit, Bindungsaffinitäten (Energetik) genau zu quantifizieren. Traditionelle physikbasierte Methoden (z. B. ESMACS, TIES) sind zwar präzise, aber rechenintensiv und für groß angelegte Screenings ungeeignet. Neue "Foundation Models" wie Boltz-2 versprechen, diese Lücke zu schließen, indem sie eine "Co-Folding"-Methode (gleichzeitige Faltung von Protein und Ligand) nutzen, um sowohl Strukturen als auch quantitative Bindungsaffinitäten vorherzusagen. Die Zuverlässigkeit dieser neuen Modelle für die praktische Anwendung in der Wirkstoffsuche muss jedoch rigoros validiert werden.

2. Methodik

Die Studie führt eine umfassende Evaluation von Boltz-2 durch, basierend auf zwei großen, therapeutisch relevanten Datensätzen:

• Zielproteine: SARS-CoV-2 Hauptprotease (3CLPro) und Tankyrase 2 (TNKS2).
• Datensätze: 16.780 Verbindungen für 3CLPro und 21.702 Verbindungen für TNKS2. Diese wurden durch eine Kombination aus generativer KI (REINVENT) und aktivem Lernen erstellt.

Vergleichsrahmen:

1. Strukturelle Bewertung:
   • Vorhersagen von Boltz-2 wurden mit traditionellen Docking-Ergebnissen (basierend auf Kristallstrukturen PDB 6W63 und 4UI5) verglichen.
   • Metriken: Root-Mean-Square-Deviation (RMSD) für globale Strukturunterschiede und Local Distance Difference Test (LDDT) für lokale Bindungsstellen-Details.
   • Analyse der internen Konfidenzscores von Boltz-2.
2. Energetische Bewertung (Bindungsaffinität):
   • Die von Boltz-2 vorhergesagten Affinitäten wurden mit Bindungsfreien Energien ($\Delta G$) verglichen, die mittels des physikbasierten ESMACS-Protokolls (Enhanced Sampling of Molecular Dynamics with Approximation of Continuum Solvent) berechnet wurden.
   • ESMACS nutzt Ensemble-Simulationen (25 Repliken), um statistische Unsicherheiten zu minimieren und eine robuste Benchmark zu bieten.
   • Statistische Analyse: Pearson-Korrelation ($r$) und Spearman-Rangkorrelation ($\rho$).
3. Fokus-Analyse (Top-100):
   • Eine detaillierte Untersuchung der Top-100 Verbindungen, die von Boltz-2 als beste Kandidaten eingestuft wurden.
   • Hier wurden zusätzliche ESMACS-Simulationen durchgeführt, um die Auswirkungen von Protonierungszuständen und Sättigungsfehlern (Saturation States) in den von Boltz-2 generierten Strukturen zu testen.

3. Wichtige Beiträge und Ergebnisse

A. Strukturelle Vorhersagen (Geometrie)

• Proteinkonformationen: Für 3CLPro sagte Boltz-2 eine einzige Konformation voraus, die der Röntgenstruktur sehr nahe kam (RMSD $\approx$ 0,4 Å). Für TNKS2 zeigte sich jedoch eine signifikante Variation mit mehreren Peaks in der RMSD-Verteilung, was darauf hindeutet, dass das Modell verschiedene Konformationen generiert, anstatt sich auf eine "native" Struktur zu konvergieren.
• Liganden-Posen: Es wurden erhebliche Abweichungen beobachtet. Bei 3CLPro wurden viele Liganden an Stellen vorhergesagt, die weit vom experimentell bestimmten Bindungsort entfernt lagen (hohe RMSD-Werte). Bei TNKS2 war die Übereinstimmung besser, aber auch hier traten Fälle auf, in denen Liganden in falschen Orientierungen oder an alternativen Stellen bindeten.
• Konfidenzscores: Die internen Konfidenzscores von Boltz-2 waren für fast alle Verbindungen extrem hoch (> 0,8), was auf eine mangelnde Diskriminierungsfähigkeit und eine Tendenz zu übermäßig selbstbewussten Vorhersagen hindeutet.

B. Vorhersage der Bindungsaffinität (Energetik)

• Globale Korrelation: Auf den gesamten Datensätzen zeigte sich nur eine schwache bis moderate Korrelation zwischen den Boltz-2-Vorhersagen und den physikbasierten ESMACS-Ergebnissen (z. B. $r = 0,24$ für 3CLPro, $r = 0,45$ für TNKS2).
• Regressions-Effekt: Boltz-2 neigt zu einer "Regression zur Mitte". Die vorhergesagten Affinitäten konzentrieren sich in einem sehr engen Bereich (meist zwischen -5 und -8 kcal/mol), selbst für Verbindungen, die wahrscheinlich keine Binder sind. Dies macht das Modell unempfindlich gegenüber der Unterscheidung zwischen echten Hits und Dekoys.
• Top-100 Analyse: Im kritischen Bereich der Top-100 Verbindungen brach die Korrelation vollständig zusammen ($r \approx 0$). Es gab keine Übereinstimmung zwischen den von Boltz-2 priorisierten Verbindungen und den physikalisch berechneten freien Energien.
• Chemische Inkonsistenzen: Bei der Analyse der Top-100-Strukturen wurden systematische Fehler in der chemischen Identität festgestellt. Boltz-2 generierte Strukturen mit falschen Sättigungszuständen (z. B. Vorhersage von aromatischen Ringen statt gesättigter Ringe oder umgekehrt bei Alkylketten), was die chemische Realität der Moleküle verfälschte.

C. Reproduzierbarkeit

• Die Vorhersagen von Boltz-2 waren zwischen unabhängigen Inferenz-Läufen hoch reproduzierbar (hohe Korrelationen), was jedoch nur die Stabilität des Modells, nicht aber die physikalische Genauigkeit bestätigt.

4. Bedeutung und Schlussfolgerung

Die Studie kommt zu dem Schluss, dass Boltz-2 zwar ein schnelles Werkzeug für das initiale Screening ist, aber nicht die energetische Auflösung bietet, die für die Identifizierung von Leitstrukturen (Lead Identification) notwendig ist.

• Fehlende Physik: Das Modell basiert auf statistischen Mustern aus Trainingsdaten und nicht auf den zugrunde liegenden physikalischen Gesetzen der molekularen Wechselwirkungen. Dies führt dazu, dass es "Activity Cliffs" (kleine strukturelle Änderungen mit großen Affinitätsänderungen) nicht korrekt abbilden kann.
• Notwendigkeit physikbasierter Methoden: Die Ergebnisse unterstreichen die Notwendigkeit, KI-generierte Modelle durch physikbasierte Methoden (wie ESMACS) zu validieren und zu verfeinern. KI kann als Filter dienen, ersetzt aber keine rigorosen physikalischen Berechnungen für die Feinabstimmung von Wirkstoffkandidaten.
• Warnung vor strukturellen Fehlern: Die Beobachtung von falschen Sättigungszuständen und Orientierungen in den generierten Strukturen warnt davor, KI-Vorhersagen blind zu vertrauen, ohne experimentelle Validierung oder physikalische Korrektur.

Zusammenfassend zeigt die Arbeit, dass der aktuelle Stand der KI in der Strukturbiologie zwar Fortschritte bei der Geschwindigkeit macht, aber noch nicht in der Lage ist, die komplexe, nicht-lineare Natur der physikalischen Energielandschaft für die präzise Vorhersage von Bindungsaffinitäten vollständig zu erfassen.