PoseBusters: AI-based docking methods fail to generate physically valid poses or generalise to novel sequences

Dieses Paper stellt PoseBusters vor, ein Validierungswerkzeug, das demonstriert, dass aktuelle auf Deep Learning basierende Protein-Ligand-Docking-Methoden oft daran scheitern, physikalisch plausible Strukturen zu erzeugen oder auf neuartige Sequenzen zu generalisieren, und dadurch gegenüber klassischen Docking-Tools, die essenzielle physikalische Prinzipien besser einbeziehen, unterperformen.

Das Wesentliche

Stellen Sie sich vor, Sie versuchen, den perfekten Schlüssel zu finden, der in ein sehr spezifisches, komplexes Schloss passt. In der Welt der Wirkstoffforschung ist das „Schloss“ ein Protein in Ihrem Körper und der „Schlüssel“ ein potenzielles Medikament (ein Molekül). Der Prozess, genau herauszufinden, wie dieser Schlüssel in das Schloss passt, wird als Docking bezeichnet.

Jahrelang haben Wissenschaftler traditionelle, regelbasierte Computerprogramme verwendet, um dies zu tun. Vor kurzem ist eine neue Welle von „KI“-Programmen (Deep Learning) angekommen, die versprechen, die Aufgabe schneller und besser zu erledigen. Diese KI-Modelle sind wie brillante Studenten, die Millionen von Beispielen für Schlüssel und Schlösser auswendig gelernt haben.

Eine neue Studie namens PoseBusters legt jedoch nahe, dass diese KI-Studenten zwar sehr gut darin sind, die Form des Schlüssels auswendig zu lernen, aber schrecklich darin sind, die Physik dahinter zu verstehen, also wie er tatsächlich funktioniert.

Hier ist eine einfache Aufschlüsselung dessen, was die Studie herausgefunden hat:

1. Die „RMSD“-Falle: Auf dem Papier gut aussehen

Wissenschaftler beurteilen normalerweise, wie gut ein Docking-Programm arbeitet, indem sie den RMSD messen. Betrachten Sie RMSD als ein Lineal. Wenn die KI vorhersagt, wohin der Schlüssel gehört, und diese Vorhersage innerhalb von 2 Millimetern (Angström) von dem entfernt ist, wo der Schlüssel in einem echten Foto (einer Kristallstruktur) tatsächlich sitzt, erhält die KI eine Bestehensgrenze.

Die Studie fand heraus, dass viele KI-Programme bei diesem Lineal-Test hohe Punktzahlen erreichen. Sie sagen: „Schaut her! Wir sind zu 90 % genau!“

2. Der Realitätscheck: Der „unmögliche“ Schlüssel

Das Problem ist, dass diese KI-Programme so sehr darauf fokussiert sind, die Messung mit dem Lineal zu treffen, dass sie manchmal physikalisch unmögliche Schlüssel erschaffen.

Stellen Sie sich vor, die KI sagt einen Schlüssel voraus, der:

• Eine Bindung (eine Verbindung zwischen Atomen) hat, die so dünn gedehnt ist, dass sie wie ein trockener Zweig brechen würde.
• Eine Ringform hat, die wie ein Brezel verdreht ist, obwohl die Chemie besagt, dass sie flach wie ein Pfannkuchen sein sollte.
• Zwei Teile des Schlüssels hat, die aufeinanderprallen, wie zwei Autos, die versuchen, gleichzeitig durch dieselbe Tür zu fahren.

Das Papier nennt dies „physikalisch unplausibel“. Es ist, als hätte die KI das Bild eines Schlüssels gezeichnet, das aus der Ferne richtig aussieht, aber wenn man versuchen würde, es zu bauen, würde es auseinanderfallen oder das Schloss beschädigen.

3. PoseBusters: Der Inspektor

Um diese schlechten Vorhersagen abzufangen, haben die Autoren ein Werkzeug namens PoseBusters entwickelt. Betrachten Sie PoseBusters als einen strengen Bauinspektor oder einen Qualitätskontrolleur.

Anstatt nur das Lineal (RMSD) zu benutzen, prüft PoseBusters die „Gesetze der Physik“ für jede Vorhersage:

• Chemische Validität: Ergibt das Molekül chemisch Sinn? (z. B. Ist die Ladung korrekt? Sind die Atome richtig verbunden?)
• Geometrie: Sind die Ringe flach? Haben die Bindungen die richtige Länge?
• Kollisionen (Clashes): Ist der Schlüssel mit dem Schloss oder anderen Teilen der Maschine kollidiert?

Wenn eine Vorhersage diese Prüfungen nicht besteht, wird sie als „ungültig“ markiert, ungeachtet dessen, wie gut die Messung mit dem Lineal war.

4. Das große Ergebnis: Alt gegen Neu

Die Forscher testeten fünf neue KI-Docking-Methoden gegen zwei ältere, traditionelle Methoden (AutoDock Vina und Gold).

• Bei vertrauten Schlössern (Trainingsdaten): Als die KI auf Schlössern getestet wurde, die sie während ihres Trainings bereits gesehen hatte, sah sie beim Lineal-Test fantastisch aus. Eine KI (DiffDock) schien die alten Methoden zu übertreffen.
• Der „Physik“-Filter: Aber als PoseBusters die Physik überprüfte, sank die Leistung der KI drastisch. Viele ihrer „perfekten“ Vorhersagen waren tatsächlich unmögliche Strukturen. Die alten, traditionellen Methoden produzierten – obwohl sie etwas langsamer waren – Schlüssel, die sowohl genau als auch physikalisch möglich waren.
• Bei neuen, unbekannten Schlössern (Generalisierung): Als die Forscher die KI an völlig neuen Schlössern testeten, die sie noch nie zuvor gesehen hatte (ein „Benchmark-Datensatz“), hatte die KI große Schwierigkeiten. Sie konnte nicht generalisieren. Die alten Methoden, die auf physikalischen Regeln statt auf bloßer Mustererkennung basieren, bewältigten diese neuen Schlösser viel besser.

5. Der „Feinschliff“ behebt nicht alles

Die Autoren versuchten, der KI zu helfen, indem sie nach der Vorhersage einen „Polierschritt“ hinzufügten, der eine Physik-Engine (ein Kraftfeld) nutzt, um die seltsamen Formen zu glätten.

• Das Ergebnis: Dies half der KI, einige ihrer kaputten Schlüssel zu reparieren, aber es machte sie nicht besser als die alten traditionellen Methoden. Die alten Methoden starteten bereits mit einem soliden Fundament; die KI musste versuchen, ein kaputtes Fundament zu reparieren.

Das Fazremen

Das Papier kommt zu dem Schluss, dass KI-basierte Docking-Methoden noch nicht bereit sind, traditionelle Werkzeuge zu ersetzen.

Obwohl sie schnell sind und den richtigen Ort erraten können, ignorieren sie oft die grundlegenden Gesetze der Chemie und Physik. Um wirklich „State-of-the-Art“ zu sein, muss eine Methode zwei Tests bestehen:

1. Der Lineal-Test: Ist es am richtigen Ort?
2. Der Physik-Test: Ist es ein reales, baubares Objekt?

Derzeit bestehen die traditionellen Methoden beide Tests. Die KI-Methoden bestehen den ersten, scheitern aber oft am zweiten. Die Autoren hoffen, dass sie durch den Einsatz ihres „PoseBusters“-Werkzeugs Entwicklern helfen können, diese KI-Modelle besser auf Physik zu trimmen, was in Zukunft zu wirklich genauen Wirkstoffvorhersagen führen wird.

Technische Zusammenfassung

Problemstellung
In den letzten Jahren sind zahlreiche auf Deep Learning (DL) basierende Methoden für das Protein-Ligand-Docking aufgetaucht, die signifikante Verbesserungen in Geschwindigkeit und Genauigkeit für die struktur-basierte Wirkstoffforschung versprechen. Es wurde jedoch ein kritischer Mangel identifiziert: Während diese Methoden oft eine State-of-the-Art-Leistung basierend auf der Wurzel-Quadrat-Abweichung (RMSD) der vorhergesagten Bindungsmodi im Vergleich zu Kristallstrukturen berichten, erzeugen sie häufig physikalisch unplausible Molekülstrukturen. Diese Strukturen können grundlegende chemische Regeln verletzen, wie etwa inkorrekte Bindungslängen, verzerrte aromatische Ringe oder schwere sterische Hinderungen (Clashes) zwischen dem Liganden und dem Protein. Folglich ist die Bewertung von Docking-Methoden ausschließlich anhand des RMSD unzureichend, insbesondere für DL-basierte Ansätze, denen es an den „induktiven Biases“ mangelt, die klassischen, physikbasierten Methoden eigen sind, um chemische Konsistenz und physikalische Realität zu gewährleisten.

Methodik
Um diese Lücke zu schließen, führen die Autoren PoseBusters ein, ein Python-Paket, das das Cheminformatik-Toolkit RDKit nutzt, um eine umfassende Suite von Qualitätsprüfungen für Docking-Vorhersagen durchzuführen. Die Test-Suite validiert drei Kategorien von Eigenschaften:

1. Chemische Validität und Konsistenz: Zu den Prüfungen gehören die RDKit-Sanitierung, die Erhaltung der Molekülformel, der Bindungskonnektivität sowie der tetraedrischen Chiralität und der Doppelbindungs-Stereochemie im Verhältnis zum Input-Liganden.
2. Intramolekulare Validität: Diese Gruppe bewertet die physikalische Plausibilität des Liganden selbst, einschließlich Bindungslängen und -winkeln (innerhalb von 25 % der Distanzgeometrie-Grenzwerte), der Planarität von aromatischen Ringen und Doppelbindungen (innerhalb von 0,25 Å), interner sterischer Hinderungen sowie des Konformationsenergie-Verhältnisses (unter Verwendung des Universal Force Field, UFF).
3. Intermolekulare Validität: Diese Gruppe bewertet die Wechselwirkungen zwischen dem Liganden und seiner Umgebung, indem sie Protein-Ligand- und Ligand-Cofaktor-Clashes basierend auf Van-der-Waals-Radien (mit einem Schwellenwert von 0,75) und dem Volumenüberlapp (Begrenzung der Schnittmenge auf < 7,5 %) prüft.

Die Autoren wandten PoseBusters an, um sieben Docking-Methoden zu evaluieren: fünf DL-basierte Ansätze (DeepDock, DiffDock, EquiBind, TankBind und Uni-Mol) sowie zwei etablierte klassische Methoden (AutoDock Vina und CCDC Gold). Die Evaluierung wurde auf zwei Datensätzen durchgeführt:

• Astex Diverse Set: Ein Standard-Benchmark, der 85 Komplexe enthält, von denen viele mit den Trainingsdaten der DL-Methoden überlappen.
• PoseBusters Benchmark Set: Ein neuartiger, strenger Testdatensatz aus 308 hochwertigen Komplexen, die nach 2021 veröffentlicht wurden, wodurch eine Überschneidung mit den Trainingsdaten (PDBbind General Set v2020) der getesteten DL-Methoden ausgeschlossen wird. Dieser Satz wurde verwendet, um die Generalisierung auf neuartige Sequenzen und Strukturen zu bewerten.

Zusätzlich führst die Autoren eine Post-Docking-Energieminimierung mittels Molekularmechanik-Kraftfeldern (AMBER ff14sb und Sage) an den DL-Vorhersagen durch, um zu bestimmen, ob die physikalische Plausibilität durch klassische Verfeinerung wiederhergestellt werden kann.

Wesentliche Beiträge

• PoseBusters Test-Suite: Die Entwicklung eines Open-Source-Tools, das systematisch chemisch inkonsistente und physikalisch unplausible Liganden-Posen identifiziert und somit über einfache RMSD-Metriken hinausgeht.
• Strenge Benchmarking-Analyse: Eine vergleichende Analyse, die zeigt, dass aktuelle DL-basierte Docking-Methoden nicht auf neuartige Sequenzen generalisieren können und oft ungültige Strukturen erzeugen, selbst wenn sie niedrige RMSD-Scores erreichen.
• Identifizierung fehlender Physik: Belege dafür, dass DL-Methoden spezifische induktive Biases bezüglich der chemischen Geometrie und der sterischen Beschränkungen vermissen lassen, die in klassischen Kraftfeldern natürlich kodiert sind.

Ergebnisse

• Leistung auf dem Astex Diverse Set: Während DiffDock allein basierend auf dem RMSD überlegen erschien (72 % der Vorhersagen innerhalb von 2 Å), sank seine Leistung signifikant, als die physikalische Plausibilität berücksichtigt wurde (47 % PB-valid). Klassische Methoden (Gold und AutoDock Vina) übertrafen alle DL-Methoden, wenn sowohl RMSD als auch die physikalische Validität gefordert waren.
• Leistung auf dem PoseBusters Benchmark Set: Auf diesen ungesehenen Daten weitete sich die Kluft. Gold und AutoDock Vina blieben die leistungsstärksten Methoden. Die beste DL-Methode, DiffDock, erreichte nur 12 % PB-Validität, während andere DL-Methoden (EquiBind, Uni-Mol, TankBind) fast keine physikalisch validen Posen erzeugten.
• Generalisierung und Overfitting: DL-Methoden schnitten bei Proteinen mit geringer Sequenzidentität (< 30 %) zu ihren Trainingssets signifikant schlechter ab, was auf ein schwerwiegendes Overfitting auf die Trainingsziele hindeutet.
• Auswirkung der Energieminimierung: Die Anwendung einer Post-Docking-Energieminimierung verbesserte die physikalische Plausibilität der DL-Vorhersagen erheblich (Erhöhung der Anzahl valider Posen), was darauf hindeutet, dass Kraftfelder die für das Docking relevante Physik enthalten, die aktuellen DL-Modellen fehlt. Selbst mit dieser Verfeinerung übertrafen die DL-Methoden die klassischen Werkzeuge jedoch nicht.
• Spezifische Fehlermodi: Die Studie identifizierte unterschiedliche Fehlermuster für jede DL-Methode, wie etwa TankBind, das die Stereochemie vernachlässigt, Uni-Mol, das nicht-standardmäßige Bindungslängen vorhersagt, und EquiBind, das Protein-Ligand-Clashes erzeugt.

Bedeutung
Das Paper argumentiert, dass der aktuelle Standard, Docking-Methoden ausschließlich anhand des RMSD zu bewerten, unzureichend und irreführend ist. Es postuliert, dass für eine Methode, um als „State-of-the-Art“ zu gelten, nicht nur nativ-ähnliche Bindungsmodi vorhersagen, sondern auch chemisch konsistente und physikalisch plausible Strukturen generieren muss. Die Autoren behaupten, dass PoseBusters einen notwendigen Rahmen bietet, um fehlende induktive Biases in Deep-Learning-Modellen zu identifizieren. Indem sie hervorheben, dass aktuelle DL-Methoden die klassischen Docking-Werkzeuge noch nicht übertreffen, sobald die physikalische Realität berücksichtigt wird, zielt die Arbeit darauf ab, die Entwicklung präziserer und realistischerer Vorhersagemethoden voranzutreiben, welche die Geschwindigkeit von Deep Learning mit der physikalischen Strenge klassischer Kraftfelder integrieren.