Model Rankings in Drug–Target Affinity Prediction Vary Across Evaluation Regimes: A Controlled Multi-Seed Study of Model-Comparison Reliability

Im Wettlauf um die Entdeckung neuer Medikamente stehen Wissenschaftler oft vor einer gewaltigen Aufgabe: den richtigen Schlüssel für ein bestimmtes Schloss zu finden. Die „Schlüssel“ sind kleine Moleküle, potenzielle Arzneimittel, und die „Schlösser“ sind Proteine im menschlichen Körper, die Krankheiten vorantreiben. Wenn ein Medikament gut in ein Protein passt, kann es einen Krankheitsprozess stoppen oder eine defekte Funktion reparieren. Die Vorhersage, wie fest ein Wirkstoff an ein Protein bindet, ist ein entscheidender Schritt beim Screening von Millionen von Kandidaten, der es Forschern ermöglicht, ihre Ressourcen auf die vielversprechendsten zu konzentrieren. Seit Jahren werden Computermodelle trainiert, um diese Vorhersagen zu treffen, indem sie aus riesigen Datenbanken bekannter Wirkstoff-Protein-Interaktionen lernen. Das Ziel war schon immer, ein Modell zu bauen, das in der Lage ist, die Stärke einer Bindung präzise zu erraten, die es noch nie zuvor gesehen hat – sei es die Vorhersage, wie sich ein neues Medikament gegenüber einem bekannten Protein verhält, oder wie ein bekanntes Medikament mit einem völlig neuen Proteintarget interagieren könnte.

Ein neuer Bericht der Harbin Normal University deutet jedoch darauf an, dass die Antwort auf die Frage „Welches Modell ist das beste?“ ganz davon abhängt, welche Frage gestellt wird. Die Forscher Haobo Kui und Xinyuan Cui wollten testen, ob die Ranglisten dieser Computermodelle stabil bleiben, wenn sich die Spielregeln ändern. In der realen Welt der Arzneimittelentdeckung muss ein Modell möglicherweise Interaktionen für ein Medikament vorhersagen, das noch nie zuvor gesehen wurde, oder für ein Protein, das noch nie zuvor gesehen wurde, oder für eine Mischung aus beidem. Das Team stellte fest, dass ein Modell, das in einem Szenario gewinnt, in einem anderen verlieren kann, und dass die Reihenfolge, in der Modelle eingestuft werden, je nach spezifischen Testbedingungen komplett umschlagen kann. Ihre Arbeit, die über hundert sorgfältig kontrollierte Experimente umfasste, zeigt, dass es kein einzelnes „bestes“ Modell für alle Situationen gibt; stattdessen hängt die richtige Wahl davon ab, das Modell auf die spezifische Generalisierungsherausforderung abzustimmen, mit der es konfrontiert wird.

Um das Ausmaß dieser Untersuchung zu verstehen, stellen Sie sich ein Labor vor, in dem Wissenschaftler fünf verschiedene Arten von Motoren testen. In einem Standardtest lassen sie alle Motoren auf einer glatten, vertrauten Strecke fahren. Aber in der realen Welt müssen einige Motoren mit vereisten Straßen zurechtkommen, während andere steile Gebirgspässe bewältigen müssen. Kui und Cui bauten ein strenges Testverfahren auf, um zu sehen, ob der Motor, der auf der glatten Strecke gewinnt, auch auf dem Eis oder in den Bergen gewinnt. Sie verwendeten zwei massive, bereinigte Datenbanken von Wirkstoff-Protein-Interaktionen, die über 1 Verzeichnis mit mehr als 118.000 Datensätzen aus einer Quelle und über 30.000 aus einer anderen Quelle enthielten. Aus diesen Daten erstellten sie drei unterschiedliche Testumgebungen. Die erste war ein „warmes“ Setting, bei dem das Modell auf Medikamente und Proteine getestet wurde, die es bereits während des Trainings gesehen hatte – im Wesentlichen eine Messung dessen, wie gut es das Gelernte erinnern und interpolieren kann. Die zweite war ein „Cold-Drug“-Setting (kaltes Medikament), bei dem das Modell Interaktionen für völlig neue chemische Verbindungen vorhersagen musste, mit denen es zuvor noch nie in Berührung gekommen war. Das dritte war ein „Cold-Target“-Setting (kaltes Target), bei dem das Modell mit völlig neuen Proteinsequenzen konfrontiert wurde, was die Herausforderung simulierte, ein Medikament für einen neu entdeckten Krankheitsmechanismus zu finden.

Die Forscher führten die Modelle nicht einfach nur einmal durch und nahmen dann die Ergebnisse. Um sicherzustellen, dass ihre Ergebnisse nicht nur ein Zufallsprodukt des Zufalls waren, führten sie jedes Experiment dreimal mit leicht unterschiedlichen Ausgangsbedingungen durch, eine Technik, die als Verwendung mehrerer „Seeds“ (Startwerte) bekannt ist. Sie verglichen drei verschiedene Wege zur Kombination von Wirkstoff- und Proteininformationen sowie zwei etablierte Basismethoden und stellten sicher, dass alle Modelle über etwa die gleiche Rechenleistung verfügten. Insgesamt führten sie 126 separate Trainingsläufe durch, wobei die Datensplits und Bewertungsregeln über alle Läufe hinweg identisch blieben. Entscheidend war, dass sie die endgültigen Testergebnisse erst versiegelten, nachdem jeder einzelne Durchlauf abgeschlossen war, um eine unbeabsichtigte Verzerrung zu verhindern, bei der das Modell eventuell an die Testdaten angepasst wurde. Dieser strikte, prüfbare Ansatz ermöglichte es ihnen, jedes Ergebnis bis zu seiner Quelle zurückzuverfolgen und die Integrität ihres Vergleichs zu gewährleisten.

Die Ergebnisse waren frappierend und kontraintuitiv. Als die Forscher die Ranglisten der Modelle unter den „warmen“ Bedingungen betrachteten, übertraf ein Modell die anderen konsistent. Doch als sie zum „Cold-Drug“-Szenario wechselten, verschoben sich die Ranglisten dramatisch. Im extremsten Fall, bei dem es um den größeren Datensatz ging, war die Reihenfolge der Modelle für das „Cold-Target“-Szenario genau das Gegenteil der Reihenfolge für das „Cold-Drug“-Szenario. Ein Modell, das der klare Gewinner bei der Vorhersage von Interaktionen mit neuen Proteinen war, wurde zum klaren Verlierer, als es darum ging, Interaktionen mit neuen Medikamenten vorherzusagen. Diese komplette Umkehrung, gemessen mit einem statistischen Werkzeug, das Ranglisten vergleicht, zeigte, dass der Erfolg eines Modells keine absolute Qualität ist, sondern eine relative, die sich mit dem Kontext ändert.

Darüber hinaus verdeutlichte die Studie, dass die Ergebnisse selbst innerhalb desselben Test-Szenarios nicht immer perfekt stabil waren. Bei der Betrachtung der einzelnen Durchläufe statt nur der Durchschnittswerte stellten die Forscher fest, dass die exakte Reihenfolge der Modelle von einem Trainingslauf zum nächsten variieren konnte. Dies bedeutet, dass es riskant ist, sich auf ein einzelnes Experiment zu verlassen, um einen Sieger zu küren, da das Ergebnis durch das zufällige Rauschen des Trainingsprozesses beeinflusst werden kann. Durch die Verwendung mehrerer Seeds konnte das Team das vollständige Bild davon zeichnen, wie zuverlässig die Leistung eines Modells tatsächlich war. Sie fanden heraus, dass, obwohl einige Modelle in bestimmten Bereichen konsistente Vorteile zeigten – wie etwa im „Cold-Drug“-Setting, wo bestimmte Fusionsstrategien über beide Datensätze hinweg besser abschnitten –, kein einzelnes Modell jede Metrik und jedes Szenario dominierte.

Die Forscher untersuchten auch, wie sich diese Erkenntnisse auf eine reale Anwendung übertragen lassen, indem sie ein spezifisches, ungesehenes Proteintarget namens VEGFR2 betrachteten, das an der Blutgefäßbildung beteiligt ist und ein wichtiges Ziel für Krebstherapien darstellt. Mit den eingefrorenen Vorhersagen aus ihren Experimenten simulierten sie, wie verschiedene Modelle potenzielle Wirkstoffkandidaten für dieses spezifische Target ranken würden. Sie fanden heraus, dass die Modelle unterschiedliche Listen der Top-Kandidaten erstellten. Ein Modell könnte eine bestimmte Verbindung als beste Wahl einstufen, während ein anderes sie weit unten platzieren könnte. Dies demonstrierte, dass die Wahl des Modells nicht nur eine akademische Übung ist; sie hat direkten Einfluss darauf, welche Wirkstoffkandidaten Wissenschaftler tatsächlich im Labor testen würden. Wenn ein Forscher ein Modell basierend auf seiner Leistung in einem „warmen“ Setting wählt, könnte er am Ende die falschen Verbindungen für ein neues Target priorisieren.

Letztendlich dient diese Studie als wichtiger Wegweiser für die Zukunft der computergestützten Arzneimittelentwicklung. Sie spricht sich gegen die Idee eines universellen Champion-Modells aus, das auf jedes Problem angewendet werden kann. Stattdessen legt sie nahe, dass die Zuverlässigkeit von Modellvergleichen davon abhängt, die Bewertungsmethode an den beabsichtigten Einsatz anzupassen. Wenn das Ziel darin besteht, Medikamente für neue Targets zu finden, muss das Modell an neuen Targets getestet werden. Wenn das Ziel darin besteht, neue Medikamente für bekannte Targets zu finden, muss das Modell an neuen Medikamenten getestet werden. Die Forscher kommen zu dem Schluss, dass für eine wirklich zuverlässige Modellauswahl das Szenario-Matching, die Verwendung mehrerer Seeds und die Prüfbarkeit entscheidend sind. Indem sie verstehen, dass sich Ranglisten über verschiedene Evaluierungsregime hinweg verschieben, können Wissenschaftler fundiertere Entscheidungen treffen und sicherstellen, dass die Werkzeuge, die sie einsetzen, für die spezifischen Herausforderungen der Arzneimittelentwicklung geeignet sind.