Three properties of a decoy pool decide a protein–protein rescoring comparison: the candidate-set size, its composition, and the relaxation of its near-native poses
Diese Studie zeigt, dass die Validität von Vergleichen beim Rescoring von Protein-Protein-Interaktionen entscheidend von der Größe und Zusammensetzung des Kandidatensatzes sowie der Relaxation naturnaher Posen abhängt, da wissensbasierte Potentiale Komplementaritäts-Proxies der Form nur dann übertreffen, wenn sie auf gebundene, kollisionsfreie Decoy-Pools anstatt auf ungebundene oder suchgenerierte Sätze angewendet werden.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung eines Preprints, das nicht peer-reviewed wurde. Dies ist kein medizinischer Rat. Treffen Sie keine Gesundheitsentscheidungen auf Grundlage dieses Inhalts. Vollständigen Haftungsausschluss lesen
Stellen Sie sich zwei Proteine vor, die versuchen, sich in der überfüllten, chaotischen Umgebung einer Zelle zu finden. Sie sind wie zwei Puzzleteile, die in einem dunklen Raum schweben, von denen jedes eine spezifische Form hat, die perfekt passen muss, um eine biologische Funktion freizuschalten. Wissenschaftler haben Computerprogramme entwickelt, um vorherzusagen, wie diese Teile zusammenpassen, ein Prozess, der als molekulares Docking bezeichnet wird. Der Computer generiert tausende Möglichkeiten, wie die beiden Proteine nebeneinander liegen könnten, und erstellt so eine massive Liste von Vermutungen. Die meisten dieser Vermutungen sind falsch, aber einige wenige sind der wahren, natürlichen Anordnung sehr nahe. Die Herausforderung für Forscher besteht darin, ein Bewertungssystem zu schreiben, das in der Lage ist, aus dieser langen Liste die eine beste Vermutung herauszufiltern, die der Realität entspricht.
Jahrelang haben Wissenschaftler diese Bewertungssysteme mit einer spezifischen Methode getestet. Sie nehmen eine bekannte korrekte Anordnung, schütteln sie leicht, um einen Satz von „Decoys“ oder gefälschten Posen zu erzeugen, und sehen dann nach, ob ihr neues Bewertungssystem die ursprüngliche korrekte Pose unter den Fälschungen finden kann. Dieser Ansatz hat zu der Überzeugung geführt, dass bestimmte Arten von Bewertungssystemen, die auf statistischen Mustern darüber basieren, wie Atome normalerweise interagieren, überlegener sind als einfachere Systeme, die nur darauf schauen, wie gut die Formen zusammenpassen. Eine neue Studie deutet jedoch darauf hin, dass diese lang gehegte Schlussfolgerung eine Illusion ist, die durch die Art und Weise der Testgestaltung entstanden ist. Die Forscher fanden heraus, dass der Erfolg eines Bewertungssystems vollständig von den spezifischen Bedingungen des Tests abhängt, insbesondere davon, ob die Ausgangsstrukturen perfekt oder leicht unvollkommen sind und wie viele Vermutungen gleichzeitig bewertet werden.
Die Forscher, die an der Guangxi University of Science and Technology arbeiten, beschlossen zu untersuchen, warum diese Tests manchmal so unterschiedliche Antworten liefern. Sie erstellten drei verschiedene Sätze von Testdaten, um ein statistisches Bewertungssystem gegen ein einfaches Formanpassungssystem zu vergleichen. Der erste Satz wurde erstellt, indem sie die perfekten, bekannten Strukturen der Proteine nahmen und sie sanft schüttelten, um einen Pool von Vermutungen zu erzeugen. In diesem Szenario war die korrekte Antwort immer direkt dort, nur ein klein wenig verschoben. Der zweite Satz verwendete dieselbe Schüttelmethode, begann jedoch mit den unvollkommenen, ungebundenen Strukturen der Proteine, so wie sie vor dem Zusammentreffen in der Zelle existieren. Der dritte Satz verwendete eine echte, veröffentlichte Ausgabe eines bedeutenden Docking-Programms, welche darstellt, was ein Computer tatsächlich produziert, wenn er nach einer Übereinstimmung sucht, ohne Hilfe zu erhalten.
Als die Forscher ihr statistisches Bewertungssystem auf den ersten Satz testeten, bei dem die Ausgangsstrukturen perfekt waren, schnitt es brillant ab. Es brachte die korrekte Pose konsistent an die Spitze der Liste und übertraf das einfache Formanpassungssystem bei weitem. Dieses Ergebnis bestätigte die traditionelle Sichtweise, dass statistische Methoden besser sind. Doch in dem Moment, als sie zum zweiten Satz wechselten, der die unvollkommenen, ungebundenen Strukturen verwendete, verschwand der Vorteil. Das statistische System fand die korrekte Pose nicht besser als durch Zufall. Als sie den dritten Satz testeten, die reale Ausgabe eines Docking-Programms, zeigte das statistische System keinen Vorteil gegenüber dem Formanpassungssystem. Es konnte die korrekte Pose nicht von den tausenden falschen unterscheiden, und in einigen Fällen waren die Ergebnisse nicht signifikant anders als bei einer Zufallsverteilung.
Die Forscher entdeckten den Grund für diesen dramatischen Wandel. Das statistische Bewertungssystem arbeitet damit, wie viele Atome zu nah beieinander liegen, ein Zustand, der als Kollision (Clash) bekannt ist. In den perfekten, geschüttelten Modellen hatte die korrekte Pose keine Kollisionen, sodass das System ihr eine hohe Punktzahl gab. Aber in den unvollkommenen Modellen und den realen Suchergebnissen enthielt die korrekte Pose aufgrund der leicht deplatzierten Ausgangsstrukturen natürlich einige unvermeidliche Kollisionen. Das statistische System sah diese Kollisionen und bestrafte die korrekte Pose, wodurch es sie für das Richtige in einer unordentlichen Realität sanktionierte. Das einfache Formanpassungssystem hatte dieses Problem nicht; es war weniger empfindlich gegenüber diesen geringfügigen Unvollkommenheiten und funktionierte daher über verschiedene Arten von Tests hinweg konsistenter.
Die Forscher entdeckten auch, dass die Größe der zu bewertenden Liste das Urteil verändert. Wenn die Liste der Vermutungen klein war und nur die besten zwanzig Vorhersagen enthielt, erschien das statistische System überlegen auf den perfekten Modellen. Doch als die Liste größer wurde und Hunderte oder Tausende von Vermutungen enthielt, begann das einfache Formanpassungssystem in Bezug auf das Gesamtranking besser auszusehen, obwohl das statistische System immer noch besser darin war, die einzelne beste Pose in den kleinen Listen zu finden. Dies bedeutet, dass die Frage „Welches System ist besser?“ keine einzige Antwort hat; sie hängt ganz davon ab, ob man nach der absolut besten Vermutung in einer kleinen Gruppe sucht oder versucht, einen riesigen Haufen von Daten zu sortieren.
Vielleicht war der frappierendste Befund, dass kein Bewertungssystem auf der realen Docking-Ausgabe zuverlässig die korrekte Pose finden konnte, wenn die Liste klein war. Die Forscher wandten einen strengen Test an, um zu sehen, ob die Scores echte Informationen enthielten oder nur zufälliges Rauschen waren. Sie fanden heraus, dass die Scores bei den realen Daten nicht von einer gemischten, zufälligen Liste zu unterscheiden waren. Die korrekte Pose war in den obersten wenigen durch das Suchprogramm generierten Vermutungen gar nicht erst vorhanden, sodass kein Bewertungssystem sie hätte retten können. Das statistische System versagte nicht, weil es schlecht beim Ranking war, sondern weil das Objekt, das es finden sollte, in der Liste gänzlich fehlte.
Diese Arbeit erzwingt ein Überdenken der Bewertung des Protein-Dockings. Die Studie kommt zu dem Schluss, dass ein Vergleich zwischen Bewertungssystemen nur dann gültig ist, wenn die Forscher die Größe der getesteten Liste, die Zusammensetzung dieser Liste und ob die korrekten Posen in dieser Liste strukturell perfekt oder leicht gespannt sind, klar angeben. Ein Bewertungssystem, das in einem sauberen, künstlichen Testset wie ein Gewinner aussieht, kann in einer realen Anwendung, in der die Ausgangsstrukturen unvollkommen sind und die korrekte Antwort tief in einem Meer von falschen Vermutungen vergraben liegt, nutzlos sein. Die Autoren argumentieren, dass zukünftige Benchmarks diese Details explizit melden müssen, denn ohne sie ist die Behauptung, eine Methode sei besser als eine andere, nicht nur unvollständig, sondern potenziell irreführend. Der Erfolg einer Methode ist keine inhärente Eigenschaft der Software, sondern ein Resultat der spezifischen Bedingungen, unter denen sie eingesetzt wird.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.