Dated public evidence and known genes for retrospective evaluation of gene prioritization

In der weiten Landschaft der modernen Medizin versuchen Wissenschaftler ständig vorherzusagen, welche Gene zu Zielen für neue Medikamente werden. Stellen Sie sich einen Forscher vor, der vor einer Bibliothek mit Millionen von Büchern über die menschliche Biologie steht und versucht zu erraten, welcher spezifische Band das Geheimnis zur Heilung einer Krankheit enthält. Um diese Vermutungen anzustellen, bauen sie Computermodelle, die aus vergangenen Erfolgen lernen: Sie betrachten Gene, die bereits als effektive Wirkstoffziele bekannt sind, und versuchen, die Muster zu finden, die sie erfolgreich gemacht haben. Die Hoffnung ist, dass diese Muster ihnen helfen werden, das nächste große Ziel zu entdecken, noch bevor ein Medikament überhaupt erfunden wurde. Es gibt jedoch eine subtile, aber gefährliche Falle in diesem Prozess. Die Bibliotheken, die diese Modelle nutzen, sind keine statischen Sammlungen; sie sind lebendige Kollektionen, die jeden Tag wachsen. Sobün ein Gen berühmt wird und ein Medikament dafür entwickelt wird, flutet neue Information über dieses Gen in die Datenbanken. Wenn ein Computermodell von einer Datenbank lernt, die aktualisiert wurde, nachdem ein Gen berühmt wurde, könnte es einfach nur die Tatsache lernen, dass das Gen berühmt ist, anstatt die biologischen Gründe zu erlernen, warum es funktioniert. Dies ist vergleichbar mit dem Versuch, den Gewinner eines Rennens vorherzusagen, indem man auf eine Anzeigetafel schaut, die bereits die Ergebnisse auflistet; die Vorhersage ist technisch korrekt, aber sie sagt einem nichts über die tatsächliche Geschwindigkeit oder Strategie des Läufers aus.

Dieses Problem, bekannt als „Information Leakage“ (Informationsleckage), hat es schwierig gemacht, der Leistungsfähigkeit vieler Werkzeuge zur Gen-Priorisierung zu vertrauen. Forscher vermuteten schon lange, dass diese Werkzeuge übermäßig gut abschneiden, weil sie versehentlich in die Zukunft schauen. Um dies zu lösen, hat ein Team bei Pfizer einen neuen, akribisch zeitgestempelten Datensatz erstellt, der es Wissenschaftlern ermöglicht, die Geschichte exakt so nachzuspielen, wie sie passiert ist. Anstatt die aktuelle, aktualisierte Version öffentlicher Datenbanken zu verwenden, lässt dieser neue Datensatz Forscher die Zeit an jedem beliebigen Punkt der letzten Dekade einfrieren. Sie können das Computermodell bitten, eine Vorhersage unter Verwendung der Informationen zu treffen, die zu einem bestimmten Datum öffentlich verfügbar waren, und dann prüfen, ob das Modell die Gene korrekt identifiziert hätte, die erst später berühmt wurden. Dieser Ansatz nimmt dem Modell den Vorteil, das Ergebnis im Voraus zu kennen, und zwingt es dazu, sich auf echte biologische Signale statt auf das Rauschen akkumulierter Forschung zu verlassen.

Der Kern dieser Arbeit ist eine massive Sammlung von Evidenztabellen, die vier große medizinische Bereiche abdecken: Krebs, entzündliche Darmerkrankungen, Stoffwechsel und Psoriasis. Die Forscher sammelten Daten aus zwanzig verschiedenen öffentlichen Quellen, wie klinischen Registern, genetischen Datenbanken und Protein-Karten. Für jede einzelne Information in diesen Tabellen haben sie zwei kritische Metadaten angehängt: ein Veröffentlichungsdatum und eine „Leakage“-Klassifizierung. Das Veröffentlichungsdatum sagt dem Computer genau, wann diese Information zum ersten Mal öffentlich wurde. Die Leakage-Klassifizierung fungt als Filter, der die Daten danach sortiert, wie wahrscheinlich sie durch die Geschichte der Arzneimittelentwicklung verzerrt sind. Einige Datenpunkte repräsentieren reine Biologie, wie die physische Struktur eines Proteins oder dessen Ort im Körper, die unabhängig davon existieren würden, ob jemals versucht wurde, ein Medikament dafür zu entwickeln. Andere Datenpunkte repräsentieren die Geschichte der Forschung selbst, wie etwa die Anzahl der wissenschaftlichen Arbeiten, die über ein Gen geschrieben wurden, oder die Anzahl der klinischen Studien, die es getestet haben. Letztere Gruppe ist höchst verdächtig, da das Volumen der Forschung oft erst ansteigt, nachdem ein Gen bereits als wichtig erkannt wurde.

Durch die Organisation der Daten auf diese Weise hat das Team fünf verschiedene „Feature-Sets“, oder Versionen des Datensatzes, erstellt, die von der vollständigen Sammlung bis hin zu einer „Biologie-nur“-Version reichen, die alle Forschungsgeschichten und Arzneimittelentwicklungs-Datensätze ausschließt. Dies ermöglicht es Wissenschaftlern, ihre Modelle unter verschiedenen Bedingungen zu testen. Sie können sehen, ob ein Modell gut funktioniert, wenn es nur die rohen biologischen Fakten sieht, oder ob es nur dann gut abschneidet, wenn es die akkumulierte Geschichte der menschlichen Forschung sehen darf. Der Datensatz enthält auch eine Liste von 19 Gruppen „bekannter Gene“, jeweils mit einem präzisen Datum, das markiert, wann dieses Gen zum ersten Mal ein bekanntes Ziel oder eine bekannte Assoziation mit einer Krankheit wurde. Für Krebs-Targets ist dieses Datum besonders streng festgelegt: Es ist der Tag, an dem ein klinisches Studienregister zum ersten Mal zeigte, dass eine Studie für dieses spezifische Gen gestartet wurde, um sicherzustellen, dass das Modell nicht von der Studie wissen konnte, bevor sie öffentlich wurde.

Als die Forscher diese Werkzeuge testeten, stellten sie fest, dass der Zeitpunkt der Daten eine immense Rolle spielt. Sie entdeckten, dass viele Merkmale, die heute nützlich erscheinen, tatsächlich nur Reflexionen dessen sind, wie intensiv ein Gen untersucht wurde. Beispielsweise neigt die Anzahl der Forschungsarbeiten oder die Anzahl der Verbindungen eines Gens in einem Netzwerk dazu, sprunghaft anzusteigen, nachdem ein Gen zu einem Arzneimittelziel wurde. Wenn ein Modell diese Merkmale verwendet, nutzt es im Wesentlichen den Lösungsschlüssel. Der neue Datensatz zeigte, dass wenn man diese „Historie“-Merkmale entfernt und nur die Biologie betrachtet, die vor der Berühmtheit des Gens existierte, die Leistung vieler Modelle signifikant sinkt. Dies deutet darauf hin, dass frühere Bewertungen dieser Werkzeuge wahrscheinlich zu optimistisch waren, weil sie die Informationsleckage nicht berücksichtigt haben. Die Studie fand kein einzelnes „Wundermittel“, das alle Arzneimittelziele vorhersagt, aber sie lieferte einen rigorosen Weg, um echte biologische Erkenntnisse von dem Rauschen des Forschungsvolumens zu trennen.

Die Forscher überprüften auch die Zuverlässigkeit ihrer eigenen Daten und Labels. Sie haben hunderte von klinischen Studienunterlagen manuell überprüft, um sicherzustellen, dass die ihnen zugewiesenen Daten für die Gene korrekt sind. Sie fanden heraus, dass automatisierte Systeme zwar im Allgemeinen gut funktionieren, aber manchmal danebengreifen, insbesondere wenn eine Studie erst nach ihrem Beginn registriert wird oder wenn ein Medikament für eine andere Erkrankung getestet wird, als die, die eigentlich untersucht wird. Durch die Korrektur dieser Daten stellten sie sicher, dass die von ihnen gebaute „Zeitmaschine“ präzise war. Sie verifizierten auch, dass die biologischen Merkmale, wie etwa die Größe der Außenfläche eines Proteins, über die Zeit stabil blieben und nicht plötzlich änderten, nur weil ein Gen berühmt wurde. Diese Stabilität bestätigt, dass die biologischen Merkmale vertrauenswürdig sind und nicht unter denselben Zeit-Leakage-Problemen leiden wie die Merkmale des Forschungsvolumens.

Letztendlich bietet diese Arbeit einen neuen Standard für die Testung von Computermodellen in der Biologie. Sie verschiebt den Fokus von der Frage „Funktioniert dieses Modell mit den heutigen Daten?“ hin zu der Frage „Könnte dieses Modell dieses Ergebnis vorhergesagt haben, wenn es nur das gewusst hätte, was zu jenem Zeitpunkt bekannt war?“. Der Datensatz umfasst 183 archivierte Releases öffentlicher Ressourcen, die es jedem ermöglichen, den Stand des wissenschaftlichen Wissens zu jedem Quartalsende von 2016 bis 2024 zu rekonstruieren. Das bedeutet, dass ein Wissenschaftler nun eine neue Methode nehmen, sie gegen die Daten testen kann, wie sie im Jahr 2018 existierten, und sehen kann, ob sie die Gene, die im Jahr 2020 zu Targets wurden, erfolgreich identifiziert hätte. Wenn sie scheitert, ist die Methode nicht so leistungsfähig, wie es schien. Wenn sie erfolgreich ist, ist das Ergebnis viel glaubwürdiger.

Die Auswirkungen dieser Arbeit auf die Zukunft der Arzneimittelentdeckung sind tiefgreifend. Durch die Verwendung dieser datierten, leckagefreien Datensätze können Forscher aufhören, Modelle zu bauen, die lediglich die Geschichte der Wissenschaft auswendig lernen, und statfangen, Modelle zu bauen, die die Biologie der Krankheit wirklich verstehen. Der Datensatz garantiert nicht, dass morgen ein neues Medikament gefunden wird, aber er stellt sicher, dass die Werkzeuge, die zur Suche verwendet werden, sich nicht selbst täuschen. Er bietet eine Möglichkeit, zwischen einem Signal, das wirklich biologisch ist, und einem Signal, das lediglich ein Spiegelbild der Aufmerksamkeit ist, die ein Gen erhalten hat, zu unterscheiden. In einem Bereich, in dem der Einsatz hoch und die Datenlage überwältigend ist, ist diese Klarheit das wertvollste Werkzeug von allen. Die Forscher haben das Problem der Suche nach neuen Medikamenten nicht gelöst, aber sie haben einen besseren Kompass für die Reise gebaut – einen, der nach Norden zeigt und nicht dorthin, wo andere Reisende bereits gewesen sind.