From ceilings to corrected estimates: capture–recapture on reference networks rescales, but rarely reorders, gene regulatory network benchmarks

Stellen Sie sich vor, Sie müssten die Hausarbeit eines Schülers bewerten, aber der Lösungsschlüssel des Lehrers enthält nur die Hälfte der richtigen Antworten. Wenn der Schüler einen brillanten Satz schreibt, der nicht im Schlüssel steht, markiert der Lehrer ihn als falsch. Die Note des Schülers sinkt – nicht, weil er schlecht geschrieben hat, sondern weil der Schlüssel unvollständig war. Dies ist das tägliche Ringen von Wissenschaftlern, die versuchen, das „Verdrahtungsdiagramm“ des Lebens zu kartieren, bekannt als ein Genregulationsnetzwerk (GRN). Diese Netzwerke sind wie die Bedienungsanleitungen für Zellen und zeigen, welche Gene andere Gene an- oder ausschalten. Um zu sehen, ob ein Computerprogramm diese Verbindungen herausfinden kann, vergleichen Wissenschaftler seine Vermutungen mit einer „Goldstandard“-Liste bekannter Verbindungen. Aber hier liegt der Haken: Diese Goldstandard-Liste ist ein Work in Progress und es fehlen tausende echte Verbindungen. Seit Jahren wissen Wissenschaftler, dass ihre Ergebnisse zu niedrig ausfallen, weil diese fehlenden Daten vorliegen, aber sie wussten nicht, wie niedrig, oder ob die fehlenden Daten einige Computerprogramme ungerechtfertigt stärker benachteiligen als andere. Es ist, als wüsste man, dass die Testnote falsch ist, aber man wisse nicht, ob man tatsächlich der beste Schüler ist oder nur derjenige, der mit den fehlenden Fragen Pech hatte.

Dieses Paper mit dem Titel „From ceilings to corrected estimates“ befasst sich genau mit diesem Rätsel. Der Autor, Liu Chen, verwendet einen cleveren statistischen Trick namens „Capture–Recapture“ (Fang-und-Wiederfang-Methode) – eine Methode, die ursprünglich dazu entwickelt wurde, Fische in einem See oder Tiere in einem Wald zu zählen –, um zu schätzen, wie unvollständig diese Genlisten wirklich sind. Indem er drei verschiedene Gen-Datenbanken wie drei separate „Netze“ behandelt, die in denselben Ozean biologischer Wahrheit ausgeworfen werden, stellt die Studie die Frage: Wie viele Fische übersehen wir? Die Ergebnisse sind eine Mischung aus überraschender Ungewissheit und beruhigender Stabilität. Die Studie kommt zu dem Ergebnis, dass die Gesamtzahl der echten Genverbindungen wahrscheinlich viel höher ist als gedacht, und dass unsere aktuellen Listen nur etwa 5 % der Wahrheit erfassen (was grob zwischen 3 % und 10 % liegt). Die wichtigste Entdeckung ist jedoch, dass, obwohl die Scores der Computerprogramme viel zu niedrig waren, das Ranking, wer das beste Programm ist, sich überhaupt nicht verändert hat. Selbst nachdem die Mathematik korrigiert wurde, um die fehlenden Daten zu berücksichtigen, blieben dieselben Programme an der Spitze und dieselben am Ende. Das Paper beweist, dass das Problem der „fehlenden Liste“ die Zahlen schlecht aussehen lässt, uns aber nicht in dem Glauben täuscht, dass die falschen Programme die besten seien.

Der Aufbau: Die fehlende Karte

Um die Geschichte zu verstehen, müssen Sie ein paar Dinge darüber wissen, wie Wissenschaftler Gene untersuchen. In jeder Zelle arbeiten Gene nicht allein; sie kommunizieren miteinander. Einige Gene agieren als Manager, die andere Gene an- oder ausschalten. Wissenschaftler nennen dies ein „Genregulationsnetzwerk“. Um eine Karte dieser Verbindungen zu erstellen, nutzen sie Computerprogramme, die Daten aus Zellen analysieren und vermuten, welche Gene mit welchen anderen Genen kommunizieren.

Aber woher weiß man, ob der Computer recht hat? Man benötigt eine Referenzkarte, eine „Ground Truth“ (echte Grundlage), die alle Verbindungen auflistet, die wir bereits sicher kennen. Wissenschaftler haben Jahrzehnte damit verbracht, diese Listen aufzubauen, indem sie tausende Forschungsarbeiten gelesen und Experimente durchgeführt haben. Sie verwenden drei Hauptlisten für Tests: eine namens STRING, eine namens BioGRID und eine namens TRRUST.

Das Problem ist, dass diese Listen wie eine Bibliothek sind, in der die meisten Bücher fehlen. Wir wissen, dass es Millionen von Verbindungen in einer menschlichen Zelle gibt, aber diese Listen enthalten nur einige tausend. Wenn ein Computerprogramm eine Verbindung vermutet, die zwar real ist, aber nicht auf der Liste steht, sagt die Liste: „Das ist falsch!“ Das lässt den Computer schlecht aussehen, selbst wenn er eigentlich einen großartigen Job macht. Wissenschaftler nennen dies das „Ceiling-Problem“ (Deckeneffekt): Da die Liste unvollständig ist, kann kein Computer jemals eine perfekte Punktzahl erreichen, egal wie intelligent er ist.

Die Detektivarbeit: Das Zählen der fehlenden Fische

Der Autor dieses Papers beschloss, nicht mehr zu raten, sondern zu zählen. Er verwendete eine Methode namens Capture–Recapture. Stellen Sie sich vor, Sie versuchen zu zählen, wie viele Fische in einem Teich sind:

1. Sie werfen ein Netz (Liste A) aus und fangen 100 Fische. Sie markieren sie und setzen sie zurück.
2. Sie werfen ein zweites Netz (Liste B) aus und fangen 100 Fische. 20 von ihnen tragen die Markierungen aus dem ersten Netz.
3. Sie werfen ein drittes Netz (Liste C) aus. Einige haben Markierungen von A, einige von B und einige wenige haben Markierungen von beiden.

Indem Sie beobachten, wie viele Fische in einem, zwei oder allen drei Netzen auftauchen, können Sie schätzen, wie viele Fische im Teich waren, die keines der Netze gefangen hat.

In dieser Studie sind die „Fische“ Genverbindungen und die „Netze“ sind die drei Datenbanken (STRING, BioGRID und TRRUST). Der Autor warf diese Netze über einen spezifischen Satz von 359.700 möglichen Genpaaren.

• Der Fang: Die drei Listen fanden zusammen nur 2.511 Verbindungen.
• Die Überschneidung: Die Listen überschnitten sich viel stärker, als es der Zufall vorhersagen würde. Zum Beispiel teilten STRING und BioGRID 139-mal mehr Verbindungen, als man erwarten würde, wenn sie unabhängig vone voneinander wären. Das liegt daran, dass sie oft Daten aus denselben populären Forschungsarbeiten beziehen.

Die großen Zahlen: Wie unvollständig sind wir?

Der Autor rechnete, um die Gesamtzahl der echten Verbindungen (das „latente Interaktom“) zu schätzen. Die Ergebnisse waren etwas schwankend, da die Listen sehr voneinander abhängig sind.

• Die Spanne: Je nachdem, wie man die Überschneidung modelliert, könnte die Gesamtzahl der echten Verbindungen irgendwo zwischen 2.579 und 46.864 liegen.
• Der Prozentsatz: Das bedeutet, dass unsere aktuellen Listen nur zwischen 5,4 % und 54,4 % der Wahrheit erfassen. Die beste Schätzung des Autors ist, dass wir nur etwa 5 % der echten Verbindungen sehen.

Dies bestätigt, dass die „Decke“ sehr niedrig liegt. Wenn ein Computerprogramm einen Score von 0,013 erzielt (was schrecklich aussieht), könnte es tatsächlich ein Niveau erreichen, das bei einer perfekten Liste bei 0,245 läge. Die Scores werden durch die fehlenden Daten nach unten gedrückt.

Die Wendung: Ändert sich das Ranking?

Hier ist der spannendste Teil. Wissenschaftler waren besorgt, dass die fehlenden Daten unfair sein könnten. Vielleicht sind einige Computerprogramme besser darin, die Verbindungen zu erraten, die in den Listen fehlen, während andere nur die „leichten“ Verbindungen erraten, die bereits auf den Listen stehen. Wenn das der Fall wäre, würden die fehlenden Daten uns täuschen, indem sie ein schlechtes Programm gut und ein gutes Programm schlecht aussehen lassen.

Der Autor testete dies, indem er eine „Korrektur“ auf die Scores anwandte. Er nutzte die Capture–Recapture-Daten, um festzustellen, dass die Listen für berühmte, viel untersuchte Gene vollständiger sind und für weniger bekannte Gene weniger vollständig. Er passte die Scores dann an, um diesen Bias (Verzerrung) zu berücksichtigen.

Das Ergebnis: Das Ranking der acht Computerprogramme änderte sich nicht.

• Das Programm, das vor der Korrektur auf Platz 1 war, blieb auf Platz 1.
• Das Programm, das auf Platz 8 war, blieb auf Platz 8.
• Die Reihenfolge blieb exakt gleich, obwohl die Scores selbst um etwa das 14- bis 20-fache anstiegen.

Der Autor bewies mathematisch, dass, wenn man die Scores aller Teilnehmer um die gleiche Zahl multipliziert (wie etwa durch die 5 % Vollständigkeit teilt), das Ranking gleich bleibt. Das Ranking würde sich nur ändern, wenn die Programme unterschiedliche Arten von fehlenden Verbindungen erraten würden. In diesem Fall jedoch erraten alle Programme die gleichen Arten von Verbindungen, nur mit unterschiedlichem Genauigkeitsgrad.

Die Simulation: Beweis, dass das Werkzeug funktioniert

Um sicherzustellen, dass seine Mathematik nicht fehlerhaft war, führte der Autor eine Simulation durch, bei der er die echte Antwort kannte. Er erstellte fiktive Daten, bei denen die Listen gegen bestimmte Arten von Verbindungen verzerrt waren.

• In dieser fiktiven Welt lieferten die unkorrigierten Scores das falsche Ranking.
• Als er seine Korrektur anwandte, korrigierte sich das Ranking selbst und entsprach der Wahrheit.

Dies bewies, dass seine Methode ein falsches Ranking korrigieren kann, wenn der Bias stark genug ist. Die Tatsache, dass sich das reale Ranking nicht änderte, bedeutet, dass der reale Bias nicht stark genug war, um das Ranking überhaupt zu täuschen.

Das Fazit

Dieses Paper sagt uns im Wesentlichen zwei Dinge:

1. Die Zahlen sind bedeutungslos: Wenn Sie einen Gennetzwerk-Score wie „0,013“ sehen, geraten Sie nicht in Panik. Es ist nur eine Zahl basierend auf einem fehlerhaften Lineal. Die wahre Leistung liegt wahrscheinlich 15- bis 20-mal höher.
2. Die Rankings sind sicher: Auch wenn das Lineal kaputt ist, ist es für alle auf die gleiche Weise kaputt. Das Computerprogramm, das derzeit das beste ist, bleibt das beste, und das schlechteste bleibt das schlechteste. Die fehlenden Daten lassen uns schlecht aussehen, aber sie führen uns nicht in die Irre, wer gewinnt.

Die Studie fand auch heraus, dass die Wahl der Liste (welche Liste man nutzt) wichtiger ist als deren Unvollständigkeit. Wenn man ein Programm gegen eine Liste physischer Verbindungen (STRING) testet, kann es gewinnen. Wenn man es gegen eine Liste regulatorischer Verbindungen (TRRUST) testet, kann es verlieren. Dies deutet darauf hin, dass Wissenschaftler vorsichtig sein müssen, welchen „Goldstandard“ sie verwenden, da die Liste selbst den Gewinner mehr beeinflusst als die fehlenden Daten.

Kurz gesagt: Die Karte des Lebens ist noch immer sehr unvollständig, aber unser Kompass, um die besten Werkzeuge zum Lesen dieser Karte zu finden, funktioniert einwandfrei.