Additive-input encoding fails operator-level target-held-out prediction on current Perturb-seq screens

Stellen Sie sich eine Welt vor, in der Wissenschaftler in der Lage sind, einzelne Gene in einer Zelle auszuschalten und gleichzeitig zu beobachten, was passiert. Dies ist das Versprechen einer Technologie namens Perturb-seq. Durch den Einsatz eines molekularen Werkzeugs, um spezifische Gene stummzuschalten und anschließend die gesamte genetische Antwort der Zelle abzulesen, hoffen Forscher, eine Karte darüber zu erstellen, wie Gene miteinander kommunizieren. Das ultimative Ziel besteht darin, die verborgenen Regeln des Lebens zu verstehen: Wenn man an einem Faden zieht, welche anderen Fäden spannen sich an und welche werden locker? Jahrelang war die Standardmethode zur Interpretation dieser massiven Experimente die Annahme, dass die Reaktion der Zelle eine einfache Summe ihrer Teile sei. Die Idee ist, dass das Ausschalten von Gen A eine spezifische Menge an Veränderung bewirkt; wenn man Gen B ausschaltet, kommt eine weitere spezifische Menge hinzu. Wenn man beide ausschaltet, sollte das Ergebnis einfach die Summe dieser beiden Veränderungen sein. Diese „additive“ Sichtweise ist attraktiv, weil sie mathematisch sauber und leicht zu berechnen ist, was es Wissenschaftlern ermöglicht, eine Masterkontrollkarte der internen Verschaltung der Zelle abzuleiten.

Ein neuer Bericht von Forschern der Brigham Young University legt jedoch nahe, dass diese einfache Additionsregel bei der Anwendung auf reale biologische Daten grundlegend fehlerhaft sein könnte. Das Team unter der Leitung von Kyler Fullmer, Dalton Kutzen und Tommy W. Terooatea nahm drei der größten und angesehensten Gen-Silencing-Experimente, die je durchgeführt wurden, und testete, ob das additive Modell tatsächlich vorhersagen konnte, was mit einem Gen passieren würde, das die Forscher zuvor noch nie gesehen hatten. Sie betrachteten die Daten nicht nur; sie bauten eine rigorose Testumgebung auf, um zu sehen, ob das Modell verallgemeinern kann. Sie stellten eine einfache Frage: Wenn ein Computer die Regeln des Spiels aus einem Satz bekannter Gene lernt, kann er das Ergebnis für ein völlig neues Gen, das er zuvor noch nie encountert hat, korrekt erraten?

Die Antwort, so fanden sie heraus, war ein entschiedenes Nein. Als die Forscher versuchten, das Verhalten bisher unbekannter Gene mit dem additiven Modell vorherzusagen, versagte das Modell vollständig. Tatsächlich war die Leistung des Modells nicht besser als die einer Person, die einfach raten würde, dass sich gar nichts ändern würde. Um sicherzustellen, dass dieses Scheitern nicht bloß ein Zufall oder das Ergebnis unordentlicher Daten war, erstellte das Team eine perfekte Simulation. Sie generierten fiktive Daten, bei denen die Regeln bekanntlich perfekt additiv waren, genau wie die Theorie es behauptet. Als sie ihr Modell auf diese fiktiven Daten anwendeten, funktionierte es hervorragend und stellte die verborgenen Regeln mit hoher Genauigkeit wieder her. Dies bewies, dass ihre Testmethode fundiert war und der Computer in der Lage war zu lernen. Das Problem lag also nicht in der Mathematik oder dem Rauschen in den Daten, sondern in der Annahme, dass reale Zellen sich wie einfache Summen verhalten.

Die Forscher testeten dies an drei verschiedenen Datensätzen: zwei große Screens mit menschlichen Zellen, die in einer Kulturschale gezüchtet wurden, und einer, der verschiedene Dosierungen der Gen-Stummschaltung testete. In jedem einzelnen Fall konnte das Modell, das davon ausging, dass Gene ihre Effekte einfach addieren, das Ergebnis eines neuen Gens nicht vorhersagen. Die Fehlerrate war so hoch, dass die Vorhersagen des Modells nicht von blindem Raten zu unterscheiden waren. Das Team schloss mehrere mögliche Gründe für dieses Scheitern aus. Sie prüften, ob das Problem dadurch verursacht wurde, dass die „einfachsten“ Gene untersucht wurden, und stellten fest, dass das Modell selbst bei einer zufälligen Auswahl von Genen weiterhin versagte. Sie prüften, ob das Problem auf die Anzahl der untersuchten Gene oder die spezifische Art und Weise, wie die Gene gemessen wurden, zurückzuführen war, und fanden, dass das Scheitern unabhängig von diesen Faktoren bestehen blieb. Selbst als sie die Details darüber entfernten, wie stark die Gen-Stummschaltung war, und sich nur auf die Richtung der Veränderung konzentrierten, konnte das Modell das Ergebnis immer noch nicht vorhersagen.

Es gab einen kleinen Ausnahmefall, der einen Funken Hoffnung bot, aber dieser war bescheiden. Bei einem spezifischen Satz von Zellen konnte das Modell das Ergebnis neuer Gene etwas besser vorhersagen als nur den Durchschnitt des Ergebnisses. Doch selbst in diesem Bestfall stellte das Modell nur etwa sieben Prozent der Informationen wieder her, die ein perfektes, gut funktionierendes System bereitgestellt hätte. Es war ein winziger Sieg in einem Meer des Scheiterns. Die Forscher testeten auch anspruchsvollere Wege, die Gen-Informationen zu kodieren, einschließlich Methoden, die betrachteten, wie Gene im natürlichen Zustand der Zelle miteinander verbunden sind, oder die maschinelles Lernen nutzten, um den „Fingerabdruck“ des Gens aus den Daten zu lernen. Keine dieser fortgeschrittenen Methoden konnte das grundlegende Problem überwinden. Sie konnten das Ergebnis neuer Gene bei zwei der drei getesteten Zelltypen nicht vorhersagen, und beim dritten gelang ihnen nur eine geringfügige Verbesserung, die weit hinter dem zurückblieb, was die Theorie versprach.

Die Studie kommt zu dem Schluss, dass die derzeitige Art und Weise, diese massiven Gen-Silencing-Screens zu interpretieren, wahrscheinlich fehlerhaft ist. Die Annahme, dass Gene wie unabhängige Schalter agieren, deren Effekte sich einfach addieren, hält einer Überprüfung gegenüber unbekannten Zielsetzungen nicht stand. Die Forscher sehen zwei Hauptmöglichkeiten für dieses Phänomen. Erstens könnte die Art und Weise, wie sie die Identität eines Gens in einen mathematischen Input übersetzen, den Großteil der wichtigen Informationen wegwerfen – vergleichbar mit dem Versuch, eine komplexe Landschaft zu beschreiben, indem man nur auf ein einzelnes, unscharfes Foto blickt. Zweitens könnte die biologische Realität darin bestehen, dass Gene nicht auf eine einfache, lineare Weise wirken; stattdessen könnten ihre Effekte sättigen oder eine Schwelle erreichen, was bedeutet, dass das Ausschalten eines Gens keine stetige, vorhersehbare Veränderung bewirkt.

Diese Arbeit bedeutet nicht, dass Gen-Silencing-Screens nutzlos sind, aber sie bedeutet, dass die Karten, die wir bisher aus ihnen erstellt haben, möglicherweise keine zuverlässigen Wegweiser dafür sind, was passiert, wenn wir neue Gene angreifen. Die Forscher haben ein neues Toolkit veröffentlicht, um anderen Wissenschaftlern zu helfen, ihre eigenen Modelle gegen diese strengen Standards zu prüfen und so sicherzustellen, dass zukünftige Entdeckungen auf festem Boden gebaut werden. Die Lehre ist klar: Die Biologie ist oft komplexer, als es unsere einfachsten Gleichungen zulassen, und bis wir einen Weg finden, diese Komplexität zu erfassen, werden unsere Vorhersagen darüber, wie Zellen auf neue Interventionen reagieren werden, ungewiss bleiben.