Genetic Perturbation Prediction Models Fail Out-of-Distribution: A Rigorous Benchmark and Systematic Evaluation

Stellen Sie sich eine Welt vor, in der Wissenschaftler vorhersagen könnten, wie eine lebende Zelle auf eine spezifische genetische Veränderung reagiert, ohne jemals das Experiment im Labor durchführen zu müssen. Dies ist das Versprechen von „virtuellen Zellmodellen“, Computerprogrammen, die darauf ausgelegt sind, die Auswirkungen des Ein- oder Ausschaltens von Genen zu simulieren. In der realen Welt nutzen Forscher leistungsstarke Werkzeuge, um Gene einzeln auszuschalten und dann die daraus resultierenden Veränderungen in der Aktivität der Zelle zu messen – ein Prozess, der langsam, teuer und schwer skalierbar ist. Wenn ein Computer diese Ergebnisse präzise prognostizieren könnte, würde er als massiver Abkürzung dienen und es Arzneimittelentwicklern ermöglichen, tausende potenzielle Behandlungen in einem Bruchteil der Zeit zu testen. Jahrelang hat das Feld versucht, diese Modelle zu bauen, wobei viele Forscher darauf setzten, dass komplexere Systeme der künstlichen Intelligenz diese Aufgabe schließlich meistern würden.

Ein neuer Bericht deutet jedoch darauf an, dass die aktuelle Generation dieser Modelle einen entscheidenden Test nicht besteht. Die Forscher hinter dieser Arbeit, ein Team der Elucidata Corporation, wollten herausfinden, ob diese Computerprogramme wirklich die biologischen Regeln des Lebens lernen oder ob sie lediglich Muster aus den Daten, mit denen sie gefüttert wurden, auswendig lernen. Sie fanden heraus, dass diese Modelle unter Standardtestbedingungen zwar gut zu funktionieren scheinen, aber zusammenbrechen, wenn sie gefragt werden, die Auswirkungen von Genen vorherzusagen, die sie noch nie zuvor gesehen haben. Die Studie zeigt, dass selbst die anspruchsvollsten Modelle, einschließlich derer, die auf den neuesten Foundation-Technologien basieren, keinen wirklichen Vorteil gegenüber viel einfacheren Methoden bieten. Anstatt die zugrunde liegende Mechanik der Zelle zu verstehen, raten diese Programme im Wesentlichen basierend auf der Ähnlichkeit zu vergangenen Beispielen, eine Strategie, die gegenüber neuen, unbekannten biologischen Szenarien versagt.

Um zu verstehen, warum dies wichtig ist, muss man zunächst die Natur der Herausforderung begreifen. Wenn Wissenschaftler Gene untersuchen, schauen sie sich an, wie sich die internen Anweisungen der Zelle ändern, wenn ein bestimmtes Gen entfernt wird. In einem typischen Experiment testen sie möglicherweise hunderte Gene in einem einzigen Zelltyp. Das Ziel für ein Computermodell besteht darin, aus diesen hunderten Beispielen zu lernen und dann vorherzusagen, was passieren würde, wenn ein anderes Gen, das es noch nie zuvor erlebt hat, entfernt wird. Dies ist eine schwierige Aufgabe, da die Beziehung zwischen einem Gen und seiner Auswirkung nicht immer offensichtlich ist; sie hängt von einem komplexen Geflecht von Interaktionen innerhalb der Zelle ab. Die Standardmethode zum Testen dieser Modelle war bisher das zufällige Aufteilen der Daten, wobei dem Computer einige Gene zum Lernen und einige andere zur Vorhersage gegeben wurden. Das Problem bei diesem Ansatz ist, dass die „neuen“ Gene biologisch oft sehr ähnlich zu denen sind, die der Computer bereits kennt. Es ist, als würde man einen Schüler bitten, eine Prüfung abzulegen, bei der die Fragen nur leichte Variationen derjenigen sind, die er gelernt hat. Der Schüler könnte eine perfekte Punktzahl erreichen, nicht weil er das Fach versteht, sondern weil er das Muster wiedererkannt hat.

Das Team hinter dieser Studie, unter der Leitung von Kanupriya Tiwari und Kollegen, beschloss, die Regeln des Spiels zu ändern. Sie führten ein neues Test-Framework namens EL-PERTURB ein, das darauf ausgelegt ist, diese Modelle unter realistischen Bedingungen auf die Probe zu stellen. Anstatt zufällige Aufteilungen zu verwenden, gruppierten sie die Gene danach, wie sie tatsächlich das Verhalten der Zelle beeinflussen. Dann zwangen sie die Modelle, die Auswirkungen von Genen aus einer völlig anderen Gruppe vorherzusagen, um sicherzustellen, dass die Test-Gene funktionell verschieden von den Trainings-Genen waren. Dieser Aufbau ahmt ein reales Szenario nach, in dem ein Arzneimittelentwickler die Auswirkung eines Gens vorhersagen muss, das noch nie untersucht wurde. Sie testeten zwanzig verschiedene Modelle, die von einfachen statistischen Werkzeugen bis hin zu komplexen Deep-Learning-Systemen reichten, einschließlich solcher, die massive vortrainierte Datenbanken biologischen Wissens nutzen. Sie führten diese Tests an Daten aus vier verschiedenen menschlichen Zelllinien durch, die sowohl essenzielle Gene, welche kritisch für das Überleben der Zelle sind, als auch einen breiteren Satz von Genen abdeckten, die in genomweiten Screens vorkommen.

Die Ergebnisse waren drastisch und konsistent. Wenn die Modelle an Genen getestet wurden, die ihrem Trainingsdatensatz ähnlich waren, schnitten sie vern reasonably gut ab, was bestätigte, dass sie interpolieren, also die Lücken zwischen bekannten Beispielen füllen können. Doch als die Forscher den neuen, strengeren Test mit funktionell unterschiedlichen Genen anwandten, sank die Leistung jedes einzelnen Modells dramatisch. Die komplexen Modelle, zu denen fortschrittliche neuronale Netze und Systeme gehörten, die auf Foundation-Modellen basieren und mit riesigen Mengen an biologischen Texten und Daten trainiert wurden, waren auch nicht besser als die wesentlich einfacheren Baselines. In einigen Fällen hielten sich die einfacheren Modelle sogar etwas besser. Die Studie ergab, dass die anspruchsvollsten Architekturen keinen zuverlässigen Vorteil beim Umgang mit diesen neuen, ungesehenen biologischen Situationen boten. Die Modelle lernten nicht die kausale Logik darüber, wie Gene Zellen steuern; sie riefen lediglich Antworten aus einer auswendig gelernten Nachbarschaft ähnlicher Beispiele ab.

Die Forscher untersuchten auch, ob die Verwendung von Daten aus mehreren Zelltypen helfen könnte, die Modelle besser zu generalisieren lassen. Sie fanden heraus, dass dieser Ansatz nur dann funktionierte, wenn die biologischen Reaktionen über die verschiedenen Zelltypen hinweg hochgradig ähnlich waren, wie etwa bei essenziellen Genen, die gemeinsame Stressreaktionen auslösen. Wenn sie jedoch zu genomweiten Screens übergingen, die ein viel vielfältigeres und chaotischeres Set an biologischen Reaktionen beinhalten, verschwand der Vorteil der Verwendung mehrerer Zelltypen vollständig. In diesen komplexen Szenarien konnten die Modelle Wissen nicht effektiv übertragen, und die erfolgreichsten Prädiktoren waren oft die einfachsten, wie etwa grundlegende Regressionswerkzeuge oder Methoden, die darauf beruhten, bekanntes biologisches Wissen abzurufen, anstatt aus den Daten selbst zu lernen. Dies deutet darauf hin, dass der Engpass nicht das Design des Modells ist, sondern die Natur der Daten und das Fehlen eines echten Verständnisses der kausalen Mechanismen, die das Verhalten der Zelle antreiben.

Ein weiterer wichtiger Befund betraf die Verwendung von „Foundation-Modellen“, also großen KI-Systemen, die auf massiven Datensätzen genetischer Informationen vortrainiert wurden. Viele Forscher hofften, dass diese Systeme, die allgemeine biologische Muster gelernt haben, einen Vorsprung bei der Vorhersage spezifischer Genwirkungen bieten könnten. Die Studie testete Embeddings, also digitale Repräsentationen von Genen, die aus diesen Foundation-Modellen abgeleitet wurden, und verglich sie mit Repräsentationen, die aus kuratiertem, handverlesenem biologischem Wissen aufgebaut wurden. Die Ergebnisse zeigten, dass die Foundation-Modell-Embeddings keine Verbesserung gegenüber dem kuratierten Wissen boten. In einigen Konfigurationen machten sie die Vorhersagen sogar etwas schlechter. Dies deutet darauf hin, dass die aktuelle Generation dieser großen Modelle noch nicht die spezifischen kausalen Informationen kodiert, die nötig sind, um vorherzusagen, wie eine Zelle auf eine genetische Veränderung reagiert – zumindest nicht in einer Weise, die einfachere, direktere Quellen biologischen Wissens übertrifft.

Die Studie kommt zu dem Schluss, dass das Feld die Fähigkeiten dieser Modelle überschätzt hat, weil die Standard-Testmethoden zu einfach sind. Durch die Abhängigkeit von zufälligen Aufteilungen und großzügigen Mengen an Trainingsdaten haben bisherige Benchmarks es den Modellen ermöglicht, durch Interpolation statt durch echte Extrapolation erfolgreich zu sein. Die Autoren argumentieren, dass die Gemeinschaft künftig strengere Evaluierungsstandards einführen muss, die Modelle zwingen, sich echten, neuartigen biologischen Herausforderungen zu stellen. Sie schlagen vor, dass zukünftige Modelle über das reine Mustervergleich hinausgehen und beginnen müssen, die tatsächliche kausale Struktur der Biologie zu kodieren – also zu verstehen, wie sich eine Störung durch ein Netzwerk von Interaktionen ausbreitet, um ein spezifisches Ergebnis zu erzeugen. Bis dahin bleibt das Versprechen einer „virtuellen Zelle“, die das Labor-Experiment zuverlässig ersetzen kann, in weiter Ferne, und die effektivsten Werkzeuge zur Vorhersage genetischer Effekte sind möglicherweise immer noch die einfacheren, transparenteren Methoden, die im Wettlauf zur Komplexität übersehen wurden.