Published benchmark AUROC does not predict generalisation: an independent evaluation of protein solubility predictors on native and heterologous E. coli proteins

Stellen Sie sich vor, Sie sind ein Chefkoch, der versucht, den perfekten Kuchen zu backen. In der Welt der Biologie ist der „Kuchen“ ein Protein, eine winzige molekulare Maschine, die fast alles in unserem Körper und in der Biotechnologie erledigt. Manchmal, wenn Wissenschaftler versuchen, diese Proteine in einer Fabrik herzustellen (meistens unter Verwendung von Bakterien wie E. coli als Ofen), falten sie sich nicht korrekt zusammen. Anstatt eines fluffigen Kuchens entstehen sie als harter, unbrauchbarer Klumpen aus Teig, ein sogenannter „Inclusion Body“. Das ist ein riesiges Problem, denn wenn man das Protein nicht lösen und funktionsfähig machen kann, kann man es nicht zur Herstellung von Medikamenten verwenden oder das Leben selbst untersuchen.

Um dieses Desaster zu vermeiden, nutzen Wissenschaftler Computerprogramme namens „Prädiktoren“. Stellen Sie sich diese wie magische Rezeptbücher vor, die die Liste der Zutaten (die Sequenz des Proteins) betrachten und raten: „Hey, dieser hier wird fluffig werden!“ oder „Nö, dieser wird ein Stein.“ Lange Zeit wurden diese Rezeptbücher anhand eines einzigen Scores bewertet, dem AUROC, was wie eine Note auf einem Zeugnis ist. Eine höhere Note bedeutete, dass das Buch besser war. Die große Frage war: Wenn ein Rezeptbuch eine „Eins“ in einem ganz bestimmten Test bekommt, bedeutet das, dass es immer noch der beste Chefkoch ist, wenn man ihm einen völlig anderen Satz an Zutaten gibt? Diese Arbeit untersucht, ob diese glänzenden Zeugnisnoten wirklich die Wahrheit darüber aussagen, wie gut diese Computer-Chefs in der realen Welt abschneiden.

---

Das große Protein-Backduell: Wenn Zeugnisse lügen

In dieser Studie beschloss ein Forscher namens Jakob Oeschey, die populärsten proteinvorhersagenden „Rezeptbücher“ auf die Probe zu stellen, aber mit einem Twist. Anstatt nur auf ihre offiziellen Zeugnisse zu schauen, backte er sie in zwei sehr unterschiedlichen Küchen, um zu sehen, ob sie der Hitze tatsächlich standhalten können.

Die zwei Küchen
Stellen Sie sich zwei verschiedene Arten von Backherausforderungen vor:

1. Die heimische Küche (Native Kitchen): Dies ist wie das Backen mit Zutaten, die seit Generationen im selben Garten gewachsen sind. Die Proteine hier sind „nativ“, das heißt, es sind die natürlichen, unveränderten Proteine, die in E. coli-Bakterien vorkommen. Sie sind an ihre Umgebung gewöhnt, wie ein lokaler Bäcker, der genau weiß, wie der Ofen funktioniert.
2. Die fremde Küche (Heterologous Kitchen): Dies ist die „fremde“ Küche. Hier versuchen Wissenschaftler, Proteine zu backen, die eigentlich gar nicht in E. coli hingehören – vielleicht menschliche Proteine oder Proteine von anderen Mikroorganismen. Dies sind „heterologe“ Konstrukte. Es ist, als würde man einen lokalen Bäcker bitten, plötzlich ein komplexes französisches Gebäck mit einer anderen Art von Mehl und einem neuen Ofen zu backen. Das ist viel schwieriger, und es ist wahrscheinlicher, dass Dinge schiefgehen.

Die Kontrahenten
Oeschey holte die Schwergewichte dazu:

• RP3Net und NetSolP: Dies sind die „Deep Learning“-Chefs. Sie sind superintelligente, komplexe KI-Modelle, die Millionen von Rezepten gelesen haben. Sie sind die Stars der Proteinkwelt und prahlen mit hohen Werten in ihren offiziellen Tests.
• Die einfachen Baselines: Das sind die „Großmutters Heuristiken“. Sie sind keine schicke KI; sie sind einfache, altmodische Faustregeln basierend auf grundlegender Chemie (wie dem Zählen, wie viele „klebrige“ oder „rutschige“ Zutaten in der Mischung sind). Sie sind die bescheidenen, sachlichen Bäcker.

Die schockierenden Ergebnisse
Als Oeschey diese Köche in der heimischen Küche (dem einfachen, lokalen Garten) testete, waren die Ergebnisse chaotisch und überraschend.

• NetSolP war der Starkoch und erzielte eine 0,792. Er war am besten darin, vorherzusagen, welche nativen Proteine funktionieren würden.
• RP3Net, der KI-Promi, der für sich selbst einen Score von 0,83 beanspruchte, ging krachend unter. Es erreichte nur 0,709.
• Und hier kommt der Clou: Die einfachen, altmodischen „Großmutter“-Regeln (speziell der Solubility-Weighted Index oder SWI) erzielten 0,745. Das bedeutet, dass die einfache Regel die schicke KI schlug! Die KI, die eigentlich die beste sein sollte, war tatsächlich schlechter als ein einfacher Taschenrechner.

Die Lücke zwischen dem besten KI-Modell (NetSolP) und dem schlechtesten KI-Modell (RP3Net) betrug 0,083. Das ist ein gewaltiger Unterschied in der Welt der Wissenschaft. Der Unterschied war so groß, dass die beiden „superintelligenten“ Modelle nicht einmal übereinstimmten; sie befanden sich an entgegengesetzten Enden des Spektrums.

Das Desaster in der fremden Küche
Dann zog Oeschey die Köche in die fremde Küche (die schwierige, fremde Herausforderung).

• Plötzlich verhielten sich die beiden KI-Chefs (NetSOLP und RP3Net) ähnlich. Beide erzielten etwa 0,63, was okay ist, aber nicht großartig.
• Die einfachen Regeln fielen hinter sie zurück, waren aber immer noch im Spiel.
• Aber das wahre Drama kam von einer dritten KI namens PLM_Sol. Dieses Modell behauptete einen Score von 0,83 in seinem eigenen Test. Doch als Oeschey es mit den fremden Proteinen testete, brach es auf 0,564 zusammen. Das ist im Grunde ein Münzwurf! Es schnitt schlechter ab als die einfachen Regeln und war kaum besser als bloßes Raten. Selbst nachdem er die Proteine entfernt hatte, bei denen das Modell eventuell „geschummelt“ hatte, indem es sie auswendig lernte, scheiterte es weiterhin.

Was das bedeutet
Die wichtigste Lektion hier ist, dass ein glänzendes Zeugnis (ein hoher Benchmark-Score) nicht garantiert, dass ein Koch bei einer neuen Art von Kochen gut ist.

• RP3Net war großartig in seinem spezifischen Job (Vorhersage menschlicher Wirkstofftargets), aber schrecklich bei der nativen Aufgabe.
• NetSolP war großartig bei der nativen Aufgabe, aber nur mittelmäßig bei der fremden Aufgabe.
• PLM_Sol sah auf dem Papier fantastisch aus, versagte aber völlig, als sich die Zutaten änderten.

Die Studie schloss auch einige Ausreden aus. Sie prüften, ob die KI nicht einfach „geschummelt“ hatte, indem sie die Antworten aus ihren Trainingsdaten auswendig lernte. Selbst nachdem die Testdatensätze bereinigt worden waren, um Überschneidungen mit den Proteinen zu entfernen, blieben die Ergebnisse gleich. Das Scheitern lag nicht am Schummeln, sondern daran, dass die Modelle für eine bestimmte Art von Proteinen trainiert wurden und nicht auf eine andere Art generalisieren konnten.

Das Fazit
Wenn Sie ein Wissenschaftler sind, der versucht, ein Protein herzustellen, wählen Sie nicht einfach das Werkzeug mit der höchsten Zahl auf der Verpackung. Diese Zahl könnte eine Lüge sein, wenn Ihr Protein anders ist als die Proteine, für die das Werkzeug trainiert wurde. Manchmal ist eine einfache, altmodische Faustregel tatsächlich zuverlässiger als eine schicke, teure KI. Der beste Weg, um herauszufinden, ob ein Werkzeug funktioniert, besteht darin, es an genau der Art von Proteinen zu testen, die Sie herstellen wollen, anstatt nur der Schlagzeile zu vertrauen.

Kurz gesagt: In der Welt der Proteinvorhersage ist der Kontext entscheidend. Ein Modell, das in einer Küche ein Genie ist, kann in einer anderen ein Desaster sein, und eine einfache Regel kann manchmal einen Supercomputer überlisten, wenn die Bedingungen stimmen.