GENEB: Why Genomic Models Are Hard to Compare
Um die Schwierigkeit beim Vergleich genomischer Fundamentmodelle aufgrund fragmentierter Benchmarks und inkompatibler Protokolle zu adressieren, führt das Paper GENEB ein, einen vereinheitlichten, groß angelegten diagnostischen Benchmark, der 40 Modelle über 100 Aufgaben hinweg evaluiert, um die Instabilität aggregierter Rankings aufzuzeigen und zu demonstrieren, dass die Übereinstimmung von Architektur und Pretraining oft schwerer wiegt als die Modellgröße.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung eines Preprints, das nicht peer-reviewed wurde. Dies ist kein medizinischer Rat. Treffen Sie keine Gesundheitsentscheidungen auf Grundlage dieses Inhalts. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, einem Computer beizubringen, das geheime Bedienungshandbuch des Lebens zu lesen. Dieses Handbuch ist in einer Sprache geschrieben, die aus nur vier Buchstaben besteht: A, C, G und T. Diese Buchstaben bilden den DNA-Code, der jedem Lebewesen – vom winzigen Bakterium bis zum riesigen Eichenbaum – sagt, wie es sich selbst aufbaut und funktioniert. In den letzten Jahren haben Wissenschaftler „Foundation Models“ entwickelt, die wie superintelligente Schüler sind, die Milliarden von Seiten dieses DNA-Handbuchs gelesen haben. Sie sollen die Regeln dieser Sprache so gut lernen, dass sie Dinge vorhersagen können, wie etwa, wie ein Gen reagiert oder ob eine bestimmte Sequenz eine Krankheit verursacht.
Aber hier liegt das Problem: Stellen Sie sich vor, jeder Schüler in einer Klasse würde einen anderen Test machen, ein anderes Wörterbuch benutzen und von einem anderen Lehrer bewertet werden. Ein Schüler könnte großartig im Rechtschreiben, aber schlecht in der Grammatik sein, während ein anderer ein Grammatik-Wunder ist, aber beim Rechtschreibtest versagt. Wenn man sich dann nur die Endnoten ansieht, wüsste man nicht, wer tatsächlich der beste Schüler insgesamt ist. Man wüsste nicht, ob das „Grammatik-Wunder“ beim Rechtschreibtest schlecht abgeschnitten hat, weil es schlecht darin ist, oder weil der Test unfair war. Genau das ist in der Welt der DNA-KI passiert. Verschiedene Forschungsteams entwickeln ihre Modelle, testen sie auf ihren eigenen, einzigartigen Aufgaben und behaupten, ihr Modell sei das „beste“. Aber weil sie nicht denselben Test machen, kann niemand sie wirklich fair vergleichen. Es ist, als würde man versuchen, zu entscheiden, wer der beste Athlet der Welt ist, indem man die Zeit eines Schwimmers im Pool mit der Zeit eines Läufers auf einer Laufbahn vergleicht, ohne einen einheitlichen Standard zu haben.
Hier setzt eine neue Studie namens GENEB an, um das Chaos zu ordnen. Die Forscher Daria Ledneva, Mikhail Nuridinov und Denis Kuznetsov beschlossen, eine massive, einheitliche „Olympiade“ für DNA-Modelle zu schaffen. Sie sammelten 40 verschiedene genomische Foundation-Modelle – einige groß, einige klein, manche auf menschlicher DNA trainiert, andere auf Bakterien oder Pflanzen – und unterzogen sie denselben 100 verschiedenen Herausforderungen. Diese Herausforderungen deckten 13 verschiedene Arten biologischer Aufgaben ab, wie das Finden spezifischer Schalter in der DNA (Promotoren), das Identifizieren, wie Gene an- oder ausgeschaltet werden (Histon-Modifikationen) oder das Aufspüren von Viren. Sie verwendeten ein strenges, faires Bewertungssystem, um zu sehen, wie jedes Modell abschneidet, wenn es „eingefroren“ ist – das heißt, es konnte während des Tests nichts Neues lernen; es musste sich rein auf das verlassen, was es bereits gelernt hatte.
Die Ergebnisse dieses großen Experiments waren überraschend und erschütterten einige verbreitete Überzeugungen. Erstens stellte die Studie fest, dass größer nicht immer besser ist. In der Welt der KI gibt es die populäre Idee, dass ein Modell automatisch intelligenter wird, wenn man es einfach größer macht (ihm mehr „Gehirnleistung“ oder Parameter gibt). Aber GENEB zeigte, dass dies kein magisches Heilmittel ist. Sie fanden heraus, dass ein winziges Modell mit nur 86 Millionen „Parametern“ (ein Maß für die Größe) ein riesiges Modell mit 7 Milliarden Parametern um eine gewaltige Marge schlagen konnte. Tatsächlich war das riesige Modell bei einigen Aufgaben so schlecht, dass es schlechter abschnitt als reines Raten, einfach weil es auf der falschen Art von DNA (Bakterien) trainiert worden war, während es im Test um menschliche DNA ging. Es ist, als würde man einen Chefkoch, der ein Meister darin ist, italienisch zu kochen, fragen, ob er ein traditionelles japanisches Gericht zubereiten kann; egal wie berühmt oder teuer der Koch auch ist, er wird Schwierigkeiten haben, wenn er die Zutaten nicht kennt.
Zweitens entdeckte die Studie, dass es wichtiger ist, womit ein Modell trainiert wurde, als wie groß es ist. Ein Modell, das speziell auf menschlicher DNA oder einer Mischung aus vielen verschiedenen Arten trainiert wurde, schnitt bei menschlichen Aufgaben viel besser ab als ein massives Modell, das nur auf Bakterien trainiert wurde. Die Forscher zeigten, dass es scheitert, wenn die „Diät“ des Modells (die Daten, die es während des Trainings „gegessen“ hat) nicht mit der „Mahlzeit“ übereinstimmt, nach der es später gefragt wird (die Aufgabe, bei der es getestet wird). Zum Beispiel waren Modelle, die auf menschlichen Daten trainiert wurden, schrecklich darin, Pflanzengene zu identifizieren, und Modelle, die auf Bakterien trainiert wurden, konnten nicht verstehen, wie menschliche Gene zusammengeschnitten (gespleißt) werden. Die Arbeit legt nahe, dass diese Modelle wirklich nützlich sein können, wenn sie mit der richtigen Art von Daten gefüttert werden, anstatt nur größer gemacht zu werden.
Schließlich argumentiert das Paper, dass es kein einzelnes „Champion-Modell“ gibt. Genau wie im Sport kann ein Modell der Beste im Laufen, aber schrecklich im Schwimmen sein. Die Studie fand heraus, dass ein Modell, das bei einer Aufgabe der Spitzenreiter war, bei einer anderen fast am Ende der Liste stehen konnte. Das bedeutet, dass anstatt nach dem einen „besten“ Modell zu suchen, das über alles herrscht, Wissenschaftler und Ärzte das richtige Werkzeug für die spezifische Aufgabe auswählen müssen. Wenn Sie vorhersagen wollen, wie ein menschliches Gen reguliert wird, sollten Sie ein Modell wählen, das auf menschlichen epigenetischen Daten trainiert wurde. Wenn Sie Pflanzengene identifizieren müssen, benötigen Sie ein Modell, das auf Pflanzen trainiert wurde. Das Paper kommt zu dem Schluss, dass die aktuelle Art und Weise, diese Modelle mit einer einzigen Bestenliste zu ranken, irreführend ist und dass wir einen sorgfältigeren, kategorienbasierten Ansatz benötigen, um die richtige KI für die richtige biologische Frage zu wählen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.