Redesigning the Eterna100 RNA design benchmark for the Vienna 2 folding engine
Diese Studie zeigt, dass die Leistungsfähigkeit von RNA-Design-Algorithmen intrinsisch mit den thermodynamischen Modellen der verwendeten Faltungsmotoren verknüpft ist, was zur Erstellung eines revidierten Eterna100-V2-Benchmarks führt, der offenbart, dass sowohl der ursprüngliche als auch der aktualisierte Benchmark unter ihren beabsichtigten Einstellungen aufgrund vorheriger Bewertungsfehler und enginespezifischer Herausforderungen weiterhin ungelöst bleiben.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung eines Preprints, das nicht peer-reviewed wurde. Dies ist kein medizinischer Rat. Treffen Sie keine Gesundheitsentscheidungen auf Grundlage dieses Inhalts. Vollständigen Haftungsausschluss lesen
RNA ist ein Molekül, das als vielseitiger Arbeiter innerhalb lebender Zellen fungiert, indem es genetische Anweisungen überträgt, beim Aufbau von Proteinen hilft und sogar eigenständig chemische Reaktionen durchführt. Um diese Aufgaben zu erfüllen, müssen sich RNA-Stränge in spezifische, komplizierte Formen falten, ganz ähnlich wie ein Stück Papier, das zu einer präzisen Origami-Figur zerknittert wird. Die Form wird durch die Sequenz der chemischen Buchstaben bestimmt, aus denen der Strang besteht. Wissenschaftler versuchen nun, ihre eigenen RNA-Moleküle von Grund auf neu zu entwerfen, um neue Medikamente und biologische Werkzeuge zu erschaffen. Um dies zu tun, müssen sie ein schwieriges Rätsel lösen: Welche Sequenz von Buchstaben faltet sich in eine gewünschte Form? Dies ist als das inverse Faltungsproblem bekannt. Jahrelang haben Forscher sich auf Computerprogramme verlassen, sogenannte Faltungs-Engines, um vorherzusagen, wie sich eine Sequenz falten wird. Diese Programme nutzen komplexe Regeln, die auf der Energie des Moleküls basieren, um die endgültige Form zu erraten. Doch genau wie eine Landkarte veraltet, wenn neue Straßen entdeckt werden, haben sich auch die Regeln, die diese Computerprogramme verwenden, im Laufe der Zeit verändert, und dieser Wandel hat Verwirrung in der Fachwelt gestiftet.
Ein weit verbreitetes Set aus einhundert anspruchsvollen RNA-Rätseln, bekannt als Eterna100, wurde entwickelt, um zu testen, wie gut verschiedene Computeralgorithmen dieses Designproblem lösen können. Diese Rätsel wurden ursprünglich mit einer älteren Version der Faltungs-Engine erstellt. Als sich das Feld zu einer neueren, genaueren Version der Engine bewegte, begannen Forscher sich zu fragen, ob die alten Rätsel noch funktionieren würden. Ein Team von Wissenschaftlern, das mit einer Online-Community von Citizen Scientists zusammenarbeitet, die RNA-Design-Spiele spielen, setzte sich daran, die Antwort zu finden. Sie entdeckten, dass die Änderung der Computerregeln kein nebensächliches Detail war; sie veränderte die Physik der Rätsel grundlegend. Als sie versuchten, die ursprünglichen einhundert Rätsel mit der neuen Engine zu lösen, stellten sie fest, dass neunzehn davon unmöglich waren. Die neuen Regeln machten bestimmte strukturelle Merkmale zu instabil, was bedeutete, dass keine Sequenz von Buchstaben unter den aktualisierten Bedingungen jemals in diese spezifischen Formen falten konnte.
Um dies zu beheben, wandten sich die Forscher an die menschlichen Spieler des Eterna-Spiels. Sie baten die Community, jene neunzehn unmöglichen Rätsel neu zu entwereln, indem sie die Zielformen so geringfügig wie möglich veränderten, damit sie mit der neuen Engine lösbar wurden. Den Spielern gelang es, eine modernisierte Version des Benchmarks namens Eterna100-V2 zu erschaffen. Diese neuen Rätsel behielten den gleichen schwierigen Geist der Originale bei, wurden aber angepasst, um der aktuellen wissenschaftlichen Erkenntnis über die RNA-Physik zu entsprechen. Das Team testete dann sechs der fortschrittlichsten Computer-Design-Algorithmen sowohl gegen die alten als auch gegen die neuen Benchmarks. Sie fanden heraus, dass die Leistung dieser Programme hochgradig sensibel darauf reagierte, welchen Regelwerk sie verwendeten. Einige Algorithmen, die zuvor als die besten Performer erschienen waren, hatten plötzlich Schwierigkeiten, wenn sie auf die neue Engine umgestellt wurden, während andere standhaft blieben. Dies geschah, weil viele der Computerprogramme spezifische Tricks gelernt hatten, die auf den alten Regeln basierten, und diese Tricks nicht funktionierten, als sich die zugrunde liegende Physik änderte.
Die Untersuchung deckte auch einen signifikanten Fehler in der Art und Weise auf, wie frühere Studien behaupteten, die ursprünglichen Rätsel gelöst zu haben. Mehrere Forschungsgruppen hatten berichtet, dass ihre Algorithmen alle einhundert der ursprünglichen Rätsel lösen könnten. Als die Autoren dieser Arbeit jedoch jene Lösungen unter Verwendung der korrekten, strengen Einstellungen für die alte Engine erneut untersuchten, stellten sie fest, dass die Lösungen tatsächlich falsch waren. Die Forscher hatten die neue Engine verwendet, aber versucht, die alten Regeln nachzuahmen, ohne eine entscheidende Einstellung richtig gesetzt zu haben, was zu falsch-positiven Ergebnissen führte. Dies bedeutete, dass der Erfolg dieser Design-Werkzeuge in der Fachwelt überschätzt worden war. Selbst mit dem neuen, korrigierten Benchmark hat bisher kein einziger Computeralgorithmus geschafft, alle einhundert Rätsel zu lösen. Die besten Programme können die meisten von ihnen lösen, aber eine Handvoll bleibt selbst nach mehrtägiger Laufzeit ungelöst.
Die Studie kommt zu dem Schluss, dass die Schwierigkeit, RNA zu designen, tief mit dem spezifischen thermodynamischen Modell verknüpft ist, das ihr Verhalten vorhersagt. Wenn sich unser Verständnis der RNA-Physik verbessert und die Computermodelle genauer werden, müssen auch die Benchmarks, die zur Testung von Design-Werkzeugen verwendet werden, mit evolvieren. Die Forscher schlagen vor, dass zukünftige Algorithmen flexibel genug sein müssen, um sich an diese wechselnden Modelle anzupassen, anstatt sich auf feste Regeln aus der Vergangenheit zu verlassen. Durch die Bereitstellung eines korrigierten, modernisierten Sets von Rätseln, das dem aktuellen wissenschaftlichen Wissen entspricht, hat das Team dem Feld einen zuverlässigen Weg gegeben, Fortschritte zu messen. Die Arbeit unterstreicht, dass in dem Bestreben, die Bausteine des Lebens zu designen, die Werkzeuge, mit denen wir Erfolg messen, genauso präzise sein müssen wie die Designs, die wir zu erschaffen hoffen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.