Redesigning the Eterna100 RNA design benchmark for the Vienna 2 folding engine
Deze studie toont aan dat de prestaties van RNA-ontwerpalgoritmen intrinsiek verbonden zijn met de thermodynamische modellen die in vouwingsmotoren worden gebruikt, wat leidde tot de creatie van een herziene Eterna100-V2 benchmark die onthult dat zowel de oorspronkelijke als de bijgewerkte benchmarks onopgelost blijven onder hun beoogde instellingen vanwege eerdere evaluatiefouten en enginespecifieke uitdagingen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van een preprint die niet peer-reviewed is. Dit is geen medisch advies. Neem geen gezondheidsbeslissingen op basis van deze inhoud. Lees de volledige disclaimer
RNA is een molecuul dat fungeert als een veelzijdige werker binnen levende cellen, waarbij het genetische instructies doorgeeft, helpt bij het bouwen van eiwitten en zelfs zelf chemische reacties uitvoert. Om deze taken te kunnen uitvoeren, moeten RNA-strengen zich vouwen in specifieke, ingewikkelde vormen, vergelijkbaar met een stuk papier dat wordt opgepropt tot een nauwkeurige origami-figuur. De vorm wordt bepaald door de sequentie van chemische letters die de streng vormen. Wetenschappers proberen nu hun eigen RNA-moleculen vanaf nul te ontwerpen om nieuwe medicijnen en biologische instrumenten te creëren. Om dit te doen, moeten ze een moeilijk puzzelstuk oplossen: gegeven een gewenste vorm, welke sequentie van letters zal in die vorm vouwen? Dit staat bekend als het inverse vouwprobleem. Jarenlang hebben onderzoekers vertrouwd op computerprogramma's, zogenaamde vouwmotoren, om te voorspellen hoe een sequentie zich zal vouwen. Deze programma's gebruiken complexe regels gebaseerd op de energie van het molecuul om de uiteindelijke vorm te raden. Echter, net zoals een kaart verouderd kan raken wanneer er nieuwe wegen worden ontdekt, zijn de regels die deze computerprogramma's gebruiken in de loop van de tijd veranderd, en deze verschuiving heeft voor verwarring gezorgd in het vakgebied.
Een veelgebruikte set van honderd uitdagende RNA-puzzels, bekend als Eterna100, werd gemaakt om te testen hoe goed verschillende computeralgoritmen dit ontwerpprobleem konden oplossen. Deze puzzels werden oorspronkelijk gebouwd met een oudere versie van de vouwmotor. Terwijl het vakgebied overging naar een nieuwere, nauwkeurigere versie van de motor, begonnen onderzoekers zich af te vragen of de oude puzzels nog wel zouden werken. Een team van wetenschappers, werkend met een online gemeenschap van burgerwetenschappers die RNA-ontwerpgames spelen, zette zich in om het antwoord te vinden. Ze ontdekten dat de verandering in de computerregels geen klein detail was; het veranderde fundamenteel de fysica van de puzzels. Wanneer ze probeerden de oorspronkelijke honderd puzzels op te lossen met de nieuwe motor, kwبden ze dat negentien van hen onmogelijk waren. De nieuwe regels maakten bepaalde structurele kenmerken te instabiel, wat betekende dat geen enkele sequentie van letters ooit in die specifieke vormen zou kunnen vouwen onder de bijgewerkte omstandigheden.
Om dit op te lossen, richtten de onderzoekers zich tot de menselijke spelers van het Eterna-spel. Ze vroegen de gemeenschap om de negentien onmogelijke puzzels te herontwerpen, waarbij de kleinste mogelijke wijzigingen aan de doelvormen werden aangebracht, zodat ze met de nieuwe motor opgelost konden worden. De spelers slaagden erin een gemoderniseerde versie van de benchmark te creëren, genaamd Eterna100-V2. Deze nieuwe puzzels behielden dezelfde moeilijke geest als de originelen, maar werden aangepast om te passen bij het huidige begrip van de RNA-fysica. Het team testte vervolgens zes van de meest geavanceerde computerontwerpalgoritmen tegen zowel de oude als de nieuwe benchmarks. Ze ontdekten dat de prestaties van deze programma's zeer gevoelig waren voor de set regels die ze gebruikten. Sommige algoritmen die voorheen als de beste presteerders werden beschouwd, hadden plotseling moeite wanneer ze naar de nieuwe motor werden overgeschakeld, terwijl andere standvastig bleven. Dit gebeurde omdat veel van de computerprogramma's specifieke trucjes hadden geleerd op basis van de oude regels, en die trucjes werkten niet toen de onderliggende fysica veranderde.
Het onderzoek bracht ook een significante fout aan het licht in de manier waarop eerdere studies beweerden de oorspronkelijke puzzels te hebben opgelost. Verschillende onderzoeksgroepen hadden gerapporteerd dat hun algoritmen alle honderd van de oorspronkelijke puzzels konden oplossen. Echter, toen de auteurs van dit artikel die oplossingen hercontroleerden met de juiste, strikte instellingen voor de oude motor, ontdekten zij dat de oplossingen feitelijk onjuist waren. De onderzoekers hadden de nieuwe motor gebruikt maar hadden geprobeerd de oude regels na te bootsen zonder een cruciale instelling juist te krijgen, wat leidde tot fout-positieven. Dit betekende dat het vakgebied het succes van deze ontwerptools had overschat. Zelfs met de nieuwe, gecorrigeerde benchmark heeft nog geen enkel computeralgoritme erin geslaagd om alle honderd puzzels op te lossen. De beste programma's kunnen de meeste van hen oplossen, maar een handvol blijft onopgelost, zelfs nadat ze dagenlang hebben gedraaid.
De studie concludeert dat de moeilijkheid van het ontwerpen van RNA diep verbonden is met het specifieke thermodynamische model dat wordt gebruikt om het gedrag ervan te voorspellen. Naarmate ons begrip van de RNA-fysica verbetert en de computermodellen nauwkeuriger worden, moeten de benchmarks die worden gebruikt om ontwerptools te testen, mee evolueren. De onderzoekers suggereren dat toekomstige algoritmen flexibel genoeg moeten zijn om zich aan te passen aan deze veranderende modellen, in plaats van te vertrouwen op vaste regels uit het verleden. Door een gecorrigeerde, gemoderniseerde set puzzels te bieden die de huidige wetenschappelijke kennis weerspiegelt, heeft het team het vakgebied een betrouwbare manier gegeven om vooruitgang te meten. Het werk benadrukt dat in de zoektocht naar het ontwerpen van de bouwstenen van het leven, de instrumenten die we gebruiken om succes te meten, net zo precies moeten zijn als de ontwerpen die we hopen te creëren.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.