A Long-Context Generative Foundation Model Deciphers RNA Design Principles

De auteurs presenteren EVA, een open-source generatief foundation-model met een groot contextvenster dat is getraind op meer dan 114 miljoen volledige RNA-sequenties en nieuwe inzichten biedt in RNA-ontwerpprincipes door state-of-the-art prestaties te leveren bij diverse taken, variërend van mutatiefitnessvoorspelling tot het ontwerpen van therapeutische RNA-moleculen.

De kern

Stel je voor dat RNA (ribonucleïnezuur) de receptenboek is van het leven. Net zoals een kok een recept nodig heeft om een perfecte taart te bakken, heeft een cel RNA nodig om eiwitten te maken, genen te reguleren en ziektes te bestrijden. Het probleem is dat deze recepten vaak heel complex zijn, en tot nu toe was het voor wetenschappers erg moeilijk om nieuwe, werkende RNA-recepten uit het niets te ontwerpen.

Deze paper introduceert EVA (Evolutionary Versatile Architect), een slimme kunstmatige intelligentie die als een super-chef fungeert die het hele receptenboek van het leven heeft gelezen en nu zelf nieuwe, perfecte gerechten kan bedenken.

Hier is hoe EVA werkt, vertaald naar alledaagse taal:

1. De Super-Leraar die alles heeft gelezen

Stel je voor dat je een taal wilt leren. De meeste AI-modellen hebben tot nu toe alleen korte zinnen geleerd (zoals "de kat zit op de mat"). Maar RNA-moleculen zijn vaak hele lange verhalen.

• Het probleem: Oude modellen konden niet meer dan een paar woorden onthouden. Ze misten het grote plaatje.
• De oplossing: EVA heeft 114 miljoen volledige RNA-recepten gelezen, van bacteriën tot mensen, van virussen tot onze eigen cellen. Het heeft een "geheugen" dat 8 keer groter is dan dat van zijn voorgangers.
• De analogie: Waar andere modellen slechts een zinnetje konden onthouden, kan EVA een heel boek lezen en zich herinneren hoe de eerste pagina relateert aan de laatste pagina. Dit is cruciaal, omdat RNA vaak lange afstanden in het molecuul nodig heeft om in de juiste vorm te vouwen.

2. De "Mix van Experts" (De culinaire brigade)

EVA is niet één grote, trage kok. Het is een brigade van chefs (een zogenaamde "Mixture-of-Experts" architectuur).

• Hoe het werkt: Als EVA een recept moet maken, kijkt het eerst welk type gerecht het is (bijvoorbeeld: een tRNA-recept of een mRNA-recept). Vervolgens schakelt het de juiste "expert-chef" in die gespecialiseerd is in dat specifieke type.
• Het voordeel: Dit maakt EVA extreem efficiënt en slim. Het kan tegelijkertijd de basisregels van alle RNA's begrijpen én de specifieke details van een bepaald organisme (bijvoorbeeld: "hoe maakt een muis een bepaald eiwit?").

3. Wat kan EVA eigenlijk doen?

EVA is niet alleen een voorspeller; het is een ontwerper. Hier zijn drie voorbeelden van wat het kan:

• Het "Nieuwe Recept" (De novo design):
  Stel je voor dat je een nieuwe medicijn nodig hebt dat een virus blokkeert. EVA kan een compleet nieuw RNA-recept bedenken dat er nog nooit is geweest, maar dat wel perfect in het "receptenboek van het leven" past. Het heeft al nieuwe tRNA's en CRISPR-gidsen ontworpen die in de computer perfect werken.

• Het "Recept Verbeteren" (Optimalisatie):
  Stel je hebt een bestaand recept voor een mRNA-vaccin, maar het is niet stabiel genoeg of werkt niet goed in de menselijke cel. EVA kan het recept herschrijven (net zoals je een recept zou aanpassen voor een andere oven) zodat het sterker wordt en beter werkt, zonder de smaak (de functie) te veranderen. Ze hebben dit succesvol getest op vaccins tegen o.a. SARS-CoV-2 en hondsdolheid.

• Het "Gokje" (Voorspellen):
  Als je een mutatie (een foutje) in een recept maakt, kan EVA direct zeggen: "Dit recept zal niet werken" of "Dit zal super goed werken", zelfs zonder dat het recept ooit in een laboratorium is getest. Het doet dit door te kijken naar hoe waarschijnlijk een bepaalde volgorde is in de natuur.

4. Waarom is dit zo belangrijk?

Vroeger was het ontwerpen van RNA als raden in het donker. Je maakte een ontwerp, testte het in het lab, en als het faalde, begon je opnieuw. Dat duurde maanden.
Met EVA is het als hebben een GPS die je direct de snelste route geeft.

• Het model leert de "grammatica" van het leven.
• Het begrijpt dat een RNA-molecuul niet alleen een rijtje letters is, maar een complexe 3D-vorm die moet vouwen.
• Het kan ontwerpen voor heel specifieke doelen: van het maken van nieuwe medicijnen tot het verbeteren van bestaande vaccins.

Conclusie

EVA is een doorbraak omdat het de kloof overbrugt tussen het lezen van biologische data en het creëren van nieuwe, bruikbare biologische onderdelen. Het is alsof we voor het eerst een machine hebben die niet alleen de taal van het leven spreekt, maar ook zelf gedichten (nieuwe medicijnen) kan schrijven die de natuur zou kunnen maken.

De onderzoekers hebben EVA en de data die ze hebben gebruikt gratis beschikbaar gesteld voor iedereen, zodat wetenschappers over de hele wereld nu kunnen beginnen met het ontwerpen van de medicijnen van de toekomst.

Technische samenvatting

Probleemstelling

Het programmeerbare ontwerp van RNA-sequenties met gedefinieerde functies blijft een centrale uitdaging in de biologie. Bestaande generatieve RNA-modellen hebben twee belangrijke beperkingen:

1. Gebrek aan controleerbaarheid: Veel modellen zijn encoder-only (gebaseerd op Masked Language Modeling) en gericht op representatieleren, wat minder geschikt is voor het synthetiseren van sequenties met expliciete controle over context en beperkingen.
2. Beperkte contextvensters: Bestaande modellen hebben vaak korte contextvensters (bijv. 1024 tokens), wat hen verhindert om de complexe evolutionaire samenhang van volledige transcripten te modelleren. Dit beperkt hun vermogen om lange-afstandsafhankelijkheden en globale transcriptstructuren te begrijpen.
   Daarnaast zijn RNA-datasets vaak heterogeen (gemengd met DNA) en vertonen ze een zware staartverdeling in abundantie, wat leidt tot overfitting op veelvoorkomende sequenties (zoals rRNA) ten koste van zeldzame functionele families.

Methodologie: EVA (Evolutionary Versatile Architect)

De auteurs introduceren EVA, een lang-context generatief fundamenteel model voor RNA, dat is ontworpen om deze uitdagingen aan te pakken.

• Data (OpenRNA v1): Het model is getraind op een nieuw, zorgvuldig samengesteld dataset genaamd OpenRNA v1, bestaande uit 114 miljoen gecureerde volledige RNA-sequenties (231,3 miljard nucleotiden). Deze dataset omvat 15 verschillende RNA-categorieën (waaronder mRNA, tRNA, circRNA, miRNA, virale RNA's) over het volledige evolutionaire spectrum (prokaryoten en eukaryoten).
• Modelarchitectuur:
  • Decoder-only Transformer: EVA is een decoder-only model met 1,4 miljard parameters.
  • Mixture-of-Experts (MoE): Het gebruikt een MoE-backbone (8 experts per laag, waarvan er 2 actief zijn per token) voor efficiëntere parametergebruik en betere prestaties dan dichte modellen.
  • Lang Contextvenster: Een contextvenster van 8.192 tokens, wat een 8-voudige toename is ten opzichte van eerdere modellen. Dit maakt het mogelijk om volledige transcripten te modelleren.
  • Trainingsdoelen: Het model combineert Causal Language Modeling (CLM) voor autoregressieve generatie en Generalized Language Modeling (GLM) voor het invullen van gemaskeerde delen (infilling).
• Trainingsstrategie:
  • Twee-staps curriculum: Eerst wordt getraind op RNA-type-tags (om universele grammatica te leren), gevolgd door een "mid-training" fase waarbij taxonomische lijn-gegevens (soort) worden toegevoegd. Dit voorkomt overfitting en helpt het model om universele regels te scheiden van soortspecifieke aanpassingen.
  • Sampling-strategie: Om de onbalans in de dataset aan te pakken, wordt er gebruik gemaakt van een sampling-strategie gebaseerd op evolutionaire conservatie (wortel-inversie van clustergrootte), waardoor zeldzame RNA-families meer gewicht krijgen tijdens het trainen.
• Conditionering: Het model kan worden gestuurd via specifieke tokens voor RNA-type (bijv. <rna_tRNA>) en taxonomische lijn (bijv. <lineage>), wat gerichte generatie mogelijk maakt.

Belangrijkste Bijdragen

1. Eerste lang-context generatieve RNA-fundamenteel model: EVA is het eerste model dat een MoE-architectuur toepast op RNA met een contextvenster dat volledige transcripten omvat.
2. OpenRNA v1 Dataset: De publicatie van een schaalbaar, niet-redundant dataset van 114 miljoen volledige RNA-sequenties.
3. Unificatie van taken: Een enkel model dat zowel mutatie-effectvoorspelling (zero-shot) als controllable generatie (de novo ontwerp en herontwerp) voor 11 verschillende RNA-klassen aankan zonder taakspecifieke fine-tuning.
4. Interpreteerbaarheid: Toepassing van Sparse Autoencoders (SAE) om te laten zien dat het model interne representaties heeft geleerd die corresponderen met biologische structuren (zoals 5'UTR, CDS, IRES) en evolutionaire lijnen.

Resultaten

• Mutatie-effectvoorspelling: EVA bereikt state-of-the-art prestaties in het voorspellen van fitness-effecten van mutaties voor ncRNA's (gemiddelde Spearman-correlatie 0,40) en mRNA's (0,31). Het overtreft bestaande modellen en kan zelfs gene-essentialiteit voorspellen in DNA en proteïne-fitness landschappen voorspellen, ondanks dat het uitsluitend op RNA is getraind.
• Generatieve Kwaliteit:
  • Structuur: Genereerde sequenties tonen een structurele geloofwaardigheid die overeenkomt met natuurlijke RNA's. Voor tRNA's behouden de gegenereerde sequenties een gemiddelde TM-score van ~0,74 ten opzichte van experimenteel opgeloste structuren, zelfs bij lage sequentie-identiteit.
  • Controle: Door conditionering op RNA-type en soort, reduceert EVA de Kullback-Leibler (KL) divergentie met natuurlijke verdelingen met meer dan 13-voudig ten opzichte van eerdere generatieve modellen (zoals GenerRNA).
  • Context: Het "Needle-in-a-Haystack"-test toont aan dat EVA betrouwbare lange-afstandsafhankelijkheden kan onthouden binnen het volledige 8.192-token venster.
• Praktische Toepassingen:
  • tRNA & Aptameren: Succesvol de novo ontwerp van tRNA's en RNA-aptameren met behoud van functionele structuren.
  • CRISPR: Redesign van omegaRNA's voor IscB-systemen, waarbij de grootte wordt verkleind terwijl de structuur en functie behouden blijven.
  • Vaccines: Optimalisatie van mRNA- en circRNA-vaccins. EVA verbeterde zowel de CAI (Codon Adaptation Index) als de MFE (Minimum Free Energy) voor diverse vaccins (o.a. SARS-CoV-2, Rabiës). Voor circRNA's werd ook het IRES-element de novo ontworpen, wat leidde tot een significante vermindering van inhiberende lange-afstandsinteracties en verbeterde ribosoomtoegankelijkheid.

Betekenis

Dit werk markeert een doorbraak in het veld van computationele biologie en RNA-engineering. EVA bewijst dat schaalbare generatieve modellering op evolutionair diverse RNA-data leidt tot een unificerend kader dat zowel voorspellend als ontwerpend werkt.

• Fundamenteel inzicht: Het model onthult dat RNA-sequenties een rijke "evolutionaire manifold" bevatten die structurele en functionele beperkingen encodeert, zelfs zonder expliciete 3D-structuurinvoer.
• Therapeutische impact: De mogelijkheid om volledig nieuwe, functionele RNA-moleculen (zoals aptameren, CRISPR-gidsen en vaccinconstructies) te ontwerpen met hoge nauwkeurigheid, opent nieuwe wegen voor de ontwikkeling van geneesmiddelen en therapieën.
• Open Science: Door het openbaar maken van het model, de dataset (OpenRNA v1) en de trainingsprotocollen, wordt de gemeenschap in staat gesteld om verder te bouwen op deze basis voor de volgende generatie RNA-ontwerptools.

Kortom, EVA transformeert RNA-design van een fragmentarische, taakspecifieke benadering naar een systematische, evolutionair onderbouwde generatieve discipline.