Evolutionary conditioning enables guided generation of functionally diverse enhancers

Dit paper introduceert EnhancAR, een autoregressief model dat door gebruik te maken van evolutionaire informatie uit homoloog enhancer-sets in plaats van celtype-labels, functioneel diverse en specifieke enhancers kan genereren voor een breed scala aan contexten.

De kern

De "Evolutie-Coach" voor Genen: Een Simpele Uitleg van EnhancAR

Stel je voor dat je een heel oude, geheimzinnige receptenboek hebt. Dit boek bevat duizenden variaties op één en hetzelfde gerecht, zoals een soep. Elke variatie is gemaakt door een andere kok in een ander dorp, met lokale ingrediënten, maar ze smaken allemaal ongeveer hetzelfde. De ene kok gebruikt misschien een snufje meer komijn, de andere een beetje meer wortel, maar het basisrecept – de smaak van de soep – blijft behouden door de eeuwen heen.

In de biologie zijn versterkers (enhancers) precies zo'n recept. Het zijn stukjes DNA die vertellen aan de cellen wanneer en waar een gen moet worden aan- of uitgeschakeld. Het probleem is: we weten niet precies welke ingrediënten (de letters in het DNA) het belangrijkst zijn voor de smaak.

Tot nu toe probeerden wetenschappers nieuwe recepten te bedenken door te kijken naar specifieke "keukens" (celtypen), maar dat werkte alleen als ze al duizenden recepten uit die specifieke keuken hadden. Dat is als proberen een nieuwe soep te bedenken, maar je hebt alleen maar recepten uit de Franse keuken, terwijl je een Italiaanse soep wilt maken.

Enter EnhancAR: De Meesterkok die Kijkt naar Geschiedenis

De onderzoekers van dit papier hebben een nieuwe AI ontwikkeld, genaamd EnhancAR. In plaats van te vragen: "Wat is de naam van deze cel?", leert deze AI door te kijken naar de geschiedenis van het recept.

Hier is hoe het werkt, in drie simpele stappen:

1. Het Verzamelen van de Oude Recepten (Homologen)

Stel je voor dat je een recept voor "Tomatensoep" hebt. Je zoekt dan op in de wereldgeschiedenis: hoe zagen de recepten voor tomatensoep eruit bij onze oer-voorouders, bij chimpansees, bij honden en bij muizen?

• De onderzoekers hebben 1,7 miljoen van deze "familie-recepten" verzameld.
• Ze hebben deze recepten niet in een rijtje gezet (zoals een standaard lijst), maar als een familiegroep. De AI ziet: "Kijk, deze 64 versies van tomatensoep lijken op elkaar, maar hebben kleine verschillen. Wat is het geheim dat ze allemaal gemeen hebben?"

2. De Kunst van het "Prompten" (Het Geven van een Hint)

Normaal gesproken zou je de AI moeten vertellen: "Maak een recept voor een levercel." Maar EnhancAR heeft die naam niet nodig.

• De Analogie: In plaats van te zeggen "Maak een Italiaanse soep", geef je de AI gewoon een paar oude, echte recepten van tomatensoep mee.
• De AI zegt dan: "Oké, ik zie dat jullie allemaal tomaten, uien en een beetje basilicum gebruiken. Ik ga nu een nieuw recept bedenken dat ook die basis heeft, maar dan met mijn eigen draai."
• Het resultaat is een nieuw, uniek recept dat nog steeds smaakt als tomatensoep (het heeft dezelfde functie), maar dat er anders uitziet dan de originele versies.

3. De Magische Trucjes

De onderzoekers hebben ontdekt dat deze AI twee coole dingen kan doen:

• Specifiek zonder Naam: Als je de AI een recept geeft dat werkt in een levercel (zonder te zeggen "levercel"), maakt hij nieuwe recepten die ook werken in een levercel. De AI heeft de "smaak" van de levercel geleerd door te kijken naar de familie-recepten, niet door een label te lezen.
• Korter en Krachtiger: Soms zijn recepten onnodig lang. De onderzoekers hebben een speciale versie van de AI getraind (EnhancAR-sorted) die leert: "Hoe korter het recept, hoe beter, zolang de smaak maar behouden blijft."
  • Voorbeeld: Ze namen een recept van 200 letters lang en kregen er eentje van slechts 53 letters uit, dat nog steeds net zo goed werkte. Dit is heel belangrijk voor geneeskunde, omdat je DNA-recepten vaak in kleine virussen moet stoppen om ziektes te genezen, en die virussen kunnen niet heel veel DNA bevatten.

Waarom is dit zo belangrijk?

Vroeger was het ontwerpen van nieuwe DNA-recepten als het proberen te raden welke letters je moet veranderen in een boek, zonder te weten wat de zin betekent. Het was gissen.

Met EnhancAR hebben we nu een evolutie-coach. Deze coach kijkt naar duizenden jaren van natuurlijke selectie en zegt: "Kijk, deze letters zijn belangrijk, die niet. Laten we een nieuw, veilig en functioneel recept bedenken dat past bij wat de natuur al heeft bewezen."

Het is alsof je niet zelf een nieuw gerecht moet uitvinden, maar gewoon naar de beste koks van de afgelopen 1000 jaar kijkt en zegt: "Jullie weten hoe het moet. Maak nu iets nieuws, maar houd de smaak hetzelfde."

Kortom: EnhancAR gebruikt de wijsheid van de evolutie om nieuwe, functionele DNA-recepten te ontwerpen, zonder dat we eerst hoeven te weten hoe die cellen heten of hoe ze werken. Het is een enorme stap vooruit voor geneeskunde en biotechnologie.

Technische samenvatting

Probleemstelling

Het ontwerpen van genetische versterkers (enhancers) met specifieke functies, zoals het activeren van genexpressie in een bepaald celtype, is cruciaal voor toepassingen in gentherapie en synthetische biologie. Bestaande diepe leermodellen voor het ontwerpen van enhancers zijn echter beperkt door hun afhankelijkheid van celtype-label conditioning. Deze modellen vereisen grote datasets van gelabelde experimenten (zoals Massively Parallel Reporter Assays, MPRA) voor specifieke celtypen.

• Beperkingen: Dergelijke gelabelde data is schaars en bestaat slechts voor een handvol celtypen (vaak cellijnen die makkelijk in het lab te kweken zijn).
• Bias: Modellen getraind op deze data kunnen niet generaliseren naar celtypen zonder experimentele data (bijv. tijdelijke celtypen tijdens ontwikkeling) en vertonen een bias naar experimenteel haalbare omstandigheden.
• Kennislacune: De cis-regulerende code (hoe DNA-sequentie functie bepaalt) is nog niet volledig begrepen, wat rationeel ontwerp bemoeilijkt.

Methodologie: EnhancAR

De auteurs stellen EnhancAR voor, een autoregressief generatief model dat in plaats van celtype-labels, gebruikmaakt van evolutionaire homologie als context voor het genereren van sequenties.

1. Dataverzameling:

   • Er is een dataset samengesteld van 1,7 miljoen menselijke enhancer-kandidaten uit ENCODE SCREEN, gedekt over 1.888 menselijke celtypen.
   • Voor elk menselijk enhancer zijn homologe sequenties geïdentificeerd in 241 zoogdiersoorten (via de Zoonomia-alignering). Dit resulteerde in ongeveer 233 miljoen homologen (gemiddeld 135 per enhancer).
   • Een "enhancer homolog familie" wordt gedefinieerd als een set niet-uitgelijnde (unaligned) homologe sequenties met een gedeelde oorsprong.

2. Modelarchitectuur:

   • EnhancAR is gebaseerd op de Jamba-architectuur (een hybride transformer/state-space model). Dit maakt het mogelijk om lange contextvensters te verwerken met minder geheugenverbruik dan standaard transformers.
   • Het model is getraind op sets van tot 64 homologe sequenties, samengevoegd tot één string gescheiden door speciale tekens.
   • Training: Het model leert de volgende token te voorspellen (next-token prediction) op basis van de voorgaande homologe sequenties in de set. Hierdoor leert het de evolutionair behouden functies van de enhancer, ongeacht de specifieke DNA-sequentie.

3. Generatiemodi:

   • Unconditioned: Genereren van sets van sequenties zonder prompt (om de natuurlijke verdeling te leren).
   • Conditioned (Prompting): Het genereren van nieuwe sequenties door het model te "prompten" met een set van bestaande homologe sequenties van een specifieke enhancer.
   • EnhancAR-sorted: Een variant die getraind is op homologen gesorteerd op afnemende lengte, specifiek gericht op het verkorten van enhancers.

Belangrijkste Bijdragen

• Nieuwe Paradigma: Het introduceren van "homology prompting" voor enhancer-design, waarbij evolutionaire informatie wordt gebruikt in plaats van experimentele celtype-labels.
• Grootste Homolog Dataset: Het creëren van de tot nu toe grootste dataset van enhancer-homolog families (1,7 miljoen families).
• Label-vrij Ontwerp: Het aantonen dat celtype-specifiek ontwerp mogelijk is zonder expliciete celtype-informatie tijdens training of inferentie, puur door het gebruik van evolutionaire voorbeelden.
• Sequentie-Verkorting: Een methode om enhancers te verkorten (essentieel voor virale vectoren) terwijl de functie behouden blijft, door training op lengte-gesorteerde data.

Resultaten

1. Unconditioned Generatie:

   • De door het model gegenereerde sequentiesets vertonen een vergelijkbare diversiteit en motiv-samenstelling als natuurlijke homologe families.
   • Ze behouden evolutionair geconserveerde transcriptionele factor-motieven (gemeten via Average Motif Scores, AMS) en vallen binnen het functionele ruimte van menselijke enhancers (gevisualiseerd via Enformer embeddings en UMAP), hoewel ze dichter bij de modus van de trainingsdata blijven.

2. Conditioned Generatie (Behoud van Functie):

   • Wanneer het model wordt geprompt met een homologe familie, genereert het nieuwe en diverse sequenties die functioneel vergelijkbaar zijn met de prompt.
   • De gegenereerde sequenties behouden de sterkste motivs van de prompt (hoge precisie en recall voor motivs met AMS > 5).
   • Celtype-specifiek ontwerp: Door het prompten met homologen van bekende celtype-specifieke enhancers (bijv. voor HepG2, K562, WTC11), genereert het model sequenties die voorspelde activiteit vertonen in dat specifieke celtype, zonder dat het model ooit een celtype-label heeft gezien. De activiteit neemt toe met het aantal sequenties in de prompt (tot een verzadigingspunt van ~63 sequenties).

3. Verkorting van Enhancers (EnhancAR-sorted):

   • Het gesorteerde model kan enhancers genereren die korter zijn dan de kortste sequentie in de prompt, terwijl de voorspelde activiteit behouden blijft.
   • Ongeveer 85% van de gegenereerde sequenties was korter dan de kortste prompt-sequentie.
   • Ongeveer 38-43% van de verkorte ontwerpen behield een hoge voorspelde activiteit (>2 log2 FC) en was korter dan het oorspronkelijke menselijke enhancer. In sommige gevallen waren de verkorte sequenties zelfs actiever dan het origineel.

Betekenis en Conclusie

Dit paper presenteert een doorbraak in het generatieve ontwerp van biologische sequenties. Door te vertrouwen op evolutionaire conditionering in plaats van experimentele labels, overwint EnhancAR de beperkingen van data-schaarste en celtype-bias.

• Toepassingsgebied: De methode is bijzonder waardevol voor het ontwerpen van enhancers voor celtypen die moeilijk te isoleren of te assayen zijn (bijv. tijdens embryonale ontwikkeling), waar traditionele MPRA-data ontbreekt.
• Efficiëntie: Het vermogen om functionele enhancers te verkorten biedt directe voordelen voor gentherapie, waar de grootte van het te verpakken DNA vaak beperkt is door virale vectoren.
• Inzicht: Het model fungeert niet alleen als een ontwerptool, maar biedt ook een raamwerk om de cis-regulerende code te bestuderen door te analyseren welke evolutionair geconserveerde patronen het model leert te reproduceren.

Samenvattend demonstreert EnhancAR dat evolutionaire informatie een flexibeler en generaler paradigma biedt voor het ontwerpen van functionele enhancers dan bestaande op labels gebaseerde benaderingen.