Generative design of intrinsically disordered protein regions with IDiom

Dit artikel introduceert IDiom, een autoregressief taalmodel dat is getraind op 37 miljoen intrinsiek ongeordende sequenties en in staat is om biologisch relevante en functioneel georiënteerde eiwitsequenties te genereren, waarmee een langdurige uitdaging in het rationele ontwerp van deze dynamische eiwitregio's wordt opgelost.

De kern

Stel je voor dat de cellen in ons lichaam een enorme stad zijn. In deze stad zijn er gebouwen met een heel strakke, vaste architectuur (zoals kantoren of huizen). Dit zijn de gestructureerde eiwitten. Maar er zijn ook veel "drukte" en "vloeibare zones" in de stad: markten waar mensen snel samenkomen, of flexibele bruggen die bewegen. Dit zijn de intrinsiek ongeordende eiwitregio's (IDRs).

Deze "drukte" is cruciaal voor het leven: ze helpen bij communicatie, het organiseren van de stad, en het regelen van wie waar moet zijn. Maar tot nu toe was het voor wetenschappers bijna onmogelijk om deze vloeibare zones zelf te ontwerpen. Het is alsof je probeert een nieuwe, flexibele brug te bouwen, maar je hebt alleen blauwdrukken voor stenen huizen. De oude methodes faalden omdat ze probeerden een vaste vorm te forceren op iets dat juist geen vaste vorm heeft.

De Oplossing: IDiom, de "Vloeibare Architect"

In dit artikel presenteren de onderzoekers IDiom. Je kunt je IDiom voorstellen als een super-slimme, creatieve chef-kok die alleen heeft geoefend op het koken van soepen en salades (de vloeibare, ongeordende eiwitten), en nooit op gebakken steaks (de vaste eiwitten).

Hier is hoe het werkt, stap voor stap:

1. Het Leren van de "Recepten" (Training)

De onderzoekers hebben een gigantische database (37 miljoen stukjes) verzameld van alle bekende "soepen" in de natuur. Ze hebben een AI-model getraind om de patronen in deze soepen te begrijpen.

• De Creatieve Truc: Normaal gesproken leert een AI een verhaal van links naar rechts. IDiom leert echter op een slimme manier: ze geven de AI een zin met een gat in het midden (bijvoorbeeld: "De brug [GAT] verbindt de twee kusten") en vragen de AI om het gat in te vullen.
• Het Resultaat: De AI leert niet alleen hoe een losse soep eruitziet, maar ook hoe een soep eruitziet als hij tussen twee vaste gebouwen (gestructureerde eiwitten) hangt. Hij leert de "grammatica" van de chaos.

2. Het Ontwerpen van Nieuwe Soepen (Generatie)

Nu de AI is getraind, kan ze twee dingen doen:

• Vrije Creatie: Ze kan een volledig nieuwe, vloeibare eiwitsoep bedenken die er nog nooit is geweest, maar die wel perfect past bij de regels van de natuur.
• Contextuele Creatie: Ze kan een nieuwe brug ontwerpen die perfect past tussen twee specifieke gebouwen. Als je haar zegt: "Maak iets dat past bij deze kantoorflank," maakt ze een brug die precies de juiste eigenschappen heeft om daar te werken.

3. De "Doelgerichte" Chef (Reinforcement Learning)

Dit is het meest spannende deel. Stel je voor dat je de chef-kok niet alleen vraagt om "een lekkere soep" te maken, maar specifiek: "Maak een soep die naar de kern van de stad moet gaan" of "een soep die naar de opslagruimte moet".

De onderzoekers hebben de AI een extra training gegeven (met een beloningssysteem, zoals een sterretje op een bord). Ze hebben de AI gezegd: "Als je een eiwit maakt dat naar de celkern gaat, krijg je een sterretje."

• Het Wonder: De AI begon vanzelf nieuwe recepten te bedenken die precies de ingrediënten bevatten die nodig zijn om naar die specifieke plek te reizen.
  • Voor de celkern voegde ze meer "positieve lading" toe (zoals magneten die naar de kern trekken).
  • Voor stresskorrels (plekken waar de cel rust neemt) voegde ze specifieke "plakkerige" stukjes toe die helpen bij het samenkomen.

Waarom is dit belangrijk?

Voorheen was het ontwerpen van deze vloeibare eiwitten als gokken in het donker. Met IDiom hebben we nu een generatieve platform.

• Medicijnen: We kunnen nu ontwerpen dat medicijnen precies naar de juiste plek in de cel worden gebracht, in plaats van dat ze verdwalen.
• Synthetische Biologie: We kunnen nieuwe "vloeibare organen" in cellen bouwen om chemicaliën te produceren of afval op te ruimen.
• Begrip: Het helpt ons te begrijpen waarom de natuur bepaalde "recepten" gebruikt voor bepaalde taken.

Kort samengevat:
IDiom is de eerste AI die de taal van de "chaos" in onze cellen perfect spreekt. Het kan niet alleen bestaande chaos nabootsen, maar ook nieuwe, nuttige chaos ontwerpen die precies doet wat we willen: van het regelen van celcommunicatie tot het leveren van medicijnen op de juiste plek. Het is alsof we eindelijk de blauwdruk hebben gevonden om de vloeibare delen van het leven zelf te bouwen.

Technische samenvatting

Probleemstelling

Intrinsiek ongeordende eiwitregio's (IDRs) en volledig ongeordende eiwitten (IDPs) zijn overal in het leven aanwezig en spelen cruciale rollen in cellulair proces zoals transcriptieregulatie, signaaloverdracht en de vorming van biomoleculaire condensaten. Ondanks hun functionele belang zijn ze tot nu toe moeilijk rationeel te ontwerpen vanwege hun gebrek aan een stabiele, gedefinieerde 3D-structuur.

• Beperkingen van bestaande methoden: Structureel gebaseerde generatieve modellen (zoals die voor gefoldde eiwitten) zijn niet toepasbaar omdat IDRs geen stabiele vouwing hebben. Bestaande sequentie-gebaseerde benaderingen vertrouwen vaak op steekproefmethoden die gebaseerd zijn op eenvoudige samenstellingsregels en niet de complexe evolutionaire statistieken van natuurlijke IDRs vangen.
• Bias in taalmodellen: Bestaande Protein Language Models (PLMs) die op volledige eiwitsequenties zijn getraind, vertonen een sterke bias naar gefoldde domeinen, omdat deze in databases zoals UniProt oververtegenwoordigd zijn. Hierdoor zijn ze niet optimaal voor het genereren van functionele IDRs.

Methodologie: IDiom

De auteurs introduceren IDiom, een autoregressief, decoder-only protein language model dat specifiek is getraind op intrinsiek ongeordende regio's.

1. Data Curation en Voorbereiding:

• Bron: De dataset is afgeleid van de AlphaFold Database (AFDB).
• Identificatie: IDRs worden geïdentificeerd op basis van lage predicted Local Distance Difference Test (pLDDT) waarden van AlphaFold2 (AF2), wat sterk correleert met experimentele disorder-metingen.
• Filtering: Er zijn 37 miljoen IDRs geselecteerd uit AFDB. Sequenties korter dan 30 residuen, eiwitten met een totale lengte >512 residuen, en volledig ongeordende eiwitten (waar de hele sequentie laag pLDDT heeft) zijn verwijderd om de kwaliteit te waarborgen.
• Data Augmentatie (Fill-in-the-Middle): Om het model in staat te stellen IDRs te genereren binnen een context (omringd door gestructureerde domeinen), wordt een "fill-in-the-middle" (FIM) transformatie toegepast. Speciale tokens (<N> voor N-terminale context, <C> voor C-terminale context, en <I> voor de IDR-span) worden gebruikt. De <I> token en de IDR-sequentie worden verplaatst naar het einde van de sequentie, zodat het model de IDR kan voorspellen op basis van de voorafgaande context.
• Ongeconditioneerde Generatie: Voor het genereren van volledig ongeordende eiwitten (zonder context) wordt de dataset verrijkt door de flankerende context te verwijderen.
• Totale Dataset: 74 miljoen sequenties (37M context-gebaseerde IDRs + 37M ongeconditioneerde IDPs).

2. Model Architectuur:

• Type: Decoder-only Transformer.
• Grootte: 122 miljoen parameters, 12 lagen, 14 attention heads, hidden dimension van 896.
• Technieken: Gebruik van pre-LayerNorm, SwiGLU non-lineariteit, en Rotary Position Embeddings (RoPE).
• Training: Autoregressieve training met next-token prediction op de 74M sequenties.

3. Post-training met Reinforcement Learning (RL):

• Om specifieke biologische functies te sturen, wordt IDiom na het pre-trainen gefinetuned met Group Relative Policy Optimization (GRPO).
• Reward Model: ProtGPS, een neurale netwerk die de waarschijnlijkheid voorspelt dat een sequentie zich naar een specifiek subcellulair compartiment localiseert.
• Doel: Optimalisatie van localisatie naar vier compartimenten: nucleolus, chromosomen/chromatine, P-lichaampjes (P-bodies) en stress granules.
• Regularisatie: Om "reward hacking" en diversiteitsverlies te voorkomen, worden straffen toegepast voor:
  • Afwijking van het pre-getrainde model (KL-divergentie).
  • Afwijking van een doel Shannon-entropie (om diversiteit te behouden).
  • Afwijking van een doel sequentielengte (100 residuen).

Belangrijkste Resultaten

1. Generatie van Biologisch Realistische Sequenties:

• IDiom genereert diverse sequenties die sterk lijken op natuurlijke IDRs (uit de DisProt-database) qua aminozuursamenstelling (verrijkt in proline en serine, verarmd in hydrofoob en aromatisch), maar die statistisch verschillend zijn van de trainingsdata (piek in sequentie-identiteit rond 60%).
• Voorspelde structuren via ColabFold tonen lage pLDDT-waarden, wat bevestigt dat de gegenereerde sequenties inderdaad ongeordend zijn.

2. Vangst van Sequentiestructuur en Patterning:

• Het model leert complexe patronen die essentieel zijn voor IDRs:
  • Lading: Correcte verdeling van geladen residuen en charge patterning (parameter $\kappa$), inclusief blokvormige scheiding van ladingen (polyamfolyten).
  • Hydrofobiciteit: Lage hydrofobe decoratie (SHD), wat voorkomt dat het eiwit instort tot een gefoldde kern.
  • Complexiteit: Lage sequentiecomplexiteit (gemeten met SEG), kenmerkend voor laag-complexe regio's.

3. Context-gebaseerd Leren (In-Context Learning):

• Wanneer het model wordt geprompt met de flankerende context van een specifiek eiwit (bijv. NPM1), genereert het IDRs die de specifieke ladingseigenschappen van dat eiwit nabootsen, zelfs zonder dat de exacte sequentie wordt gekopieerd. Dit toont aan dat het model de "grammatica" van de omgeving leert.

4. RL-gestuurde Subcellulaire Localisatie:

• Na post-training met ProtGPS als reward, vertonen de gegenereerde sequenties specifieke, biologisch interpreteerbare kenmerken voor elk doelcompartiment:
  • Nucleolus: Verrijking in positief geladen residuen (Lysine, Arginine) en nucleaire localisatie signalen (NLS).
  • Chromosomen: Verrijking in Serine en Threonine (fosforylatie sites) en een hoge dichtheid aan post-translatie modificatie (PTM) motieven.
  • P-bodies & Stress Granules: Verrijking in Glycine en RNA-bindende motieven (zoals RG/RGG en F/YGG), wat essentieel is voor interactie met RNA-granules.
• De gegenereerde sequenties behouden hun ongeordende aard (lage pLDDT) ondanks de optimalisatie voor localisatie.

Bijdragen en Significantie

• Eerste gespecialiseerd PLM voor IDRs: IDiom is het eerste model dat specifiek is getraind op een enorme dataset van puur ongeordende regio's, waardoor het de evolutionaire statistieken van deze regio's beter begrijpt dan algemene PLMs.
• Generatief Ontwerpplatform: Het biedt een robuust platform voor het de novo ontwerpen van IDRs en IDPs, zowel met als zonder context.
• Stuurbaarheid via RL: Het paper demonstreert succesvol dat reinforcement learning kan worden gebruikt om generatieve modellen te sturen naar specifieke functionele doelen (zoals subcellulaire localisatie) zonder dat expliciete supervisie per sequentie nodig is.
• Toepassingsgebied: De technologie opent nieuwe wegen voor synthetische biologie, gericht op het ontwerpen van therapeutische peptiden, het programmeren van biomoleculaire condensaten, en het begrijpen van de "sequentietaal" die biologische functies in ongeordende eiwitten bepaalt.

Kortom, IDiom overbrugt de kloof tussen het begrijpen van de complexe statistieken van ongeordende eiwitten en het daadwerkelijk ontwerpen van nieuwe, functionele sequenties voor bio-engineering toepassingen.