🤖 machine learning

Towards A Generative Protein Evolution Machine with DPLM-Evo

Het artikel introduceert DPLM-Evo, een nieuw evolutionair discreet diffusiekader dat eiwitgeneratie in lijn brengt met biologische intuïtie door substitutie-, insertie- en deletie-operaties expliciet te modelleren binnen een ontkoppelde latente ruimte, waardoor state-of-the-art mutatievoorspelling wordt bereikt en flexibele eiwitontwerp met variabele lengte mogelijk wordt gemaakt.

Oorspronkelijke auteurs: Xinyou Wang, Liang Hong, Jiasheng Ye, Zaixiang Zheng, Yu Li, Shujian Huang, Quanquan Gu

Gepubliceerd 2026-05-04

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Xinyou Wang, Liang Hong, Jiasheng Ye, Zaixiang Zheng, Yu Li, Shujian Huang, Quanquan Gu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Plaatje: AI Leren Proteïnen "Bewerken" zoals de Natuur

Stel je proteïnen voor als lange zinnen geschreven in een alfabet van 20 letters (de aminozuren). Decennialang hebben wetenschappers geprobeerd computers te leren nieuwe, functionele proteïnezinnen te schrijven.

De meeste huidige AI-modellen werken als een Mad Libs-spel. Ze nemen een zin, bedekken sommige woorden met zwarte vakjes (masks) en vragen de AI om te raden wat er in die vakjes moet komen. Hoewel dit goed werkt om gaten op te vullen, bootst het niet echt na hoe de natuur eigenlijk evolueert. In de natuur gaat evolutie niet alleen over het verwisselen van woorden; het gaat over nieuwe woorden toevoegen, oude woorden verwijderen en de lengte van de zin aanpassen om het beter te laten werken.

DPLM-Evo is een nieuw AI-model dat stopt met Mad Libs spelen en begint te handelen als een echte redacteur. Het leert expliciet te substitueren (een letter verwisselen), invoegen (een letter toevoegen) en verwijderen (een letter weghalen), precies zoals biologische evolutie dat doet.

Het Kernprobleem: De "Vaste Formaat Doek"-Valstrik

Stel je bestaande AI-modellen voor proteïnen als kunstenaars die werken op een doek van vast formaat. Wat ze ook schilderen, het doek is altijd even groot. Als de natuur een proteïne wil laten evolueren door een paar extra aminozuren toe te voegen om een lus langer te maken, hebben deze modellen moeite omdat ze het doek niet kunnen uitrekken. Ze zijn gedwongen de lengte gelijk te houden, wat beperkt hoe realistisch hun "evolutie" kan zijn.

De Oplossing: Het "Uitbreidbare Schetsboek" (Latente Uitlijning)

DPLM-Evo lost dit op met een slimme truc genaamd Latente Uitlijning.

Stel je een schetsboek voor waar op elke pagina extra lege ruimtes (gaten) tussen elke enkele letter zijn getekend.

De Waargenomen Sequentie: Dit is de uiteindelijke zin die je ziet (bijvoorbeeld "CAT").
De Latente Ruimte: Dit is de pagina van het schetsboek met gaten (bijvoorbeeld "C _ A _ T _").

De AI doet het zware werk op dit "schetsboek" met de gaten.

Om In te Voegen: De AI zet simpelweg een leeg gat _ om in een letter. De zin wordt langer.
Om Te Verwijderen: De AI zet een letter om in een leeg gat _. De zin wordt korter.
Om Te Substitueren: De AI wisselt één letter uit voor een andere.

Omdat de AI werkt op het schetsboek met de gaten, kan het het proteïne op een natuurlijke manier laten groeien of krimpen zonder de wiskunde te breken. Het is alsof je een magnetische strip met letters hebt waar je nieuwe letters tussen kunt schuiven of oude kunt uittrekken, in plaats van vast te zitten aan een stijve rooster.

De "Slimme Ruis"-Motor

Tijdens het trainen van deze modellen begint de computer meestal met een schoon proteïne en voegt "ruis" (willekeurige veranderingen) toe, om vervolgens te leren hoe het weer terug te repareren.

Oude Manier (Uniforme Ruis): Stel je voor dat je een dart werpt op een proteïne en een letter verandert in een willekeurige andere letter. Dit is alsof je een "Leucine" (een vet, olieachtig aminozuur) verandert in een "Arginine" (een geladen, zoutachtig aminozuur) puur door toeval. In de biologie is dit vaak een ramp die het proteïne kapot maakt. Het is alsof je probeert een motorkap te repareren door willekeurig een band te vervangen door een broodrooster.
De Manier van DPLM-Evo (Contextuele Evolutionaire Ruis): Dit model gebruikt een Slimme Ruis-motor. Voordat het een verandering maakt, kijkt het naar de omringende letters en vraagt het: "Wat zou de natuur hier waarschijnlijk doen?" Het suggereert alleen veranderingen die biologisch plausibel zijn (zoals het verwisselen van een olieachtige letter voor een andere olieachtige letter).

Dit is alsof je een tutor hebt die de regels van grammatica en natuurkunde kent, in plaats van een willekeurige persoon die darten gooit. De AI leert sneller en begrijpt de "regels van het leven" beter, omdat de fouten die het probeert te repareren realistisch zijn en niet onmogelijk.

Wat Kan Dit Model Eigenlijk Doen?

Het artikel demonstreert drie superkrachten:

Mutaties Voorspellen (De "Kristallen Bal"):
Als je het model een proteïne geeft en vraagt: "Wat gebeurt er als ik deze ene letter verander?", voorspelt het het effect beter dan bijna elk ander model dat werkt met enkelvoudige sequenties. Het is hierin zo goed dat het modellen verslaat die complexe 3D-structuurdata gebruiken, simpelweg door de "taal" van evolutie te begrijpen.
Proteïnen Laten Groeien en Krimpen (De "Vormveranderer"):
Omdat het kan invoegen en verwijderen, kan het proteïnen van verschillende lengtes genereren. Je kunt het vragen om te beginnen met een proteïne van 100 letters en het te laten evolueren naar een proteïne van 120 letters, of het te verkleinen naar 90, terwijl de kernstructuur intact blijft. Het is alsof een beeldhouwer klei kan toevoegen of weg kan hakken om de vorm te veranderen, in plaats van alleen te schilderen op een vast blok.
Bestaande Proteïnen Optimaliseren (De "Tuner"):
De auteurs hebben dit getest op Green Fluorescent Protein (GFP), een proteïne dat groen gloeit. Ze gebruikten het model om het proteïne "direct te laten evolueren" in een computersimulatie.
- Ze begonnen met de originele GFP.
- Het model maakte kleine bewerkingen (verwisselingen, toevoegingen, verwijderingen).
- Ze hielden de beste versies en herhaalden het proces.
- Resultaat: Het model creëerde een versie van GFP die aanzienlijk stabieler (sterkere structuur) was dan het origineel, en het deed dit sneller dan eerdere methoden. Het is alsof je een gitaarsnaar met je oor afstemt tot de noot perfect is, in plaats van gewoon willekeurige snaren te raden.

Samenvatting

DPLM-Evo is een nieuw hulpmiddel dat AI leert proteïne-evolutie te begrijpen, niet als een spelletje gaten opvullen, maar als een dynamisch proces van bewerken, toevoegen en verwijderen. Door een flexibel "schetsboek"-systeem en een "slimme tutor" voor training te gebruiken, creëert het meer realistische, diverse en geoptimaliseerde proteïnen, en overbrugt het de kloof tussen informatica en de manier waarop de natuur het leven eigenlijk opbouwt.

1. Probleemstelling

Bestaande Discrete Diffusie Protein Language Models (DPLMs) hebben veelbelovende resultaten laten zien in het begrijpen en genereren van proteïne-sequenties. Ze lijden echter onder een fundamentele misalignering met de biologische realiteit:

Maskering versus Evolutie: Huidige DPLMs vertrouwen op ge-maskerde diffusie, waarbij het forward-proces tokens vervangt door een mask-token en generatie bestaat uit het iteratief herstellen van deze maskers. Dit staat haaks op de biologische intuïtie dat proteïnes evolueren door accumulatie van bewerkingen (substituties, inserties en deleties) in plaats van dat ze ontstaan uit een leegte van maskers.
Beperking tot vaste lengte: Ge-maskerde diffusie werkt op sequenties met een vaste lengte. Het mist native mechanismen voor Inserties en Deleties (Indels), die cruciaal zijn voor het herstructureren van flexibele regio's (lussen), het afstemmen van linker-lengtes en het creëren van functionele motieven.
Inefficiënt trainen: Standaard diffusiemodellen gebruiken vaak uniforme ruis voor corruptie, wat biofysische beperkingen en evolutionaire afhankelijkheden negeert, wat leidt tot inefficiënt leren van mutatiepatronen.

Bijgevolg worstelen bestaande modellen met generatie van variabele lengte, realistisch nabewerken van bestaande proteïnes en nauwkeurige voorspelling van mutatie-effecten (vooral voor indels) zonder te vertrouwen op Multiple Sequence Alignments (MSA).

2. Methodologie: DPLM-Evo

De auteurs stellen DPLM-Evo voor, een evolutionair discreet diffusiekader dat expliciet substitutie-, insertie- en deletie-operaties modelleert.

A. Ontkoppeling van de Latente Alignementruimte

Om variabele lengte-sequenties te verwerken binnen een rekenkader met vaste dimensies, ontkoppelt DPLM-Evo twee ruimtes:

Waargenomen Ruimte ( $X$ ): De variabele lengte proteïne-sequentie $x$ .
Latente Alignementruimte ( $Z$ ): Een ruimte met een opgezoomde lengte (bijv. $2 \times L$ ) die de oorspronkelijke residuen bevat plus verweven gap-tokens ( $\phi$ ).

Mechanisme: Het forward-diffusieproces wordt gedefinieerd over de latente ruimte $Z$ . Indels worden weergegeven als overgangen tussen residuen en gap-tokens ( $\text{Residue} \leftrightarrow \phi$ ).
Ineenstorting: Een deterministische functie $\Gamma^{-1}$ verwijdert gap-tokens om de latente sequentie terug te koppelen naar de waargenomen sequentie. Dit stelt het model in staat om lengte-veranderende operaties (inserties/deleties) uit te voeren op het uitgebreide latente canvas, terwijl het efficiënt opereert op de ingestorte waargenomen sequentie.

B. Evolutionaire Ruiskernen

Het forward-ruisproces is ontworpen om biologische evolutie na te bootsen in plaats van willekeurige corruptie:

Contextualized Evolutionary Noising Kernel: In plaats van uniforme willekeurige substitutie, gebruikt het model een data-afhankelijke kernel. Voor een doelpositie wordt een hulpauxiliaire gedeeltelijk gemaskerde context bemonsterd, wordt het model geraadpleegd voor een voorspelling, en wordt deze verdeling gebruikt om het token te corrumperen. Dit genereert biologisch plausibele mutaties die rekening houden met de lokale sequentiecontext en evolutionaire beperkingen.
Warmup-strategie: Omdat het model in het begin van het trainen onbetrouwbaar is, wordt aanvankelijk een eenvoudige data-onafhankelijke kernel (maskering) gebruikt. Zodra het getraind is, schakelt het model over naar de contextualized kernel.
Overgangsmatrix ( $Q_{noise}$ ): Parameteriseert expliciet de verhoudingen van substituties, inserties en deleties, waardoor controle mogelijk is over de evolutionaire trajecten.

C. Architectuur en Training

Drie-kop Voorspelling: Tijdens het denoisen voorspelt het model drie grootheden voor elk token in de waargenomen sequentie:
1. Substitutie-kop: Voorspelt de aminozuurverdeling.
2. Deletie-kop: Een binaire classifier die voorspelt of het token moet worden verwijderd (overgang naar $\phi$ ).
3. Insertie-kop: Een binaire classifier die voorspelt of er een nieuw residu rechts moet worden ingevoegd.
Verliesfunctie: Het trainingsdoel wordt ontbonden in drie componenten (Substitutie, Deletie, Insertie) met specifieke gewichten om class-imbalance aan te pakken (substituties zijn frequent; indels zijn zeldzaam). Deletie en insertie worden behandeld als Binary Cross-Entropy (BCE)-taken om mode collapse te voorkomen.

D. Sampling (Generatie)

Het reverse-proces omvat een iteratief denoising-lus:

Deletie: Tokens met een hoge deletie-kans worden verwijderd.
Insertie: Mask-tokens worden ingevoegd op posities met een hoge insertie-kans.
Substitutie: Alle ruisige tokens worden bijgewerkt op basis van de substitutie-kop.
Herruisen: Geselecteerde tokens met lage betrouwbaarheid worden opnieuw geruisd met de contextualized kernel om diversiteit te behouden en lokale optima te vermijden.

3. Belangrijkste Bijdragen

Evolutionaire Discrete Diffusie: Het eerste kader dat expliciet substitutie, insertie en deletie modelleert binnen een unificerend discreet diffusieproces, verdergaand dan het "mask-herstel"-paradigma.
Lengte-adaptieve Modellering: Door de latente alignementruimte te ontkoppelen van de waargenomen ruimte, stelt het model generatie en bewerking met variabele lengte mogelijk met verwaarloosbare rekenkosten.
Biologisch geïnformeerde Ruis: Introductie van een contextualized evolutionary noising kernel die evolutionair plausibele mutaties genereert, wat de trainings-efficiëntie en het vermogen van het model om evolutionaire afhankelijkheden te vangen, aanzienlijk verbetert.
Unificerend Begrip en Generatie: Het kader overbrugt de kloof tussen generatieve modellering en evolutionaire biologie, waardoor zowel hoogwaardige sequentiegeneratie als nauwkeurige voorspelling van mutatie-effecten mogelijk wordt.

4. Experimentele Resultaten

A. Variant-effectvoorspelling (Begrip)

ProteinGym Substitutie Benchmark: DPLM-Evo bereikt State-of-the-Art (SOTA) prestaties onder single-sequence modellen, en presteert beter dan ESM-2, ESM-1v en de originele DPLM. Het overtreft zelfs ESM-IF1 (dat structuur gebruikt) in de single-sequence setting.
ProteinGym Indel Benchmark: DPLM-Evo bereikt een Spearman-correlatie van 0,495, wat significant beter presteert dan andere single-sequence baselines (bijv. ProGen2 M bij 0,464) en MSA-gebaseerde methoden benadert. Dit valideert de effectiviteit van expliciete indel-modellering.
Ablatie: Het vervangen van de contextualized kernel door uniforme ruis laat de prestaties aanzienlijk dalen (Spearman 0,42 $\to$ 0,295), wat het belang van biologisch onderbouwde ruis bewijst.

B. Unconditional Generatie

Vouwbare: gegenereerde sequenties bereiken hoge pLDDT-scores (83,6), vergelijkbaar met DPLM (84,0) en DiMA (83,3).
Diversiteit: DPLM-Evo vertoont een hogere sequentie-entropie en lagere herhalingsratio's dan ge-maskerde diffusiemodellen, wat mode collapse effectief verlicht.
Lengtecontrole: Het model genereert sequenties met lengtes die geconcentreerd zijn rond de initiële seed, wat conservatief en gecontroleerd gebruik van indels aantoont.

C. Conditional Generatie & Optimalisatie

Motief Scaffolding: In zero-shot en fine-tuned settings bereikt DPLM-Evo hogere succespercentages bij het scaffolding van functionele motieven in vergelijking met EvoDiff en DPLM-Mask, door gebruik te maken van dynamische lengte-aanpassing.
Gestuurde Evolutie (GFP): Bij het optimaliseren van Green Fluorescent Protein (GFP) bereikte DPLM-Evo met indel-ondersteuning een pTM-score van 0,857 in 7 iteraties (65% sneller dan alleen substitutie), en presteerde het beter dan ESM-2 (0,737). Het slaagde erin de chromofoorstructuur te behouden terwijl de globale stabiliteit werd verbeterd.
In-silico Familievergroting: Het model kan diverse sequenties genereren vanuit een enkele seed die structurele gelijkenis behouden (lage RMSD) terwijl ze een lage sequentie-identiteit bereiken (<50%), wat effectief natuurlijke familiestijging simuleert.

5. Betekenis

DPLM-Evo vertegenwoordigt een paradigmaverschuiving in proteïne-generatieve modellering door de wiskundige framework van diffusiemodellen af te stemmen op de biologische realiteit van proteïne-evolutie.

Praktische Impact: Het maakt proteïne-ontwerp met variabele lengte mogelijk, waardoor ingenieurs lussen en linkers op een natuurlijke manier kunnen invoegen/verwijderen, wat eerder moeilijk was met modellen met vaste lengte.
Wetenschappelijk Inzicht: Het succes van de contextualized kernel toont aan dat proteïne-evolutie sterk context-afhankelijk is, en dat modellen deze afhankelijkheden moeten leren om effectief te zijn.
Efficiëntie: Het bereikt SOTA-prestaties in mutatievoorspelling zonder rekenintensieve MSAs te vereisen, waardoor het een krachtig instrument wordt voor snelle proteïne-engineering en geneesmiddelenontdekking.

Kortom, DPLM-Evo transformeert discrete diffusie van een statisch sequentie-hersteltool in een dynamische evolutionaire simulator, die zowel evolutionaire beperkingen kan begrijpen als nieuwe, functionele proteïnes kan genereren via expliciete bewerkings-trajecten.