Protein Diffusion Models as Statistical Potentials

Deze paper introduceert ProteinEBM, een energiegebaseerd model dat conformatieruimtes van eiwitten effectief modelleert en prestaties levert die concurreren met of zelfs de beste machine learning- en fysische methoden overtreffen bij taken zoals het voorspellen van mutatie-effecten en eiwitvouwing.

De kern

Stel je voor dat een eiwit (een bouwsteen van het leven) als een lange, verwarde draad is die zichzelf moet vouwen tot een complexe, 3D-vorm, zoals een origami-kraan. Als deze draad niet goed vouwt, werkt het eiwit niet. De wetenschap heeft al jaren geprobeerd te voorspellen hoe deze vouwing precies verloopt, maar het is een enorm moeilijke puzzel.

Dit artikel introduceert een nieuwe slimme computermethode genaamd ProteinEBM. Hier is een uitleg in gewone taal, met behulp van een paar creatieve vergelijkingen:

1. Het oude probleem: De "GPS" die vastloopt

Vroeger (en zelfs nu nog met de beroemde AlphaFold) gebruikten wetenschappers een soort "GPS" die keek naar de familiegeschiedenis van een eiwit. Als een eiwit veel familieleden heeft die op elkaar lijken, kan de computer goed voorspellen hoe het eruitziet.

Maar wat als je een nieuw, volledig uitgevonden eiwit maakt dat nog nooit in de natuur heeft bestaan? Dan heeft het geen familiegeschiedenis. De oude GPS raakt dan verdwaald. Bovendien kunnen oude methoden moeilijk voorspellen wat er gebeurt als je één klein stukje van het eiwit verandert (een mutatie), of hoe het eiwit precies in elkaar klapt.

2. De nieuwe oplossing: Een "Energie-kaart"

De auteurs van dit paper hebben een nieuw systeem bedacht: ProteinEBM. In plaats van alleen te kijken naar familieleden, leert dit systeem een energiekaart van alle mogelijke vormen die een eiwit kan aannemen.

Stel je voor dat je een berglandschap hebt:

• De toppen zijn de slechte, onstabiele vormen van het eiwit (hoge energie).
• De dalen zijn de goede, stabiele vormen (lage energie).
• Het diepste dal is de perfecte, natuurlijke vorm van het eiwit.

ProteinEBM is als een slimme gids die deze kaart kent. Het kan niet alleen het diepste dal vinden, maar het begrijpt ook hoe steil de hellingen zijn. Dit betekent dat het kan voorspellen:

• Is deze vorm stabiel? (Is het in een dal of op een bergtop?)
• Wat gebeurt er als ik een steen verplaats? (Wat als ik een aminozuur verander?)
• Hoe rol ik van de top naar het dal? (Hoe vouwt het eiwit zich?)

3. Hoe werkt het? (De "Ruis" en de "Schone Loper")

Het systeem is getraind met een techniek die lijkt op het verwijderen van ruis uit een oud, korrelig filmpje.

• Training: De computer krijgt een perfecte foto van een eiwit en maakt er ruis van (alsof je de foto vervuilt met statische ruis). Dan moet de computer proberen de ruis weg te halen om weer bij het originele eiwit te komen.
• Het resultaat: Door dit duizenden keren te doen, leert de computer niet alleen hoe het eiwit eruitziet, maar ook waarom het er zo uitziet. Het leert de "krachten" die het eiwit bij elkaar houden.

In tegenstelling tot andere methoden die alleen een voorspelling doen, heeft ProteinEBM een energie-functie. Dat is als een meetlat die altijd zegt: "Deze vorm is 80% goed, die is 10% goed." Hierdoor kan het systeem duizenden mogelijke vormen genereren en vervolgens de allerbeste eruit kiezen.

4. Wat kan dit nieuwe systeem? (De Superkrachten)

Het paper laat zien dat ProteinEBM in verschillende taken beter presteert dan de huidige topmethodes:

• Het kiezen van de winnaar: Als je 1000 mogelijke vormen hebt, kan ProteinEBM direct zien welke de juiste is, zelfs zonder familiegeschiedenis. Het is als een scheidsrechter die de beste speler herkent, zelfs als hij nog nooit eerder heeft gespeeld.
• Voorspellen van mutaties: Als je een eiwit een beetje aanpast (bijvoorbeeld voor een medicijn), kan het systeem precies zeggen of dat eiwit dan nog steeds stabiel blijft of dat het in elkaar stort. Hierin is het zelfs beter dan de grootste AI-modellen die er nu zijn.
• De vouw-film: Het kan niet alleen het eindresultaat voorspellen, maar ook de "film" van hoe het eiwit in elkaar klapt. Het simuleert het proces alsof je een video terugspoelt van een losse draad naar een gevouwen kraan.
• Nieuwe ontwerpen: Omdat het geen familiegeschiedenis nodig heeft, kan het helpen bij het ontwerpen van volledig nieuwe eiwitten die in de natuur nog nooit hebben bestaan.

5. Waarom is dit belangrijk?

Vroeger waren we afhankelijk van de natuur om ons te vertellen hoe eiwitten eruitzagen. Als de natuur een eiwit nog niet had ontworpen, konden we het niet voorspellen.

Met ProteinEBM hebben we een universele gids die de fysica van eiwitten begrijpt. Het is alsof we van een kaart die alleen bekende steden toont, zijn overgestapt op een kompas dat in elk willekeurig landschap de weg vindt. Dit opent de deur voor het ontwerpen van nieuwe medicijnen, materialen en enzymen die we nu nog niet kunnen maken.

Kortom: ProteinEBM is een slimme, energie-gebaseerde AI die de "zwaartekracht" van eiwitten begrijpt. Het helpt ons niet alleen om te zien hoe eiwitten eruitzien, maar ook om te voelen hoe ze zich aanvoelen en hoe ze bewegen, zelfs als we ze zelf hebben bedacht.

Technische samenvatting

Probleemstelling

Hoewel machine learning (met name AlphaFold) een revolutie heeft teweeggebracht in de voorspelling van eiwitstructuren, blijven er fundamentele uitdagingen bestaan:

1. Afwesigheid van evolutionaire informatie: AlphaFold faalt vaak bij eiwitten met ondiepe of niet-bestaande Multiple Sequence Alignments (MSA's), wat cruciaal is voor het ontwerp van nieuwe eiwitten.
2. Beperkte conformationele landschappen: Bestaande modellen kunnen de volledige thermodynamische landschappen van eiwitten (inclusief onontwikkelde toestanden en dynamische veranderingen) niet nauwkeurig modelleren.
3. Mutatie-effecten: Het voorspellen van de thermodynamische stabiliteit bij mutaties is lastig, omdat co-evolutionaire signalen vaak alleen de wildtype-structuur reflecteren.
4. Dynamica: Moderne ML-methoden kunnen de dynamische paden waarop eiwitten vouwen (folding pathways) niet betrouwbaar simuleren.

De auteurs stellen dat Energy-Based Models (EBM's) een theoretisch algemeen oplossing bieden. Een EBM benadert een energie-functie $E_\theta(x, s)$ waarbij de waarschijnlijkheid van een structuur $x$ gegeven een sequentie $s$ wordt bepaald door $p(x|s) \propto \exp(-\beta E_\theta(x, s))$. Dit stelt onderzoekers in staat om structuren te rangschikken, te sampelen en thermodynamische eigenschappen te berekenen.

Methodologie: ProteinEBM

De auteurs introduceren ProteinEBM, een energie-gedreven, sequentie-geconditioneerd diffusiemodel voor eiwitten.

• Architectuur: Het model is gebaseerd op de diffusiemodules van AlphaFold3 en Boltz-1, maar gebruikt een niet-equivariante architectuur (in plaats van Invariant Point Attention). Dit werd gekozen omdat het optimaliseren van tweede-orde afgeleiden via IPA instabiliteit kan veroorzaken bij energie-gedreven modellen. Het model heeft 85 miljoen parameters.
• Training:
  • Denoising Score Matching: Het model wordt getraind om de score-functie (de gradiënt van de log-dichtheid) te leren, die expliciet wordt berekend als de gradiënt van een geleerde energie-functie: $s_\theta(x, t) = -\nabla_x E_\theta(x, s, t)$.
  • Data: Getraind op CATH-domeinen, AFDB-domeinen en eiwitcomplexen.
  • Finetuning: Een subset van het model is gefinetuned op moleculaire dynamica (MD) simulaties (300K) om de diversiteit van de gegenereerde samples te vergroten, hoewel dit niet strikt noodzakelijk bleek voor rangschikkingstaken.
  • Voorbehoedmaatregelen: Om te voorkomen dat het model onrealistische structuren (zoals blootliggende hydrofobe residuen) als hoogwaardig scoort (een pathologie bij AlphaFold), wordt er een "external contact flag" gebruikt tijdens training om afgekapte interacties te markeren.
• Inference: Het model kan worden gebruikt voor:
  • Reverse Diffusion: Het genereren van nieuwe structuren.
  • Langevin Dynamics: Het simuleren van eiwitbeweging en het verkennen van lokale energie-minima.
  • Rangschikking: Het berekenen van energieën om de kwaliteit van bestaande structuren te beoordelen.

Kernbijdragen

1. Universeel Energie-model: In tegenstelling tot eerdere energie-gedreven diffusiemodellen die beperkt waren tot specifieke eiwitten of docking-taken, leert ProteinEBM een universeel model voor eiwitconformationele energieën dat generaliseert naar folds die niet goed vertegenwoordigd zijn in de PDB.
2. Decoupling van Scoring en Sampling: Door de energie-functie te ontkoppelen van het generatieve proces, kunnen rekenkrachten tijdens de inferentie willekeurig worden geschaald (bijvoorbeeld via Langevin-annealing) om de beste structuren te vinden, ongeacht de complexiteit van het probleem.
3. Nieuwe Paradigma voor Stabiliteitsvoorspelling: Het model biedt een efficiënte, onbewaakte methode voor het voorspellen van stabiliteitsveranderingen ($\Delta\Delta G$) zonder expliciete training op gemaskeerde aminozuren.

Resultaten

Het model werd getest op diverse taken en presteerde vaak beter dan of vergelijkbaar met state-of-the-art methoden:

• Decoy Ranking (Structuurbeoordeling):
  • Op de Rosetta decoy-set bereikte ProteinEBM-x een gemiddelde Spearman-correlatie van 0,838 tussen energie en TMScore, significant hoger dan Rosetta (0,757).
  • Het model slaagde erin om de beste decoy-structuur te vinden met een gemiddelde TMScore van 0,905.
• Stabiliteitsvoorspelling ($\Delta\Delta G$):
  • Op de ProteinGym-benchmark (zero-shot) behaalde ProteinEBM-x een Spearman-correlatie van 0,686, wat een nieuw state-of-the-art is.
  • Het presteerde beter dan grote structure-aware taalmodellen zoals ESM3 (0,641), ondanks dat ProteinEBM-x veel minder parameters heeft en niet expliciet is getraind voor mutatievoorspelling.
  • Het model presteerde vooral sterk bij de novo eiwitten (zonder evolutionaire geschiedenis), waar ESM3 faalde.
• Conformationele Sampling:
  • Met Langevin-annealing kon het model de native structuur van snelle vouwende eiwitten vinden (binnen 3,5 Å RMSD), zelfs als de meeste samples ontvouwen waren.
  • Het model toonde energie-funnels die kwalitatief lijken op die van Rosetta.
• Vouw-simulaties (Folding Pathways):
  • Door Langevin-dynamica te starten vanuit een ontvouwde toestand, kon het model vouwtrajecten simuleren.
  • De gesimuleerde contactvorming (bijv. C-terminale haarspeld in Protein G) kwam overeen met experimentele $\phi$-waarde analyses, wat aantoont dat het model de fysica van het vouwproces kan nabootsen.
• Structuurvoorspelling (zonder MSA):
  • Op "makkelijke" doelen (40% identiteit gesplitst van training) overtrof ProteinEBM (gecombineerd met AF2Rank) AlphaFold2 en AlphaFold3 in single-sequence modus.
  • Op "moeilijke" doelen (topologie-gesplitst) presteerde het model minder goed dan AF2/AF3 bij het sampleren van nieuwe folds, hoewel de rangschikking (scoring) van bestaande decoys sterk bleef. Dit suggereert dat het model goed kan scoren, maar moeite heeft met het genereren van volledig nieuwe, onbekende folds.

Significantie

Deze studie toont aan dat Energy-Based Models een veelbelovend raamwerk zijn om machine learning-modellen voor eiwitstructuur te verankeren in thermodynamische principes.

• Onafhankelijkheid van MSA: Door te vertrouwen op een geleerde energie-functie in plaats van co-evolutionaire signalen, kan ProteinEBM eiwitstructuurvoorspelling mogelijk maken voor eiwitten zonder evolutionaire data, wat essentieel is voor de novo eiwitontwerp.
• Thermodynamische consistentie: Het model biedt niet alleen een structuur, maar ook een kwantitatieve maatstaf voor stabiliteit en dynamica, wat ontwerpprocessen kan sturen.
• Schalbaarheid: Het ontkoppelen van scoring en sampling stelt onderzoekers in staat om rekenkracht te investeren in het zoeken naar de beste structuren voor moeilijke doelen, een aanpak die vergelijkbaar is met "test-time scaling" in taalmodellen.

Kortom, ProteinEBM combineert de expressiviteit van moderne diffusiemodellen met de fysieke interpretatie van energie-functies, waardoor het een krachtig hulpmiddel wordt voor zowel het begrijpen als het ontwerpen van eiwitten.