Polyformer: a generative framework for thermodynamic modeling of polymeric molecules

Het artikel introduceert Polyformer, een generatief raamwerk dat voor het eerst in staat is om de thermodynamische conformationele ensemble van polymere moleculen, zoals eiwitten, direct te voorspellen op basis van hun sequentie en temperatuur, waarbij de modelvoorspellingen goed overeenkomen met moleculaire dynamica-simulaties.

De kern

Stel je voor dat een eiwit (een bouwsteen van het leven) niet als een statisch standbeeld is, maar meer als een levend, dansend poppetje.

Vroeger dachten wetenschappers dat als je de "recept" (de aminozuur-sequentie) van een eiwit kende, je precies één vorm kon voorspellen: de vorm waarin het het beste werkt. Dit is als zeggen dat een danser altijd in één perfecte pose staat. Maar in werkelijkheid bewegen eiwitten zich voortdurend, ze wiegen, draaien en veranderen van vorm. Deze verzameling van alle mogelijke vormen die een eiwit kan aannemen, noemen we het conformationele ensemble. Hoe dit ensemble eruitziet, bepaalt wat het eiwit doet in je lichaam.

Deze paper introduceert Polyformer, een slimme computerprogramma dat dit gedrag kan nabootsen. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het probleem: De oude manier is te traag

Om te weten hoe een eiwit beweegt, gebruiken wetenschappers al decennia lang supercomputers die de natuurwetten (fysica) exact berekenen. Dit is als proberen elke beweging van een danser te simuleren door de zwaartekracht en spierkracht van elk spiervezel te berekenen. Het werkt, maar het is extreem traag en kost enorme hoeveelheden energie. Soms blijft de computer ook "steken" in één vorm, terwijl het eiwit in werkelijkheid al lang een andere kant op beweegt.

2. De oplossing: Polyformer, de "dansleraar"

Polyformer is een nieuw soort kunstmatige intelligentie (AI) die niet probeert de natuurwetten van nul af te berekenen, maar leert door te kijken naar duizenden voorbeelden van hoe eiwitten zich al bewegen.

Stel je voor dat Polyformer een dansleraar is die duizenden video's heeft gezien van eiwitten die dansen bij verschillende temperaturen:

• Bij koude temperaturen (320K) dansen ze langzaam en houden ze hun vorm goed vast (ze zijn gestructureerd).
• Bij hete temperaturen (450K) dansen ze wilder, worden ze slordiger en vallen ze uit elkaar (denaturatie).

Polyformer leert niet alleen hoe het eiwit in elkaar zit, maar ook hoe het beweegt en hoe het reageert op hitte.

3. Hoe werkt het? (De creatieve analogieën)

• De "Recept" en de "Temperatuur":
  Als je Polyformer vraagt om een eiwit te maken, geef je twee dingen: de volgorde van de letters (het recept) en de temperatuur. Het is alsof je tegen een chef-kok zegt: "Maak dit gerecht, maar doe het op een koude dag" versus "Maak het op een hete dag". De uitkomst (het gerecht) ziet er anders uit, afhankelijk van de temperatuur.

• De "Danspas" (Diffusion Transformer):
  Polyformer begint met een wazige, rommelige massa (als een danser die nog niet weet waar hij moet staan). Stap voor stap maakt het de beweging scherper en duidelijker, totdat het een perfecte dansbeweging is. Dit noemen ze "diffusie". Het is alsof je een wazige foto langzaam in focus brengt tot je het gezicht duidelijk ziet.

• De "Temperatuur-knop":
  Een speciaal onderdeel van Polyformer zorgt ervoor dat de AI begrijpt dat hitte invloed heeft op de beweging. Het is als een dimmerknop op een licht: als je de temperatuur omhoog draait, verandert de AI de manier waarop het eiwit beweegt, precies zoals een echte eiwit dat zou doen.

4. Wat hebben ze ontdekt?

De onderzoekers hebben Polyformer getest op kleine eiwitten en vergeleken met de superduurzame, maar trage computermodellen (Molecular Dynamics).

• Het resultaat: Polyformer deed het bijna net zo goed als de dure modellen, maar was veel sneller.
• De vorm: Bij lage temperaturen zag Polyformer netjes opgestapelde structuren (zoals een opgerolde lade). Bij hoge temperaturen zag het de eiwitten uit elkaar vallen en wilder bewegen, precies zoals in de echte natuur.
• De verrassing: Zelfs met relatief weinig trainingsdata (slechts een paar duizend voorbeelden) kon Polyformer leren hoe eiwitten zich gedragen. Dit is opmerkelijk, omdat andere bekende AI's (zoals AlphaFold) vaak miljoenen voorbeelden nodig hebben om alleen maar één vorm te voorspellen.

Waarom is dit belangrijk?

Vroeger zagen we eiwitten als statische foto's. Polyformer laat ons zien dat ze films zijn.

• Het helpt ons te begrijpen waarom sommige medicijnen werken en andere niet (soms moet een eiwit een specifieke vorm aannemen om een medicijn te binden).
• Het kan ons helpen begrijpen hoe ziekten ontstaan als eiwitten "verkeerd" gaan bewegen.
• Het is de eerste stap naar een AI die niet alleen zegt "dit is de vorm", maar "dit is hoe het eiwit leeft, beweegt en verandert".

Kortom: Polyformer is een slimme simulator die ons leert dat eiwitten geen stenen beelden zijn, maar levende, dansende entiteiten die reageren op hun omgeving. En nu kunnen we die dans in een flits simuleren, in plaats van urenlang te rekenen.

Technische samenvatting

Probleemstelling

De traditionele paradigma in de structurele biologie stelt dat de sequentie van een biomolecuul (zoals een eiwit) zijn conformatie (vorm) bepaalt, wat op zijn beurt de biologische functie bepaalt. Modellen zoals AlphaFold lossen dit op door de enige beste conformatie te voorspellen voor een gegeven sequentie. Echter, biomoleculen zijn geen statische structuren; hun functie wordt bepaald door het conformationele ensemble (de verzameling van alle mogelijke 3D-vormen die het molecuul aannemen).

Bestaande methoden hebben tekortkomingen:

1. Fysisch gebaseerde modellen (MD/Monte Carlo): Deze kunnen thermodynamische ensembles modelleren afhankelijk van variabelen zoals temperatuur, maar zijn computationally zeer duur, kunnen vastlopen in lokale minima en hebben inconsistenties bij het reproduceren van interacties op verschillende schalen.
2. Machine Learning-modellen (AlphaFold, RoseTTAFold): Deze zijn uitstekend in het voorspellen van één enkele, stabiele conformatie, maar genereren geen thermodynamisch ensemble.
3. Bestaande generatieve modellen: Sommige modellen kunnen ensembles genereren, maar missen vaak de afhankelijkheid van thermodynamische variabelen (zoals temperatuur) of vereisen een goede startconformatie (zoals aSAMt), waardoor ze het vouwproces zelf niet kunnen leren.

Het doel is een model te creëren dat drie problemen simultaan oplost: hoe een molecuul vouwt, wat zijn conformationele ensemble is, en hoe dit ensemble verandert bij variatie van fysische temperatuur.

Methodologie: Polyformer

Polyformer is een generatief machine learning-framework gebaseerd op een Diffusion Transformer (DiT), specifiek ontworpen voor het samplen van thermodynamische ensembles van polyere moleculen (in dit geval eiwitten).

1. Architectuur en Invoer:

• Conditionering: Het model wordt getraind op de aminozuursequentie en een thermodynamische variabele (temperatuur).
• Embeddings:
  • Sequentie: Gebruik van ESM-2 embeddings voor de initiële representatie van de aminozuursequentie.
  • 3D Positie: Translaties worden gecodeerd met leerbare 3D-Fourier-embeddings (met leerbare golvenvectoren) om multi-resolutie en schaal te vangen.
  • Rotatie: Rotaties worden gecodeerd via Wigner-D-matrices (tot angular momentum orde $\ell=2$), wat de natuurlijke basisfuncties op $SO(3)$ zijn.
• DiT Blocks: Het model bestaat uit 8 DiT-blokken. Een cruciaal ontwerpkeuze is de temperatuurgating:
  • Temperatuur modulat de input van de Attention en Feed-Forward Network (FFN) lagen.
  • De tijdstap (diffusie-tijd) modulat de output van deze lagen.
  • Dit zorgt ervoor dat het model leert hoe temperatuur de interacties tussen monomeren beïnvloedt, onafhankelijk van het diffusieproces.
• Chain Prior: Een leerbare "chain polymer prior" wordt toegevoegd aan de attention-mechanismen om de persistentielengte van het polymeer en de temperatuurafhankelijkheid daarvan te vangen.

2. Diffusieproces:

• Het model gebruikt een forward diffusion proces waarbij translaties en rotaties op tijdstip $t \in [0,1]$ worden verstoord.
• Translaties krijgen lineaire ruis, rotaties worden verstoord via een Isotropische Gaussische verdeling op $SO(3)$.
• Tijdens inferentie worden conformeren gegenereerd via reverse diffusion (DDIM) van $t=1$ naar $t=0$, waarbij de temperatuur als conditionele input wordt gebruikt.

3. Verliesfunctie (Loss Function):
Het totale verlies is een gewogen som van vijf termen, inclusief twee specifieke LDDT (Local Distance Difference Test) termen:

• Translatie, Rotatie en Chi-hoek verlies: Standaard reconstructieverlies.
• Smooth LDDT Loss: Vergelijkt voorspelde C$\alpha$-afstanden met de grondwahrheid om structurele fragmentatie te voorkomen.
• Ensemble LDDT Loss (Nieuw): Dit is een kritieke innovatie. Het vergelijkt de voorspelde afstanden bij een specifieke temperatuur met de empirische ensemble-gemiddelde afstanden (berekend uit MD-trajecten) voor die temperatuur. Dit dwingt het model om de temperatuurafhankelijke veranderingen in het ensemble correct te leren, niet alleen de individuele frames.

4. Training Data:

• Getraind op de mdCATH dataset, bestaande uit MD-trajecten van eiwitdomeinen (50-111 residuen) bij 5 verschillende temperaturen (320K tot 450K).
• Het dataset bevat 2.142 domeinen voor training en 103 voor testing.

Kernresultaten

Het team heeft Polyformer getest op eiwitdomeinen en de resultaten vergeleken met Molecular Dynamics (MD) simulaties:

1. Kwalitatieve Overeenkomst: Visuele inspectie (zoals in Figuur 2) toont aan dat Polyformer conformeren genereert die sterk lijken op die uit MD-simulaties, zowel voor geordende als intrinsiek ongeordende domeinen.
2. Kwantitatieve Validatie:
   • Ramachandran-plots: De verdeling van $\phi$ en $\psi$ hoeken in het gegenereerde ensemble volgt de trends van MD-data nauwkeurig (bijv. afname van $\alpha$- en $\beta$-pieken bij stijgende temperatuur).
   • RMSF (Root Mean Square Fluctuation): De fluctuaties langs de eiwitketen nemen toe met de temperatuur, en Polyformer volgt deze trend zeer goed.
   • Rg (Radius of Gyration): De verdeling van de Rg (een maat voor de compactheid) neemt toe met de temperatuur (denaturatie). De gemiddelde waarden en standaarddeviaties van Polyformer komen sterk overeen met MD-data.
3. Temperatuurafhankelijkheid: Het model slaagt erin om het ensemble correct te verschuiven van een compacte, geordende toestand bij lage temperaturen naar een meer ongeordende, uitgebreide toestand bij hoge temperaturen.

Belangrijkste Bijdragen

1. Eerste Generatief Model voor Drie Taken: Polyformer is het eerste model dat simultaan vouwen, het samplen van een conformationeel ensemble, en het modelleren van de temperatuurafhankelijkheid van dat ensemble aanpakt.
2. Architecturale Innovatie:
   • Gebruik van Diffusion Transformers zonder de complexe "PairFormer" architectie van AlphaFold, wat het model compacter maakt.
   • Implementatie van leerbare Fourier-embeddings en Wigner-D rotatie-embeddings voor robuuste 3D-representatie.
   • Een uniek temperatuur-gating mechanisme dat temperatuur en diffusietijd op verschillende niveaus in het netwerk conditioneert.
3. Nieuwe Verliesfunctie: Introductie van de Ensemble LDDT loss, die het model direct leert om de thermische gemiddelden van afstanden te voorspellen, wat essentieel is voor het leren van thermodynamische eigenschappen.
4. Bewijs van Concept: Het succesvol toepassen op eiwitten toont aan dat foundation modellen thermodynamische eigenschappen kunnen leren, ondanks het beperkte aantal trainingsdata (2.142 domeinen) vergeleken met statische structuren in de PDB.

Betekenis en Toekomstperspectief

Polyformer markeert een paradigmaverschuiving van het voorspellen van één "beste" structuur naar het modelleren van het volledige thermodynamische ensemble. Dit is cruciaal voor het begrijpen van de functie van dynamische moleculen, zoals intrinsiek ongeordende eiwitten en polymere overgangen.

• Generaliteit: Hoewel getest op eiwitten, is het framework ontworpen om op elke klasse van polymere moleculen (lipiden, nucleïnezuren) toegepast te worden.
• Fysica en AI: Het model suggereert dat foundation modellen de vrije energie-landschappen van moleculen kunnen leren, wat de brug slaat tussen machine learning en fysica.
• Toekomstige Toepassingen: Het model kan worden uitgebreid om andere thermodynamische variabelen (zoals oplosmiddelcondities of ionenconcentraties) te modelleren. Daarnaast kan Polyformer dienen als een hulpmiddel voor "active learning" om betere MD-trajecten te genereren via importance sampling, wat een positieve terugkoppeling (flywheel effect) creëert voor het verbeteren van krachtvelden en thermodynamische modellen.

Kortom, Polyformer biedt een krachtig, schaalbaar en fysiek onderbouwd kader voor het begrijpen van de dynamiek en functie van polyere biomoleculen onder variabele omstandigheden.