Learning residue level protein dynamics with multiscale Gaussians

Probleemstelling

Proteïnen zijn zelden statisch; hun dynamische fluctuaties zijn essentieel voor biologische functies zoals katalyse, allosterie en signaaltransductie. Hoewel Moleculaire Dynamica (MD)-simulaties de gouden standaard zijn voor het modelleren van deze dynamica, zijn ze computatievermogen- en tijdintensief (dagen of weken voor één proteïne), wat schaalbaarheid beperkt.

Bestaande diep-lerende alternatieven hebben hun eigen tekortkomingen:

• Generatieve modellen (zoals AlphaFlow, BioEMU) vereisen enorme pre-training op PDB-structuren en genereren ensembles via meerdere stochastische passes, wat traag en duur is.
• Expliciete voorspellers (zoals FLEXPERT3D) voorspellen vaak slechts scalair per-residue RMSF (Root Mean Square Fluctuation), wat richtingsinformatie en residue-residue koppeling verwaarloost.
• Normal Mode Analysis (NMA) is snel en analytisch, maar leert niet uit data, is gevoelig voor invoerkwaliteit en mist lokale anisotropie.

Er is een behoefte aan een model dat zich op de Pareto-grens bevindt tussen expressiviteit (rijke dynamische beschrijving) en efficiëntie (snelheid en parametergebruik), zonder afhankelijk te zijn van dure ensemble-generatie.

Methodologie: DYNAPROT

DYNAPROT is een lichtgewicht, SE(3)-invariant raamwerk dat proteïne-dynamica voorspelt door het probleem te benaderen via multivariate Gaussische verdelingen. In plaats van volledige trajecten te genereren, leert het model direct dynamische beschrijvers.

1. Gaussische Representatie

Het model modelleert een proteïne met $N$ residuen als een willekeurige variabele $X \in \mathbb{R}^{3N}$. De dynamica worden weergegeven als een multivariate normale verdeling $N(\mu, \Sigma_{joint})$. DYNAPROT focust op twee complementaire schalen:

• Per-residue marginale anisotropie: Voorspelling van $3 \times 3$ covariantiematrices ($\Sigma^{(i)}_{marginal}$) voor elk residu. Dit captureert lokale flexibiliteit in alle drie dimensies (richting en magnitude).
• Gecombineerde scalaire koppeling: Voorspelling van een $N \times N$ matrix ($C$) die de dynamische koppeling tussen paren residuen encodeert.

2. Architectuur

• Backbone: Beide modellen delen een gemeenschappelijke backbone bestaande uit 8 Invariant Point Attention (IPA) blokken (geërfd van AlphaFold2). Deze blokken coderen geometrische relaties tussen residuen terwijl ze invariant blijven voor SE(3)-transformaties (rotatie/translatie).
• Invoer: Een set lokale $C_\alpha$ residu frames ($T_i \in SE(3)$) en de aminozuursequentie.
• Leeslagen (Readouts):
  • Marginale Module: Een MLP voorspelt de Cholesky-factoren van de $3 \times 3$ covariantiematrices om de positieve definitieve (SPD) eigenschap te garanderen. De gemiddelde positie ($\mu$) wordt vastgehouden als de invoercoördinaat.
  • Pairwise Module: Een paar-attention mechanisme (gebaseerd op Evoformer) genereert scalaire koppelingen, die via een Cholesky-decompositie worden omgezet in een $N \times N$ covariantiematrix.
• Verliesfunctie: Gebruik van log-Euclidean (log-Frobenius) afstand om de niet-Euclidische geometrie van SPD-matrices correct te behandelen.

3. Ensemble Sampling (Heuristiek)

Hoewel het model niet direct de volledige $3N \times 3N$ covariantiematrix leert, wordt deze gereconstrueerd via een heuristiek:
$$\Sigma_{joint} = L_{marginal} (\tilde{C} \otimes I_3) L_{marginal}^T$$
Waarbij $L_{marginal}$ de block-diagonale Cholesky-factor is van de marginale covarianties en $\tilde{C}$ de genormaliseerde correlatiematrix is. Dit maakt ultrasnel ensemble-sampling mogelijk via de Cholesky-factoren, zonder dure generatieve stappen.

Belangrijkste Resultaten

1. Voorspelling van Residue Flexibiliteit (RMSF)

• DYNAPROT-M (marginale module) bereikt een Pearson correlatie van 0.865 (mediaan) met MD-gebaseerde RMSF.
• Dit is significant beter dan FLEXPERT3D (0.830), terwijl DYNAPROT 1000x minder parameters gebruikt (955K vs. 1.2 miljard).

2. Anisotropie en Lokale Dynamica

• DYNAPROT-M voorspelt de volledige $3 \times 3$ covariantie (anisotropie) direct.
• Het presteert beter dan NMA (Anisotropic Network Model) op zowel RMWD als symmetrische KL-divergentie.
• Het is 350.000x sneller dan AlphaFlow+Templates voor het genereren van equivalente beschrijvingen (0.02s vs. ~7000s).

3. Residue-Residue Koppeling

• DYNAPROT-J voorspelt scalaire koppelingen met een piek correlatie van 0.71, wat aanzienlijk beter is dan NMA (0.59), vooral op korte tot middellange afstanden.

4. Ensemble Generatie

• Door de gereconstrueerde joint covariance te gebruiken, kan DYNAPROT ensembles genereren in ~0.14 seconden (vs. ~10.000 seconden voor AlphaFlow+Templates).
• De gegenereerde ensembles behouden hoge flexibiliteitsnauwkeurigheid (RMSF correlatie 0.86) en zijn vergelijkbaar met dure generatieve methoden, maar met een fractie van de rekentijd.

5. Toepassing: Cryptische Zakken

• In een case study met adenylosuccinate synthetase toonde DYNAPROT aan in staat te zijn om cryptische zakken (bindingstasjes die alleen zichtbaar zijn in de gebonden toestand) te identificeren in de apo-vorm. De voorspelde richtingsvectoren van de Gaussische "blobs" correleerden met de opening van de zak.

Bijdragen en Significantie

1. Eerste expliciete leermodel voor multivariate Gaussische dynamica: DYNAPROT is het eerste model dat zowel marginale anisotropie als paar-koppelingen leert, in plaats van alleen scalaire RMSF of volledige generatieve trajecten.
2. Extreme Parameter-efficiëntie: Met slechts ~2.86 miljoen parameters (inclusief beide modules) overtreft het methoden die honderden miljoenen tot miljarden parameters gebruiken, zonder prestatieverlies.
3. Schaalbaarheid: Het elimineert de noodzaak van dure MD-simulaties of generatieve sampling voor het verkrijgen van dynamische beschrijvers. Het biedt een directe, analytische benadering van dynamica.
4. Interpreteerbaarheid: De output (covariantiematrices) is direct interpreteerbaar als lokale flexibiliteit en richting, wat nuttig is voor drugdesign (bijv. cryptische zakken) en functionele analyse.
5. Paradigmaverschuiving: Het paper toont aan dat men niet noodzakelijk complexe generatieve modellen nodig heeft om dynamica te modelleren; een goed ontworpen regressiemodel op gestructureerde statistische beschrijvers kan de Pareto-grens van efficiëntie en expressiviteit bereiken.

Kortom, DYNAPROT biedt een snelle, nauwkeurige en lichtgewicht alternatief voor traditionele MD-simulaties en zware generatieve modellen, waardoor het mogelijk wordt om proteïne-dynamica op proteoom-schaal te analyseren.