🧬 biology

Protein Folding with Neural Ordinary Differential Equations

Dit artikel stelt een formulering van de Evoformer-architectuur voor met continue diepte op basis van neurale differentiaalvergelijkingen die de rekenkosten en het geheugengebruik aanzienlijk verlaagt terwijl het de mogelijkheid behoudt om plausibele eiwitstructuren te voorspellen, en zo een lichtgewicht en adaptief alternatief biedt voor traditionele deep learning-modellen zoals AlphaFold.

Oorspronkelijke auteurs: Arielle Sanford, Shuo Sun, Christian B. Mendl

Gepubliceerd 2026-05-14

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Arielle Sanford, Shuo Sun, Christian B. Mendl

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ⚕️ Dit is een AI-gegenereerde uitleg van een preprint die niet peer-reviewed is. Dit is geen medisch advies. Neem geen gezondheidsbeslissingen op basis van deze inhoud. Lees de volledige disclaimer

Stel je voor dat je probeert een complexe origami-kraan te vouwen uit één enkel vel papier. In de wereld van de biologie zijn eiwitten als deze vellen papier, maar ze bestaan uit lange ketens van aminozuren die moeten draaien en buigen tot specifieke 3D-vormen om te kunnen werken. Als ze verkeerd vouwen, functioneren ze niet.

Lange tijd was de "gouden standaard" voor het voorspellen hoe deze eiwitten vouwen een systeem genaamd AlphaFold. Denk aan AlphaFold als een meester-origamist die een enorm stap-voor-stap instructieboekje gebruikt. Om de uiteindelijke vorm correct te krijgen, moet deze kunstenaar 48 distincte stappen (zogenaamde "blokken") doorlopen. Bij elke stap kijkt hij naar het papier, maakt hij een kleine aanpassing en geeft hij het door aan de volgende stap. Zodra hij alle 48 stappen heeft voltooid, is het papier perfect gevouwen.

Er is echter een addertje onder het gras: het doorlopen van 48 stappen is traag en vereist veel energie (rekenkracht). Het is alsof je een trap van 48 verdiepingen moet beklimmen, stap voor stap, en bij elke landing moet stoppen om je kaart te controleren.

Het Nieuwe Idee: Een Gladde Glijbaan in plaats van Trappen

De auteurs van dit artikel, Arielle Sanford, Shuo Sun en Christian B. Mendl, stelden een simpele vraag: Wat als we niet bij elke enkele stap hoefden te stoppen? Wat als we gewoon een gladde helling konden afglijden?

Ze lieten zich inspireren door een wiskundig concept genaamd Neurale Gewone Differentiaalvergelijkingen (Neural ODEs). In eenvoudige termen: in plaats van het vouwproces te behandelen als een reeks van 48 aparte, stijve sprongen (discrete stappen), modelleerden ze het als een continue stroom.

Stel je het verschil voor tussen:

De Oude Weg (AlphaFold): 48 distincte stappen nemen in een trap. Je moet precies onthouden waar je was bij stap 1, stap 2, tot en met stap 48. Dit kost veel mentale ruimte (geheugen) en tijd.
De Nieuwe Weg (Neural ODE Evoformer): Afglijden over een gladde, gebogen glijbaan. Je stopt niet bij specifieke punten; je stroomt gewoon van boven naar beneden. Omdat je niet stopt om je positie bij elke centimeter te "opslaan", hoef je minder te onthouden.

Hoe Ze Het Dedden

De onderzoekers bouwden een nieuwe versie van de "motor" van AlphaFold (de Evoformer) die fungeert als deze gladde glijbaan.

De Motor: In plaats van 48 verschillende sets instructies, gebruikten ze één enkele set instructies die licht verandert naarmate deze door de tijd stroomt.
Het Resultaat: Ze vervingen de 48-staps trap door één enkele, continue wiskundige functie.

Wat Ze Vonden

Ze testten deze nieuwe "glijbaan" tegen de oorspronkelijke "trap" met behulp van een dataset van eiwitten. Dit gebeurde er:

Het is Veel Sneller en Goedkoper: Het nieuwe model was ongelooflijk efficiënt. Terwijl de oorspronkelijke AlphaFold ongeveer 65 seconden nodig had om de vorm van een eiwit te voorspellen, deed het nieuwe model dit in ongeveer 5 seconden. Dat is meer dan 10 keer sneller.
Het Bespaart Geheugen: Omdat het model continu stroomt, hoeft het geen "snapshot" van elke enkele stap op te slaan. Dit betekent dat het kan draaien op een standaard, enkele computergrafische kaart (GPU) die je misschien in een gaming-pc vindt, in plaats van dat het een enorme supercomputer nodig heeft.
Training was een Makkie: De oorspronkelijke AlphaFold had 11 dagen non-stop rekenen nodig op honderden krachtige chips om te leren. Dit nieuwe model leerde dezelfde taak in slechts 17,5 uur op één bescheiden computer.
De Kwaliteit: Het nieuwe model is nog niet perfect. Het is als een goede leerling-origamist. Het krijgt het grote plaatje goed voor elkaar – het vouwt de belangrijkste "armen" en "benen" (zogenaamde alfa-helices) correct en begrijpt de algemene vorm. Het heeft echter soms moeite met de kleine, ingewikkelde details, zoals de lussen en strakke draaiingen, die de oorspronkelijke 48-staps meester wel goed krijgt.

De Conclusie

Dit artikel claimt niet dat het het eiwitvouwen volledig heeft opgelost of klaar is voor onmiddellijk medisch gebruik. In plaats daarvan biedt het een bewijs van concept.

Het toont aan dat we een beetje precisie kunnen inleveren voor een enorme winst in snelheid en efficiëntie. Door een stijf, 48-staps proces om te zetten in een gladde, continue stroom, bewezen de onderzoekers dat we krachtige eiwitvouwingstools kunnen bouwen die lichtgewicht, snel zijn en kunnen draaien op alledaagse hardware. Het is een demonstratie dat het soms veel beter is om een gladde helling af te glijden om naar beneden te komen dan een ladder van 48 treden te beklimmen.

Technische Samenvatting: Proteïnevouwing met Neuronale Gewone Differentiaalvergelijkingen

Probleemstelling

Recente doorbraken in de voorspelling van proteïnestructuren, geïllustreerd door AlphaFold 2 en 3, vertrouwen op diepe neurale architecturen zoals de Evoformer om complexe ruimtelijke en evolutionaire beperkingen te vangen. De Evoformer bestaat uit 48 gestapelde blokken zonder gewichtsdeling die iteratief Multiple Sequence Alignment (MSA) en paarsgewijze residu-voorstellingen verfijnen. Hoewel deze architectuur zeer nauwkeurig is, brengt deze aanzienlijke rekenkosten met zich mee tijdens zowel training als inferentie vanwege de diepte en de rigide discretisatie per laag. Bovendien beperkt de vaste diepte de mogelijkheid om dynamisch een afweging te maken tussen runtime en nauwkeurigheid. Dit werk adresseert de behoefte aan een efficiënter, lichtgewicht en interpreteerbaar alternatief dat de kernrepresentatiecapaciteiten van de Evoformer behoudt terwijl de resource-eisen worden verlaagd.

Methodologie

De auteurs stellen een continue-diepte formulering van de Evoformer voor met behulp van Neuronale Gewone Differentiaalvergelijkingen (Neuronale ODE's). In plaats van 48 discrete blokken te stapelen, parameteriseert het model de afgeleide van de verborgen staat als een continue functie van tijd (diepte) en integreert deze met behulp van een numerieke ODE-oplosser.

Architectuurontwerp

De voorgestelde Neurale ODE Evoformer vervangt de discrete stapel door een enkel gedeeld vectorveld $f(m, z, t, \theta)$ dat de evolutie van MSA ( $m$ ) en paar ( $z$ ) voorstellingen over een continue dieptevARIABLE $t$ regelt.

Constructie van het Vectorveld: De functie benadert de cumulatieve transformatie van een enkel Evoformer-blok. Het berekent een volledige pass van Evoformer-stijl updates om tussenliggende toestanden $(m', z')$ te genereren, en berekent vervolgens het verschil $(m'-m, z'-z)$ .
Tijd-afhankelijke Gating: Om een soepele evolutie te waarborgen, worden de verschillen geschaald met geleerde gating-functies $\sigma_m(t)$ en $\sigma_z(t)$ , geïmplementeerd via een ondiepe MLP over de scalare dieptevARIABLE $t$ . De resulterende ODE is:
$\frac{d(m, z)}{dt} = (\sigma_m(t) \cdot (m' - m), \sigma_z(t) \cdot (z' - z))$
Vereenvoudigde Operaties: Om geheugenhoeveelheid te verminderen en integratie mogelijk te maken, vereenvoudigt de architectuur enkele componenten in vergelijking met de originele AlphaFold:
- Weglating van driehoeksattentie-modules (inkomend/uitgaand).
- Gebruik van rechttoe-rechtaarde QKV-projecties zonder geblokkeerde softmax of gefuseerde kernels.
- Een rangverminderde uitwendig product-middeling in plaats van het volledige uitwendig product.
- Een symmetrische benadering voor driehoeksupdates.
- Een basis twee-laags MLP voor paar-overgangen.
Geheugenefficiëntie: Het model maakt gebruik van de geadjungeerde sensitiviteitsmethode voor backpropagation, waardoor een constante geheugenkost met betrekking tot de diepte mogelijk is, aangezien tussenliggende activeringen niet hoeven te worden opgeslagen tijdens de forward pass.

Trainingsstrategie

Het model werd getraind met OpenFold als referentie om ground-truth trajecten te genereren.

Dataset: 500 proteïne-monomeer (370 na lengte-filtering) voor training, met 50 validatie- en 50 testproteïnen. De invoer omvatte primaire sequenties, MSAs (geclusterd tot maximaal 64 sequenties) en structurele templates uit PDB70.
Twee-fasige Training:
1. Voorlopige Fase: Supervisie op tussenliggende voorstellingen bemonsterd uit blokken 0, 8, 16, 24, 32, 40 en 48 van de OpenFold Evoformer om incrementele evolutiedynamiek te vangen.
2. Hoofdfase: Supervisie uitsluitend op de eindpunten (invoer van blok 1 versus uitvoer van blok 48) om het volledige transformatietraject te leren.
Configuratie: Het model gebruikte een verborgen dimensie van 64 (uniform voor MSA- en paarstromen, vergeleken met 384/128 in AlphaFold) en de klassieke vierde-orde Runge-Kutta (RK4) oplosser. Training werd uitgevoerd op een enkele NVIDIA Quadro P4000 GPU gedurende 17,5 uur.

Belangrijkste Resultaten

Rekenkundige Efficiëntie

Benchmarking op 50 testproteïnen (21–852 residuen) toonde aanzienlijke snelheidswinsten aan:

Runtime: De Neuronale ODE Evoformer nam gemiddeld 4,85 seconden per proteïne, vergeleken met 65,06 seconden voor de standaard OpenFold Evoformer (een >7x snelheidswinst per residu).
Schaling: Het Neuronale ODE-model vertoonde lineaire schaling met sequentielengte ( $time \approx 0,0046 \times residuen$ ), terwijl OpenFold kwadratische schaling vertoonde ( $time \approx 0,0006 \times residuen^2$ ). Dit suggereert dat de continue-diepte-aanpak bijzonder voordelig is voor lange proteïnen.

Structurele Nauwkeurigheid

Visuele inspectie van voorspelde structuren voor proteïnen 1fv5, 4epq en 1ujs onthulde:

Sterke punten: Het model vangt betrouwbaar secundaire structuur-elementen, met name $\alpha$ -helices, en weerspiegelt de belangrijkste globale topologie van het proteïne.
Beperkingen: Het model bootst de nauwkeurigheid van de originele 48-blokken architectuur niet volledig na. Afwijkingen zijn merkbaar in fijnkorrelige details, specifiek in lussenregio's en globale pakking.
Vergelijking: Ondanks deze afwijkingen produceerde het ODE-gebaseerde model meer georganiseerde structuren met een hogere zekerheid dan een afgeknot 24-blokken OpenFold-model.

Betekenis en Claims

Het artikel positioneert dit werk als een proof of concept voor continue-diepte modellen in biomoleculaire modellering. De auteurs beweren dat:

Haalbaarheid: Een continue-tijd model de cumulatieve werking van 48 discrete Evoformer-blokken kan benaderen, wat de hypothese valideert dat incrementele verfijningen kunnen worden gemodelleerd als een soepel dynamisch systeem.
Resource-efficiëntie: De aanpak bereikt redelijke structurele voorspellingen met dramatisch minder resources (17,5 uur op een enkele GPU) in vergelijking met de enorme rekenclusters (honderden TPUs) die nodig waren voor de originele training van AlphaFold.
Flexibiliteit: Het gebruik van adaptieve ODE-oplossers introduceert een principiële afweging tussen runtime en nauwkeurigheid, een flexibiliteit die ontbreekt in architecturen met vaste diepte.
Interpreteerbaarheid: De formulering biedt een lichtgewicht, theoretisch interpreteerbaar alternatief voor diepe gestapelde architecturen, waardoor nieuwe richtingen worden geopend voor efficiënte frameworks voor proteïnestructuurvoorspelling.

De auteurs merken expliciet op dat hoewel het huidige model niet de volledige nauwkeurigheid van AlphaFold bereikt, het aantoont dat continue-diepte benaderingen grote-scale modelgedragingen effectief kunnen representeren met aanzienlijk verminderde rekenkundige voetafdrukken. Toekomstig werk wordt voorgesteld om grotere MSA-clusters, verhoogde verborgen dimensies, adaptieve oplossers en onbeperkte sequentielengtes op te nemen om de prestatiekloof verder te dichten.