🧬 biology

Protein Folding with Neural Ordinary Differential Equations

Dieser Artikel schlägt eine Formulierung der Evoformer-Architektur als kontinuierlich-tiefe Neuronale ODE vor, die die Rechenkosten und den Speicherverbrauch erheblich reduziert, während die Fähigkeit zur Vorhersage plausibler Proteinstrukturen erhalten bleibt, und bietet damit eine leichte und adaptive Alternative zu traditionellen Deep-Learning-Modellen wie AlphaFold.

Ursprüngliche Autoren: Arielle Sanford, Shuo Sun, Christian B. Mendl

Veröffentlicht 2026-05-14

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Arielle Sanford, Shuo Sun, Christian B. Mendl

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ⚕️ Dies ist eine KI-generierte Erklärung eines Preprints, das nicht peer-reviewed wurde. Dies ist kein medizinischer Rat. Treffen Sie keine Gesundheitsentscheidungen auf Grundlage dieses Inhalts. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einen komplexen Origami-Kranich aus einem einzigen Blatt Papier zu falten. In der Welt der Biologie sind Proteine wie diese Papiere, bestehen jedoch aus langen Ketten von Aminosäuren, die sich zu spezifischen 3D-Formen winden und drehen müssen, um zu funktionieren. Falten sie sich falsch, funktionieren sie nicht.

Lange Zeit war das „Goldstandard"-System zur Vorhersage, wie sich diese Proteine falten, AlphaFold. Betrachten Sie AlphaFold als einen Meister-Origami-Künstler, der eine massive, schrittweise Anleitung verwendet. Um die endgültige Form korrekt zu erhalten, muss dieser Künstler 48 verschiedene Schritte (genannt „Blöcke") durchlaufen. Bei jedem Schritt betrachtet er das Papier, nimmt eine winzige Korrektur vor und gibt es an den nächsten Schritt weiter. Wenn er alle 48 Schritte abgeschlossen hat, ist das Papier perfekt gefaltet.

Allerdings gibt es einen Haken: Das Durchlaufen von 48 Schritten ist langsam und erfordert viel Energie (Rechenleistung). Es ist, als müsste man eine 48-stöckige Treppe Schritt für Schritt hinaufsteigen und an jeder einzelnen Landung anhalten, um den Plan zu überprüfen.

Die neue Idee: Eine glatte Rutsche statt einer Treppe

Die Autoren dieses Papiers, Arielle Sanford, Shuo Sun und Christian B. Mendl, stellten eine einfache Frage: Was wäre, wenn wir nicht bei jedem einzelnen Schritt anhalten müssten? Was wäre, wenn wir stattdessen eine glatte Rampe hinunterrutschen könnten?

Sie ließen sich von einem mathematischen Konzept namens Neurale Gewöhnliche Differentialgleichungen (Neural ODEs) inspirieren. Vereinfacht ausgedrückt modellierten sie den Faltungsprozess nicht als eine Reihe von 48 separaten, starren Sprüngen (diskrete Schritte), sondern als einen kontinuierlichen Fluss.

Stellen Sie sich den Unterschied zwischen folgendem vor:

Der alte Weg (AlphaFold): 48 verschiedene Schritte eine Treppe hinauf. Sie müssen sich genau merken, wo Sie bei Schritt 1, Schritt 2 und bis hin zu Schritt 48 waren. Dies beansprucht viel mentale Kapazität (Speicher) und Zeit.
Der neue Weg (Neural ODE Evoformer): Eine glatte, geschwungene Rutsche hinunter. Sie halten nicht an bestimmten Punkten an; Sie fließen einfach von oben nach unten. Da Sie nicht anhalten, um Ihre Position bei jedem einzelnen Zentimeter zu „speichern", müssen Sie sich weniger merken.

Wie sie es umsetzten

Die Forscher bauten eine neue Version des „Motors" von AlphaFold (des Evoformer), der wie diese glatte Rutsche funktioniert.

Der Motor: Anstelle von 48 verschiedenen Sätzen von Anweisungen verwendeten sie einen einzigen Satz von Anweisungen, der sich leicht verändert, während er durch die Zeit fließt.
Das Ergebnis: Sie ersetzten die 48-stufige Treppe durch eine einzige, kontinuierliche mathematische Funktion.

Was sie herausfanden

Sie testeten diese neue „Rutsche" gegen die ursprüngliche „Treppe" unter Verwendung eines Datensatzes von Proteinen. Hier ist, was geschah:

Es ist viel schneller und günstiger: Das neue Modell war unglaublich effizient. Während das ursprüngliche AlphaFold etwa 65 Sekunden benötigte, um die Form eines Proteins vorherzusagen, erledigte das neue Modell dies in etwa 5 Sekunden. Das ist mehr als 10-mal schneller.
Es spart Speicher: Da das Modell kontinuierlich fließt, muss es nicht den „Schnappschuss" jedes einzelnen Schrittes speichern. Das bedeutet, dass es auf einer Standard-Grafikkarte (GPU) eines einzelnen Computers laufen kann, wie man sie in einem Gaming-PC findet, anstatt einen massiven Supercomputer zu benötigen.
Das Training war ein Kinderspiel: Das ursprüngliche AlphaFold benötigte 11 Tage ununterbrochener Rechenleistung auf Hunderten leistungsstarker Chips, um zu lernen. Dieses neue Modell lernte dieselbe Aufgabe in nur 17,5 Stunden auf einem einzigen, bescheidenen Computer.
Die Qualität: Das neue Modell ist noch nicht perfekt. Es ist wie ein guter Lehrling im Origami. Es erfasst das große Ganze richtig – es faltet die Haupt„Arme" und „Beine" (genannt Alpha-Helices) korrekt und versteht die allgemeine Form. Allerdings hat es manchmal Schwierigkeiten mit den winzigen, komplizierten Details, wie den Schleifen und engen Windungen, die der ursprüngliche 48-stufige Meister richtig hinbekommt.

Das Fazit

Dieses Papier behauptet nicht, das Protein-Faltungsproblem vollständig gelöst zu haben oder sofort für medizinische Anwendungen bereit zu sein. Stattdessen bietet es einen Beweis für das Konzept.

Es zeigt, dass wir ein wenig Präzision gegen einen riesigen Gewinn an Geschwindigkeit und Effizienz tauschen können. Indem die Forscher einen starren, 48-stufigen Prozess in einen glatten, kontinuierlichen Fluss verwandelten, bewiesen sie, dass wir leistungsstarke Protein-Faltungswerkzeuge entwickeln können, die leichtgewichtig, schnell sind und auf alltäglicher Hardware laufen können. Es ist eine Demonstration dafür, dass das Hinabrutschen auf einer glatten Rampe manchmal ein viel besserer Weg ist, um nach unten zu gelangen, als eine 48-stufige Leiter zu erklimmen.

Technische Zusammenfassung: Proteinfaltung mit Neuronalen Gewöhnlichen Differentialgleichungen

Problemstellung

Jüngste Durchbrüche in der Vorhersage von Proteinstrukturen, exemplarisch durch AlphaFold 2 und 3, basieren auf tiefen neuronalen Architekturen wie dem Evoformer, um komplexe räumliche und evolutionäre Einschränkungen zu erfassen. Der Evoformer besteht aus 48 gestapelten, nicht gewichtsteilenden Blöcken, die Multiple Sequence Alignments (MSA) und paarweise Residuenrepräsentationen iterativ verfeinern. Obwohl diese Architektur hochpräzise ist, verursacht sie aufgrund ihrer Tiefe und der starren diskretisierten Schichtstruktur erhebliche Rechenkosten sowohl während des Trainings als auch der Inferenz. Darüber hinaus begrenzt die feste Tiefe die Fähigkeit, Laufzeit und Genauigkeit dynamisch gegeneinander abzuwägen. Diese Arbeit adressiert die Notwendigkeit einer effizienteren, leichteren und interpretierbareren Alternative, die die grundlegenden Darstellungsfähigkeiten des Evoformer bewahrt und gleichzeitig den Ressourcenbedarf reduziert.

Methodik

Die Autoren schlagen eine kontinuierliche Tiefenformulierung des Evoformer unter Verwendung von Neuronalen Gewöhnlichen Differentialgleichungen (Neural ODEs) vor. Anstelle des Stapelns von 48 diskreten Blöcken parametrisiert das Modell die Ableitung des versteckten Zustands als kontinuierliche Funktion der Zeit (Tiefe) und integriert sie mittels eines numerischen ODE-Lösers.

Architekturentwurf

Der vorgeschlagene Neural ODE Evoformer ersetzt den diskreten Stapel durch ein einziges geteiltes Vektorfeld $f(m, z, t, \theta)$ , das die Evolution der MSA- ( $m$ ) und Paar- ( $z$ ) Repräsentationen über eine kontinuierliche Tiefenvariable $t$ steuert.

Konstruktion des Vektorfelds: Die Funktion approximiert die kumulative Transformation eines einzelnen Evoformer-Blocks. Sie berechnet einen vollständigen Durchlauf von Evoformer-artigen Updates, um Zwischenzustände $(m', z')$ zu generieren, und berechnet anschließend die Differenz $(m'-m, z'-z)$ .
Zeitabhängiges Gating: Um eine glatte Evolution sicherzustellen, werden die Differenzen durch gelernte Gating-Funktionen $\sigma_m(t)$ und $\sigma_z(t)$ skaliert, die über eine flache MLP auf der skalaren Tiefenvariable $t$ implementiert sind. Die resultierende ODE lautet:
$\frac{d(m, z)}{dt} = (\sigma_m(t) \cdot (m' - m), \sigma_z(t) \cdot (z' - z))$
Vereinfachte Operationen: Um den Speicherbedarf zu reduzieren und die Integration zu ermöglichen, vereinfacht die Architektur mehrere Komponenten im Vergleich zum ursprünglichen AlphaFold:
- Wegfall von Triangle-Attention-Modulen (eingehend/ausgehend).
- Verwendung von direkten QKV-Projektionen ohne chunked Softmax oder fusionierte Kernel.
- Ein rangreduzierter äußeres Produkt-Mittelwert anstelle des vollen äußeren Produkts.
- Eine symmetrische Approximation für Triangle-Updates.
- Ein einfacher zweischichtiger MLP für Paar-Übergänge.
Speichereffizienz: Das Modell nutzt die adjungierte Sensitivitätsmethode für die Rückwärtspropagierung, was konstante Speicherkosten in Bezug auf die Tiefe ermöglicht, da Zwischenaktivierungen während des Vorwärtspasses nicht gespeichert werden müssen.

Trainingsstrategie

Das Modell wurde unter Verwendung von OpenFold als Referenz trainiert, um Ground-Truth-Trajektorien zu generieren.

Datensatz: 500 Proteinmonomere (370 nach Längenfilterung) für das Training, mit 50 Validierungs- und 50 Testproteinen. Eingaben umfassten Primärsequenzen, MSAs (geclustert auf maximal 64 Sequenzen) und strukturelle Templates aus PDB70.
Zweiphasiges Training:
1. Vorläufige Phase: Überwachtes Training auf Zwischenrepräsentationen, die aus den Blöcken 0, 8, 16, 24, 32, 40 und 48 des OpenFold Evoformer abgetastet wurden, um die Dynamik der inkrementellen Evolution zu erfassen.
2. Hauptphase: Überwachtes Training ausschließlich auf den Endpunkten (Eingang zu Block 1 vs. Ausgang von Block 48), um die vollständige Transformations-Trajektorie zu lernen.
Konfiguration: Das Modell verwendete eine versteckte Dimension von 64 (einheitlich für MSA- und Paar-Ströme, verglichen mit 384/128 bei AlphaFold) und den klassischen Runge-Kutta-Löser vierter Ordnung (RK4). Das Training erfolgte auf einer einzelnen NVIDIA Quadro P4000 GPU über 17,5 Stunden.

Wichtige Ergebnisse

Rechenleistung

Benchmark-Tests an 50 Testproteinen (21–852 Resten) zeigten signifikante Geschwindigkeitsverbesserungen:

Laufzeit: Der Neural ODE Evoformer benötigte durchschnittlich 4,85 Sekunden pro Protein, verglichen mit 65,06 Sekunden für den Standard-OpenFold-Evoformer (eine >7-fache Beschleunigung pro Rest).
Skalierung: Das Neural ODE-Modell zeigte eine lineare Skalierung mit der Sequenzlänge ( $time \approx 0,0046 \times residues$ ), während OpenFold eine quadratische Skalierung aufwies ( $time \approx 0,0006 \times residues^2$ ). Dies deutet darauf hin, dass der kontinuierliche Tiefenansatz insbesondere für lange Proteine vorteilhaft ist.

Strukturelle Genauigkeit

Die visuelle Inspektion der vorhergesagten Strukturen für die Proteine 1fv5, 4epq und 1ujs ergab:

Stärken: Das Modell erfasst zuverlässig Sekundärstrukturelemente, insbesondere $\alpha$ -Helices, und spiegelt die globale Topologie des Proteins wider.
Grenzen: Das Modell repliziert die Genauigkeit der ursprünglichen 48-Block-Architektur nicht vollständig. Abweichungen sind in feinabgestimmten Details erkennbar, speziell in Schleifenregionen und der globalen Packung.
Vergleich: Trotz dieser Abweichungen erzeugte das ODE-basierte Modell strukturiertere Konfigurationen mit höherer Zuversicht als ein abgeschnittenes 24-Block-OpenFold-Modell.

Bedeutung und Behauptungen

Das Papier positioniert diese Arbeit als Proof of Concept für Modelle mit kontinuierlicher Tiefe in der Biomodellierung. Die Autoren behaupten:

Durchführbarkeit: Ein kontinuierliches Zeitmodell kann den kumulativen Effekt von 48 diskreten Evoformer-Blöcken approximieren und validiert die Hypothese, dass inkrementelle Verfeinerungen als glattes dynamisches System modelliert werden können.
Ressourceneffizienz: Der Ansatz erreicht vernünftige Strukturvorhersagen mit drastisch weniger Ressourcen (17,5 Stunden auf einer einzelnen GPU) im Vergleich zu den massiven Rechenclustern (Hunderte von TPUs), die für das ursprüngliche Training von AlphaFold erforderlich waren.
Flexibilität: Die Verwendung adaptiver ODE-Löser führt zu einem prinzipiellen Kompromiss zwischen Laufzeit und Genauigkeit, eine Flexibilität, die in Architekturen mit fester Tiefe fehlt.
Interpretierbarkeit: Die Formulierung bietet eine leichte, theoretisch interpretierbare Alternative zu tiefen gestapelten Architekturen und eröffnet neue Richtungen für effiziente Frameworks zur Vorhersage von Proteinstrukturen.

Die Autoren weisen ausdrücklich darauf hin, dass das aktuelle Modell zwar nicht die volle Genauigkeit von AlphaFold erreicht, es jedoch demonstriert, dass kontinuierliche Tiefenapproximationen das Verhalten großskaliger Modelle mit deutlich reduziertem Rechenaufwand effektiv repräsentieren können. Als zukünftige Arbeiten werden größere MSA-Cluster, erhöhte versteckte Dimensionen, adaptive Löser und unbegrenzte Sequenzlängen vorgeschlagen, um die Leistungslücke weiter zu schließen.