🤖 machine learning

SE(3)-MeanFlow: Few-Step Protein Backbone Generation on Lie Groups

Das Papier stellt SE(3)-MeanFlow vor, ein Framework für die Generierung in wenigen Schritten, das MeanFlow auf Lie-Gruppen-Geometrie für das Design von Protein-Backbones erweitert und durch die Nutzung geschlossener Trainingsziele sowie einer spezialisierten SE(3) $\alpha$ -Flow-Zielfunktion eine qualitativ hochwertige Generierung mit signifikant weniger Sampling-Schritten als bestehende Diffusions- oder Flow-Matching-Modelle erreicht.

Ursprüngliche Autoren: Yikun Bai, Binghang Lu, Yikai Liu, Elaheh Akbari, Soheil Kolouri, Linxuan Wang, Ping He, Shuchan Wang, Ruqi Zhang, Guang Lin

Veröffentlicht 2026-07-31

📖 7 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yikun Bai, Binghang Lu, Yikai Liu, Elaheh Akbari, Soheil Kolouri, Linxuan Wang, Ping He, Shuchan Wang, Ruqi Zhang, Guang Lin

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Architekt, der eine neue Art von lebender Maschine aus winzigen, flexiblen Lego-Steinen bauen möchte. Diese Maschinen werden Proteine genannt; sie sind die Arbeitstiere des Lebens und fungieren als alles, von chemischen Fabriken bis hin zu Soldaten des Immunsystems. Um eine neue Maschine von Grund auf zu bauen, stapelt man die Steine nicht einfach zufällig; man muss sie in eine spezifische 3D-Form anordnen, wie etwa einen komplexen Origami-Kranich. Wenn die Form falsch ist, wird die Maschine nicht funktionieren. Jahrzehntelang haben Wissenschaftler versucht, Computern beizubringen, diese Origami-Kraniche zu entwerfen, aber es gibt einen Haken: Der Computer muss herausfinden, wie er jeden Stein im 3D-Raum dreht und wendet, was ein mathematisch kniffliger Tanz ist.

Das Problem wird noch schwieriger, wenn man möchte, dass der Computer schnell arbeitet. Aktuelle Methoden sind wie ein Zeitlupenfilm, bei dem der Computer hunderte winziger Schritte unternehmen muss, um die endgültige Pose des Proteins zu bestimmen. Das ist zwar genau, aber es ist zu langsam, um Millionen neuer Proteine gleichzeitig zu entwerfen, was Ärzte und Pharmaunternehmen benötigen, um Krankheiten schnell zu bekämpfen. Die Mathematik dahinter beinhaltet eine spezielle Art von Geometrie, die „Lie-Gruppen“ genannt wird. Das klingt einschüchternd, ist aber nur eine schicke Art zu beschreiben, wie sich Dinge drehen und bewegen, ohne die Regeln des 3D-Raums zu verletzen. Denken Sie an den Unterschied zwischen dem Gleiten eines Spielzeugautos auf einem flachen Tisch (einfach) und dem Rollen eines Balls auf der Oberfläche eines Globus (schwieriger, weil die Oberfläche gekrümmt ist).

Dieses Paper stellt einen neuen Trick namens SE(3)-MeanFlow vor, der wie eine „Vorspul-Taste“ für das Entwerfen dieser Proteinformen fungiert. Anstatt hunderte winziger, vorsichtiger Schritte zu machen, um die endgültige Pose zu bestimmen, lernt dieses neue Verfahren, die durchschnittliche Geschwindigkeit und Richtung der gesamten Reise in nur einem oder wenigen großen Sprüngen vorherzusagen. Es ist, als würde man ein GPS nicht nur lehren, die Geschwindigkeit an Ihrem aktuellen Standort zu berechnen, sondern die durchschnittliche Geschwindigkeit der gesamten Route zu berechnen, damit Sie direkt am Ziel ankommen können. Die Autoren zeigen, dass sie durch die Verwendung dieses „Durchschnittsgeschwindigkeit“-Ansatzes, der speziell auf die gekrümmte Geometrie von Proteinrotationen zugeschnitten ist, hochwertige Proteindesigns in nur 10 oder 20 Schritten generieren können, während ältere Methoden 100 oder mehr benötigten. Sie haben nicht einfach nur geraten, dass dies funktionieren würde; sie haben es mit einem massiven Datensatz echter Proteinstrukturen getestet und festgestellt, dass ihre schnelle Methode Designs liefert, die genauso stark und funktional sind wie die der langsamen Methoden – was beweist, dass man nicht die malerische Route nehmen muss, um ein gutes Ergebnis zu erzielen.

Die große Idee: Von Zeitlupe zu Vorspulen

In der Welt des computergenerierten Proteindesigns ist das Ziel, neue Formen zu erschaffen, die die Natur so noch nicht gesehen hat. Um dies zu erreichen, agieren KI-Modelle wie ein Bildhauer, der mit einem Klumpen Rauschen beginnt und diesen langsam wegmeißelt, bis ein perfektes Protein-Backbone erscheint. Lange Zeit nutzten die besten Bildhauer eine Technik namens „Diffusion“ oder „Flow Matching“. Stellen Sie sich vor, Sie versuchen, von Ihrem Haus zum Park zu gehen, indem Sie 500 winzige, vorsichtige Schritte machen. Sie müssen bei jedem einzelnen Schritt Ihre Richtung überprüfen, um sicherzustellen, dass Sie nicht vom Weg abkommen. Das funktioniert gut, aber es dauert ewig, wenn man eine Million Parks besuchen muss.

Die Autoren dieses Papers stellten eine einfache Frage: Können wir größere Schritte machen, ohne uns zu verirren?

Sie untersuchten eine neuere Idee namens MeanFlow, die ursprünglich für flache, einfache Räume (wie ein flaches Blatt Papier) entwickelt wurde. Der Kern der Idee von MeanFlow besteht darin, nicht mehr zu fragen: „In welche Richtung soll ich jetzt gerade gehen?“, sondern stattd�lich: „Welche Durchschnittsgeschwindigkeit und Richtung war nötig, um von Punkt A nach Punkt B zu gelangen?“ Wenn man die Durchschnittsgeschwindigkeit für die gesamte Reise kennt, kann man die Distanz in einem einzigen riesigen Schritt zurücklegen, anstatt 500 winziger Schritte.

Proteine leben jedoch nicht auf einem flachen Blatt Papier. Sie leben auf einer gekrümmten, verdrehten Oberfläche, auf der Rotation kompliziert ist. Wenn man versucht, die Version von MeanFlow für flaches Papier auf Proteine anzuwenden, bricht die Mathematik zusammen, denn der „Durchschnitt“ zweier Rotationen ist nicht einfach ein einfacher Durchschnitt; er hängt davon ab, in welcher Reihenfolge man sie ausführt. Hier kommt der eigentliche Durchbruch des Papers ins Spiel.

Die Geheimzutat: Die Lie-Gruppen-Abkürzung

Die Autoren erkannten, dass Proteinrotationen zu einer speziellen mathematischen Familie gehören, die Lie-Gruppen (speziell $SE(3)$) genannt wird. Sie fanden einen Weg, die „Durchschnittsgeschwindigkeit“ für diese Rotationen zu berechnen, ohne die schwere, langsame Mathematik anwenden zu müssen, die die Prozesse normalerweise verlangsamt.

Denken Sie an Folgendes: Wenn Sie einen Kreisel drehen, ist die Berechnung der Durchschnittsdrehung über einige Sekunden schwierig, wenn Sie versuchen, dies Sekunde für Sekunde zu messen. Aber wenn Sie eine spezielle Formel haben, die Ihnen die „Gesamtdrehung“ basierend darauf sagt, wo der Kreisel startete und wo er endete, können Sie den Mittelteil komplett überspringen. Die Autoren haben eine neue Formel hergeleitet, die wie diese Abkürzung funktioniert. Sie bewiesen, dass sie durch das Arbeiten in einem spezifischen mathematischen Raum (der „Lie-Algebra“) eine saubere, geschlossene Antwort für die Durchschnittsgeschwindigkeit erhalten können. Das bedeutet, der Computer muss nicht die gesamte Reise Schritt für Schritt simulieren, um die Antwort zu kennen; er kann den Durchschnitt direkt berechnen.

Was sie fanden: Geschwindigkeit ohne Opfer

Das Team testete ihr neues SE(3)-MeanFlow-Modell gegen die besten bestehenden Methoden. Sie stellten eine Herausung auf: Generierung von Protein-Backbones mit unterschiedlicher Anzahl von Schritten, von langsamen 100 Schritten bis hin zu blitzschnellen 10 Schritten.

Hier ist, was sie entdeckten:

Der Geschwindigkeitsschub: Ihr Modell konnte hochwertige Proteine in nur 10 bis 20 Schritten generieren. Im Gegensatz dazu benötigten die älteren, langsameren Methoden 100 Schritte, um ähnliche Ergebnisse zu erzielen. Wenn die Autoren die alten Methoden zwangen, nur 20 Schritte zu machen, sank die Qualität der Proteine signifikant.
Die Qualität bleibt hoch: Selbst mit diesen enormen Geschwindigkeitssteigerungen waren die von SE(3)-MeanFlow generierten Proteine immer noch „designbar“. Das bedeutet, dass man sie ausdrucken und versuchen könnte, sie zu bauen, und sie sich in die korrekte Form falten würden. Tatsächlich lag die Erfolgsquote ihres Modells bei 20 Schritten bei 86,7 %, während der nächstbeste Konkurrent nur bei 80,6 % lag.
Der Kompromiss: Es gibt einen kleinen Preis. Die von der superschnellen Methode generierten Proteine waren etwas weniger divers (das heißt, sie sahen sich untereinander etwas ähnlicher), als die der langsamen, vorsichtigen Methoden. Die Autoren legen jedoch nahe, dass dies ein kleiner Preis dafür ist, Millionen von Designs in der Zeit generieren zu können, die früher für einige tausend benötigt wurde.

Warum das wichtig ist

Dies ist nicht nur ein mathematischer Trick; es ist ein praktisches Werkzeug für die Zukunft der Medizin. Die Arzneimittelentwicklung erfordert oft die Generierung von Millionen potenzieller Proteinstrukturen, um eine zu finden, die vielleicht ein Virus oder eine Krebszelle bekämpft. Wenn ein Computer für ein einziges Design 100 Schritte benötigt, kann es Tage dauern, einen guten Kandidaten zu finden. Wenn er es in 10 Schritten schafft, könnte dieselbe Suche in Stunden abgeschlossen sein.

Die Autoren schlagen vor, dass wir durch die Verwendung dieses „Durchschnittsgeschwindigkeits“-Ansatzes das Hochdurchsatz-Proteindesign endlich zur Realität machen können. Sie haben das Modell nicht nur am Computer simuliert; sie haben es an einem echten Datensatz von über 3.600 Proteinen trainiert und streng getestet. Obwohl sie anmerken, dass ihr Verfahren noch verfeinert werden muss (insbesondere hinsichtlich der Diversität), deuten die Ergebnisse darauf hin, dass wir kurz davor stehen, lebensrettende Proteine mit einer Geschwindigkeit zu entwerfen, die den dringenden globalen Gesundheitsherausforderungen gerecht wird.

Kurz gesagt: Das Paper zeigt, dass wir, indem wir die Geometrie der Rotation etwas besser verstehen, aufhören können, Babyschritte zu machen, und stattdessen zu neuen medizinischen Durchbrüchen sprinten können.

Technisches Resümee: SE(3)-MeanFlow

Problemstellung

Die generative Modellierung von Protein-Backbones ist entscheidend für das De-novo-Design von Proteinen mit vorgegebenen strukturellen und funktionellen Eigenschaften. Während bestehende Diffusions- und Flow-Matching-Modelle (z. B. FrameDiff, RFDiffusion, FoldFlow) eine qualitativ hochwertige Generierung im Raum der Protein-Frames, $SE(3)^N$ , erreicht haben, leiden sie unter einem signifikanten Inferenz-Engpass. Aktuelle Methoden erfordern die numerische Integration einer gewöhnlichen Differentialgleichung (ODE) über hunderte von Schritten (typischerweise 100–500 Netzwerk-Funktionsauswertungen oder NFE), um Genauigkeit zu gewährleisten. Auf der Lie-Gruppe $SE(3)$ beinhaltet jeder Schritt die Auswertung des Netzwerks und die Anwendung der Exponentialabbildung der Lie-Gruppe, was die Inferenz rechenintensiv macht und für High-Throughput-Drug-Discovery-Pipelines, die Millionen von Kandidatenstrukturen erfordern, ungeeignet ist.

Während Few-Step-Generierung im euklidischen Raum mittels Consistency Models oder progressiver Destillation untersucht wurde, sind diese Ansätze oft auf vortrainierte Teacher oder komplexe Trainings-Curricula angewiesen. MeanFlow, eine jüngst vorgestellte Methode für euklidische Räume, bietet eine eigenständige Alternative, indem es die Durchschnittsgeschwindigkeit einer Trajektorie anstatt der instantanen Geschwindigkeit modelliert, was eine One-Step-Generierung ohne Destillation ermöglicht. Eine naive Erweiterung von MeanFlow auf die gekrümmte Mannigfaltigkeit von $SE(3)$ ist jedoch schlecht definiert, da Geschwindigkeiten an verschiedenen Punkten entlang einer Trajektorie in unterschiedlichen Tangentialräumen liegen, was einen Paralleltransport zum Mitteln erforderlich macht.

Methodik

Die Autoren schlagen SE(3)-MeanFlow vor, ein Few-Step-Generierungs-Framework, das speziell für die Lie-Gruppen-Geometrie von Protein-Frames entwickelt wurde. Die Methode nutzt die Zerlegung $SE(3) \cong SO(3) \times \mathbb{R}^3$ , um Simulation-free Trainingsziele direkt in der Lie-Algebra $\mathfrak{so}(3)$ und dem euklidischen Raum $\mathbb{R}^3$ abzuleiten, wodurch der Bedarf an Paralleltransport entfällt.

Zentrale theoretische Beiträge

Integrationsbasierte MeanFlow-Identität: Die Autoren definieren die Durchschnittsgeschwindigkeit über ein Intervall $[s, t]$ $[s, t]$ mittels einer zeitgeordneten Exponentialfunktion. Durch Differentiation dieser Definition leiten sie eine geschlossene Identität her, die die Durchschnittsgeschwindigkeit, die Trajektorien-Ableitung und die instantane Geschwindigkeit miteinander verknüpft.
- Für Rotationen beinhaltet diese Identität die Rechts-Jacobi-Matrix $J$ von $SO(3)$, welche die nicht-kommutative Natur der Gruppe berücksichtigt.
- Das resultierende Trainingsziel ermöglicht es dem Modell, die Durchschnittsgeschwindigkeit $u(s, t, x_t)$ unter Verwendung der instantanen Geschwindigkeit als Supervision zu lernen, ohne während des Trainings die vollständige Trajektorien-Integration durchführen zu müssen.
Closed-Form Targets: Im Gegensatz zu allgemeinen Riemannschen MeanFlow-Ansätzen, die auf Paralleltransport angewiesen sind, leitet SE(3)-MeanFlow Closed-Form Average-Velocity-Identitäten in $\mathfrak{so}(3)$ und $\mathbb{R}^3$ ab. Dies eliminiert den Rechenaufwand und die numerische Instabilität, die mit dem Paralleltransport verbunden sind.

Praktisches Trainings-Framework

Um numerische Instabilitäten zu adressieren, insbesondere wenn $t \to 0$ (wo Faktoren wie $1/t$ im Loss Fehler verstärken können), führen die Autoren ein stabiles Trainings-Curriculum ein:

$\alpha$ -Flow Warm-up: Ein JVP-freies (Jacobian-Vector Product free) Ziel basierend auf einer Zwei-Segment-Konstruktion wird als Warm-up-Phase verwendet. Dieses Ziel ersetzt die differentielle Zielgröße durch ein Konsistenz-Ziel, das die Differentiation durch die Trajektorien-Ableitung vermeidet und so die initiale Trainingsphase stabilisiert.
Small- $t$ Stabilisiertes MeanFlow: Nach dem Warm-up wechselt das Training zu einem differentiellen MeanFlow-Loss. Die Autoren implementieren Techniken zur numerischen Stabilisierung, einschließlich Hilfsvariablen zur Absorption von $1/t$ -Faktoren und einer Small- $t$ -Reparametrisierung, um ein robustes Training selbst bei aggressiver Reduktion der Schrittzahl zu gewährleisten.
Rectification (Post-Training): Eine Rectification-Phase (Self-Reflow) wird angewendet, um die Transportpfade weiter zu glätten und die Performance im Few-Step-Regime zu verbessern.

Architektur

Das Modell nutzt den ReQFlow-Backbone (ein Invariant Point Attention Netzwerk) mit minimalen Modifikationen:

Ein gemeinsames Two-Time-Embedding für Eingaben $(s, t)$ .
Pro-Block AdaLN-Zero-Gates, um die starren Updates an das Zeitintervall zu konditionieren.
Die Modellgröße beträgt etwa 16,8M Parameter, was signifikant kleiner ist als die der konkurrierenden Riemannschen MeanFlow-Baselines (437M Parameter).

Zentrale Beiträge

Theoretische Herleitung: Die Arbeit liefert eine rigorose Herleitung der MeanFlow-Identität auf $SE(3)$ und etabliert Closed-Form Average-Velocity-Objectives in der Lie-Algebra ohne Paralleltransport.
Stabile Trainingsalgorithmen: Die Einführung des $\alpha$ -Flow Warm-ups und der Small- $t$ Stabilisierungstechniken macht die Few-Step-Generierung für Protein-Backbones zuverlässig und adressiert die numerische Fragilität differentieller Ziele auf Mannigfaltigkeiten.
Performance im Few-Step-Regime: Die Methode erreicht eine State-of-the-Art Designability mit signifikant weniger Sampling-Schritten im Vergleich zu Flow-Matching-Baselines.

Experimentelle Ergebnisse

Die Methode wurde auf dem SCOPe-Datensatz (3.673 Protein-Backbones, Längen 60–128) gegen Baselines wie FrameFlow, QFlow, ReQFlow und Riemannian MeanFlow (RMF) evaluiert.

Designability: SE(3)-MeanFlow erreicht oder übertrifft die Designability (Anteil der Backbones mit scRMSD < 2Å) von Baselines, die 5–10 Mal mehr Sampling-Schritte verwenden.
- Bei 20 Schritten erreicht SE(3)-MeanFlow einen designablen Anteil von 0,867 und übertrifft damit RMF (0,806) und QFlow (0,778).
- Bei 10 Schritten hält die rectifizierte Version (RecSE3MF) einen designablen Anteil von 0,894, was signifikant höher ist als bei ReQFlow (0,837).
Effizienz: Die Methode reduziert das Sampling-Budget von hunderten von Schritten auf nur 10–20 Schritte, während sie eine hohe strukturelle Qualität beibehält.
Diversität und Neuartigkeit: Es gibt einen moderaten Trade-off in der Diversität (höhere paarweise TM-Scores) im Vergleich zu Coverage-orientierten Baselines, aber die Methode bewahrt stabile Sekundärstruktur-Statistiken (Helix/Strand-Anteile) und C $\alpha$ -Validität über verschiedene Schrittzahlen hinweg.
Ablationsstudien: Kontrollierte Experimente auf einem synthetischen $SO(3)^2$ Benchmark bestätigen, dass die Average-Velocity-Parametrisierung der primäre Treiber für den Erfolg im Few-Step-Regime ist, nicht die Netzwerkarchitektur oder Kopplungsstrategien.

Bedeutung und Ansprüche

Das Paper behauptet, dass SE(3)-MeanFlow die Designability–Efficiency Frontier in der Proteingenerierung vorantreibt. Durch die Nutzung der spezifischen algebraischen Struktur von $SE(3)$ als Lie-Gruppe zeigen die Autoren, dass es möglich ist, Simulation-free Trainingsziele abzuleiten, die eine qualitativ hochwertige Generierung mit einem Bruchteil der Rechenkosten bestehender Methoden ermöglichen.

Die Autoren betonen, dass ihr Ansatz selbstkonteniert ist, keinen vortrainierten Teacher oder komplexes Distilling benötigt und skalierbar ist (unter Verwendung eines kleineren Modells als konkurrierende Riemannsche Methoden). Während sie einen moderaten Rückgang der Diversität gegenüber einigen Baselines einräumen, argumentieren sie, dass die Fähigkeit, designable Strukturen in 10–20 Schritten zu generieren, die Methode besonders wertvoll für High-Throughput-Anwendungen macht, bei denen Millionen von Kandidaten gescreent werden müssen. Die Arbeit legt nahe, dass zukünftige Richtungen die Erweiterung der Methode auf konditionierte Generierung und Motif-Scaffolding sowie das Streben nach echter One-Step-Generierung umfassen.