🤖 machine learning

Riemannian MeanFlow

Dieser Beitrag stellt Riemannian MeanFlow (RMF) vor, ein Framework, das direkte Flussabbildungen auf Mannigfaltigkeiten lernt, um eine hochwertige generative Modellierung mit bis zu 10 $\times$ weniger Funktionsauswertungen als traditionelle Diffusions- oder Flussmodelle zu ermöglichen und gleichzeitig eine effiziente, belohnungsgesteuerte Gestaltung zu unterstützen.

Ursprüngliche Autoren: Dongyeop Woo, Marta Skreta, Seonghyun Park, Kirill Neklyudov, Sungsoo Ahn

Veröffentlicht 2026-05-04

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Dongyeop Woo, Marta Skreta, Seonghyun Park, Kirill Neklyudov, Sungsoo Ahn

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, neue Proteine oder DNA-Sequenzen zu entwerfen. Dies sind keine bloßen Listen aus Buchstaben oder Zahlen; es handelt sich um komplexe 3D-Strukturen mit strengen Regeln, wie ein Puzzle, bei dem jedes Teil perfekt in eine spezifische geometrische Form passen muss.

In der Welt der KI sind „Diffusions"- und „Flow"-Modelle wie Künstler, die langsam einen Klumpen Rauschen in ein perfektes Meisterwerk verwandeln. Normalerweise tun sie dies, indem sie hunderte winziger, sorgfältiger Schritte unternehmen und bei jedem einzelnen Schritt ihre Arbeit überprüfen, um sicherzustellen, dass sie nicht vom Pfad abkommen.

Das Problem: Der langsame Spaziergang
Der Artikel weist auf einen großen Engpass hin: Hunderte von Schritten zu unternehmen, ist unglaublich langsam und teuer. Es ist, als würde man versuchen, einen Raum zu durchqueren, indem man 100 winzige, vorsichtige Schritte macht, obwohl man ihn in einem oder zwei großen Schritten durchmessen könnte. Für Wissenschaftler, die Tausende von Molekülen entwerfen müssen, ist diese Langsamkeit ein Dealbreaker.

Die Lösung: Riemannian MeanFlow (RMF)
Die Autoren stellen eine neue Methode namens Riemannian MeanFlow (RMF) vor. Stellen Sie sich vor, Sie lehren den Roboter, den „gesamten Pfad" auf einmal zu „sehen", anstatt nur den nächsten Schritt.

So haben sie es getan, unter Verwendung einiger alltäglicher Analogien:

1. Die „Durchschnittsgeschwindigkeit"-Abkürzung

Stellen Sie sich vor, Sie fahren von Stadt A nach Stadt B.

Der alte Weg (Diffusion/Flow): Sie fahren langsam, überprüfen jede Sekunde Ihr GPS und korrigieren ständig Ihr Lenkrad. Dies ist genau, dauert aber ewig.
Der neue Weg (RMF): Anstatt jede Sekunde zu überprüfen, berechnen Sie die durchschnittliche Geschwindigkeit und Richtung, die benötigt wird, um von A nach B auf einmal zu gelangen. Sie müssen nicht anhalten und prüfen; Sie fahren einfach den ganzen Weg basierend auf dieser einzigen Berechnung.

Der Artikel beweist mathematisch, dass man diese „Durchschnittsgeschwindigkeit" direkt auf den komplexen geometrischen Formen (Mannigfaltigkeiten) lernen kann, auf denen diese Moleküle existieren, ohne hunderte winziger Schritte unternehmen zu müssen.

2. Drei Wege, die Reise zu beschreiben

Die Autoren entdeckten drei verschiedene Möglichkeiten, diese „Durchschnittsgeschwindigkeit" zu beschreiben, die alle mathematisch äquivalent sind. Sie sind wie die Beschreibung einer Roadtrip aus drei verschiedenen Perspektiven:

Die Eulerische Sicht: Die Straße von einem festen Punkt aus zu betrachten (wie eine Kamera auf einem Pfahl) und zu sehen, wie der Verkehr an einem vorbeifließt.
Die Lagrangesche Sicht: Im Auto zu sitzen und zu spüren, wie sich die Geschwindigkeit ändert, während man fährt.
Die Halbgruppen-Sicht: Die Reise in zwei Teile zu zerlegen (von A nach B, dann von B nach C) und zu erkennen, dass der direkte Weg von A nach C einfach die Kombination dieser beiden Teile ist.

Der Artikel zeigt, dass die Verwendung dieser Perspektiven es der KI ermöglicht, den „Ein-Schritt-Sprung" direkt zu lernen.

3. Der „Stop-Gradient"-Trick

Das Trainieren dieser Modelle ist wie der Versuch, einen Stapel Teller im Gleichgewicht zu halten, während man jongliert. Wenn man versucht zu berechnen, wie jede winzige Änderung das Endergebnis beeinflusst, wird die Mathematik so schwer, dass der Computer abstürzt (oder der Speicher erschöpft ist).
Die Autoren verwenden einen cleveren Trick namens „Stop-Gradient". Stellen Sie sich vor, Sie unterrichten einen Schüler. Anstatt ihn jedes Mal, wenn er einen Fehler macht, die gesamte Geschichte neu berechnen zu lassen, wie er zu einer Antwort gelangt ist, sagen Sie ihm einfach: „Hier ist die richtige Antwort, passen Sie nun einfach Ihren nächsten Versuch daran an." Dies verhindert, dass der Computer von komplexer Mathematik überwältigt wird, und macht das Training schneller und stabiler.

4. Das Ziel vorhersagen, nicht die Geschwindigkeit

Die meisten Modelle versuchen, die Geschwindigkeit (Velocity) in jedem Moment vorherzusagen. RMF versucht, das Ziel (den Endpunkt auf der Karte) direkt vorherzusagen.

Analogie: Anstatt einem Fahrer zu sagen: „Biegen Sie bei 5 Meilen pro Stunde links ab, dann bei 10 Meilen pro Stunde rechts", sagen Sie einfach: „Fahren Sie, bis Sie die große rote Scheune sehen."
Dieser Ansatz funktioniert viel besser für hochdimensionale Daten (wie lange DNA-Sequenzen oder große Proteine) und ermöglicht es dem Modell, bestehende Software zu nutzen, die für diese Formen entwickelt wurde, ohne dass sie neu geschrieben werden muss.

Was sie erreicht haben

Der Artikel testete dies an zwei realen wissenschaftlichen Aufgaben:

Entwurf von DNA-Promotoren: Diese sind wie „Startknöpfe" für Gene. Die neue Methode erzeugte hochwertige DNA-Sequenzen in einem Schritt, die genauso gut waren wie die alten Methoden, die 100 Schritte benötigten.
Entwurf von Proteinskeletten: Dies sind die Skelette von Proteinen. Die neue Methode konnte in 1 bis 5 Schritten gültige Proteinstrukturen generieren, während frühere Methoden kollabierten oder vollständig versagten, wenn man sie bat, dies so schnell zu tun.

Das Fazit
Der Artikel behauptet, dass sie durch das Verständnis der Geometrie der Daten und die Verwendung dieser „Durchschnittsgeschwindigkeits"-Abkürzungen komplexe biologische Strukturen 10-mal schneller generieren können (unter Verwendung von 10-mal weniger Computerberechnungen), ohne an Qualität zu verlieren. Dies macht es möglich, KI für schnelle, iterative wissenschaftliche Designs einzusetzen, bei denen Forscher Tausende von Ideen schnell testen können, anstatt stundenlang auf ein einzelnes Ergebnis zu warten.

Technische Zusammenfassung: Riemannian MeanFlow

Problemstellung

Diffusions- und Flussmodelle haben sich als dominantes Paradigma für generative Modellierung auf Riemannschen Mannigfaltigkeiten etabliert und wurden erfolgreich auf Aufgaben wie die Generierung von Protein-Rückgratstrukturen und das Design von DNA-Sequenzen angewendet. Diese Methoden erfordern jedoch typischerweise während der Inferenz zehn bis hundert Auswertungen neuronaler Netzwerke (Funktionsauswertungen oder NFEs), um gewöhnliche Differentialgleichungen (ODEs) oder stochastische Differentialgleichungen (SDEs) numerisch zu integrieren. Dieser Rechenaufwand stellt einen Engpass dar, insbesondere in wissenschaftlichen Design-Pipelines, in denen generative Modelle als Vorschlagsmechanismen innerhalb iterativer Schleifen für eigenschaftsgesteuerte Optimierung dienen. Während Few-Step-Generierungstechniken wie Konsistenzmodelle und das Lernen von Flusskarten in euklidischen Settings untersucht wurden, bleiben sie in hochdimensionalen Riemannschen Mannigfaltigkeits-Settings wenig erforscht und oft instabil.

Methodik: Riemannian MeanFlow (RMF)

Die Autoren stellen Riemannian MeanFlow (RMF) vor, ein Framework, das entwickelt wurde, um Flusskarten direkt auf Mannigfaltigkeiten zu lernen und eine hochwertige Generierung mit nur einem Forward-Pass zu ermöglichen. Der Kern der Methodik besteht darin, drei äquivalente Charakterisierungen der mittleren Geschwindigkeit auf der Mannigfaltigkeit herzuleiten und zu nutzen, welche die Flusskarte zwischen beliebigen Zeitpunkten $s$ und $t$ in Beziehung setzen.

1. Theoretische Grundlagen

Das Framework definiert die mittlere Geschwindigkeit $u_{s,t}$ als die konstante Geschwindigkeit, die, wenn sie entlang einer Geodäte von $x_s$ nach $x_t$ über die Zeit $t-s$ beibehalten würde, den Punkt korrekt transportieren würde. Die Autoren leiten drei Identitäten her, die als Grundlage für Trainingsziele dienen:

Euler-Identität: Abgeleitet durch Differentiation der definierenden Relation bezüglich der Quellzeit $s$ . Sie setzt die mittlere Geschwindigkeit in Beziehung zur kovarianten Ableitung des Geschwindigkeitsfeldes entlang der Integralkurve und zur Ableitung der logarithmischen Abbildung.
Lagrange-Identität: Abgeleitet durch Differentiation bezüglich der Zielzeit $t$ . Sie setzt die mittlere Geschwindigkeit in Beziehung zum Differential der logarithmischen Abbildung, angewendet auf die momentane Geschwindigkeit, und zur partiellen Zeitableitung der mittleren Geschwindigkeit.
Halbgruppen-Identität: Eine algebraische Bedingung, die aus der Halbgruppeneigenschaft von Flusskarten ( $\Phi_{r,t} \circ \Phi_{s,r} = \Phi_{s,t}$ ) abgeleitet wird. Sie erzwingt Konsistenz zwischen dem direkten Fluss von $s$ nach $t$ und der Komposition von Flüssen durch einen Zwischenzeitpunkt $r$ .

2. Trainingsziele und Stabilisierung

Die Autoren wandeln diese Identitäten in Regressionsziele um. Eine kritische Designentscheidung ist die Platzierung des Stop-Gradient-Operators. Im Gegensatz zu früheren Arbeiten (z. B. Generalized Flow Maps), die Stop-Gradienten teilweise anwenden, wendet RMF den Stop-Gradient auf das gesamte Regressionsziel an. Diese Formulierung:

Beseitigt die Notwendigkeit, höhere Ableitungen (z. B. Gradienten durch Jacobian-Vektor-Produkte) während der Backpropagation zu evaluieren.
Reduziert den Speicherverbrauch um fast das 2-Fache.
Verbessert die Trainingsstabilität in hochdimensionalen Settings.

Um Optimierungsprobleme in hohen Dimensionen zu adressieren, schlägt das Papier mehrere Stabilisierungstechniken vor:

Zeitsampling: Geordnete Zeitpaare ( $s \le t$ ) für Euler- und Halbgruppen-Ziele, und ungeordnete Paare für Lagrange-Ziele.
Adaptive Gewichtung des Verlusts: Umgehung des Verlusts basierend auf der Größe des Regressionsziels, um hohe Varianz in ableitungsabhängigen Termen zu handhaben.
Kontrolle der Zeitableitung: Verwendung von niederfrequenten Zeit-Embeddings, um die Größe der Zeitableitungen im Netzwerkausgang zu begrenzen.

3. Parametrisierung

Das Papier bewertet drei Parametrisierungsschemata für die mittlere Geschwindigkeit:

$v$ -Vorhersage: Vorhersage des Tangentialvektors (Geschwindigkeit).
$x_t$ -Vorhersage: Direkte Vorhersage des Endpunkts.
$x_1$ -Vorhersage: Vorhersage des Trajektorienendpunkts bei $t=1$ gegeben den aktuellen Zustand und den Zeitabstand.
Die Autoren stellen fest, dass die $x_1$ -Vorhersage für hochdimensionale Mannigfaltigkeiten am robustesten ist. Sie ist kompatibel mit bestehenden wissenschaftlichen Architekturen (z. B. solchen, die SE(3)-Frames für Proteine ausgeben) und skaliert gut bis zu Dimensionen von $D=2048$ , während die $x_t$ -Vorhersage versagt und die $v$ -Vorhersage mit zunehmender Dimensionalität an Qualität verliert.

4. Belohnungsgesteuerte Inferenz

Das Framework unterstützt belohnungsgesteuerte Generierung ohne Neutrainieren des Modells. Durch die Nutzung der Fähigkeit der Flusskarte, Endzustände aus Zwischenschritten vorherzusagen, schlagen die Autoren eine Belohnungs-Vorausblick-Strategie vor. Anstatt den Gradienten der Belohnung am aktuellen verrauschten Zustand $x_t$ zu verwenden, nutzen sie den Gradienten am vorhergesagten Endpunkt $\Phi_{t,1}(x_t)$ . Dieser Ansatz hat sich als effektiver erwiesen, um Generierungen auf spezifische Ziele hin zu steuern.

Wichtige Ergebnisse

Die Autoren validieren RMF an zwei biologischen Aufgaben: Promoter-DNA-Design (Sequenzen auf einem Simplex in $\mathbb{R}^{1024 \times 4}$ ) und Protein-Rückgrat-Generierung (auf $SE(3)^N$ mit $N$ bis zu 128).

Effizienz: RMF erreicht eine Probenqualität, die mit State-of-the-Art-Mehrstufig-Baselines (z. B. Fisher FM, FrameFlow, FrameDiff) vergleichbar ist, erfordert jedoch bis zu 10-mal weniger Funktionsauswertungen.
- Bei der Protein-Rückgrat-Generierung erreicht RMF 82 % Designfähigkeit bei 5 Schritten und 35 % bei 1 Schritt, während Baselines in diesen Few-Step-Regimen stark abfallen oder vollständig kollabieren.
- Beim DNA-Design erreichen RMF-Varianten die Leistung von Fisher FM mit 100 Schritten mit nur 1 Schritt.
Stabilität: Die vorgeschlagenen Stabilisierungstechniken (insbesondere die Kombination aus Halbgruppen-Zielen und $x_1$ -Vorhersage) ermöglichen ein stabiles Training in hochdimensionalen Räumen, in denen andere Flusskarten-Methoden (wie GFM) nicht konvergieren oder fehlerbehaftete Proben produzieren.
Belohnungssteuerung: Die belohnungsgesteuerte Inferenz unter Verwendung der $x_1$ -Vorausblick-Strategie verbessert die Ausrichtung auf Ziel-Regulationsprofile (DNA) und Sekundärstrukturzusammensetzungen (Proteine) im Vergleich zu naiver Steuerung oder ungesteuerter Generierung signifikant.

Bedeutung und Behauptungen

Das Papier beansprucht, ein prinzipiell theoretisches Fundament und praktische Richtlinien für schnelles Sampling auf Riemannschen Mannigfaltigkeiten zu etablieren. Seine Bedeutung liegt in:

Überbrückung der Lücke: Es erweitert Few-Step-Generierungsfähigkeiten von euklidischen Räumen auf komplexe, hochdimensionale Riemannsche Mannigfaltigkeiten, einen kritischen Schritt für wissenschaftliche Anwendungen.
Skalierbarkeit: Durch die Herleitung von Identitäten, die höhere Ableitungen vermeiden, und die Nutzung der $x_1$ -Vorhersage skaliert die Methode auf Dimensionen ( $D \approx 2000$ ) und Sequenzlängen, die für Few-Step-Manigfaltigkeits-Generativmodelle bisher unzugänglich waren.
Effizienz in wissenschaftlichen Workflows: Die Reduktion der Inferenzkosten (bis zu 10-fach) macht generative Modelle als Vorschlagsmechanismen in iterativen wissenschaftlichen Designschleifen, wie eigenschaftsgesteuerter Optimierung für die Wirkstoffentwicklung oder synthetische Biologie, praktikabler.
Belohnungs-Vorausblick: Es zeigt, dass Flusskarten eine effiziente belohnungsgesteuerte Gestaltung ermöglichen, indem Endzustände aus Zwischenschritten vorhergesagt werden, eine Fähigkeit, die bisher nicht auf Mannigfaltigkeiten nachgewiesen wurde.

Die Autoren positionieren RMF nicht als Ersatz für alle generative Modellierung, sondern als ein spezialisiertes Framework, das eine effiziente, hochwertige Generierung in geometrisch eingeschränkten wissenschaftlichen Domänen ermöglicht, in denen die Rechenkosten ein limitierender Faktor sind.