🤖 machine learning

Score-Based One-step MeanFlow Policy Optimization

Dieser Beitrag stellt Score-Based One-step MeanFlow Policy Optimization (SOM) vor, einen Actor-Critic-Algorithmus, der eine effiziente, einstufige Politikgenerierung im Online-Reinforcement-Learning ermöglicht, indem er ein Zielgeschwindigkeitsfeld direkt aus der Q-Funktion konstruiert und dadurch State-of-the-Art-Leistung erzielt, während er den rechenintensiven Aufwand im Vergleich zu herkömmlichen mehrstufigen Diffusions- und Flow-Matching-Verfahren erheblich reduziert.

Ursprüngliche Autoren: Kyungyoon Kim, Donghyeon Ki, Hee-Jun Ahn, Byung-Jun Lee

Veröffentlicht 2026-05-25

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Kyungyoon Kim, Donghyeon Ki, Hee-Jun Ahn, Byung-Jun Lee

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Der "Schongarer" vs. die "Mikrowelle"

Stellen Sie sich vor, Sie bringen einem Roboter das Gehen bei. In der Vergangenheit war der beste Weg, ihm eine einfache, eindirektionale Anweisung zu geben (wie "gehe vorwärts"). Das ist schnell, aber der Roboter ist begrenzt; er kann keine komplexen Bewegungen lernen wie "gehe vorwärts, dann hüpf, dann drehe dich", weil er nur eine Richtung kennt.

Um dies zu beheben, begannen Forscher, generative Modelle (wie Diffusionsmodelle) einzusetzen. Stellen Sie sich diese als einen "Schongarer" vor.

Wie sie funktionieren: Um die perfekte Bewegung zu ermitteln, beginnt der Roboter mit einer Schüssel voller zufälligen Rauschens (Statik) und "entrauscht" es schrittweise, verfeinert die Aktion immer wieder, bis sie zu einer perfekten Bewegung wird.
Der Haken: Das dauert lange. Es ist wie das Kochen eines Eintopfs, der 4 Stunden benötigt. In einem Echtzeit-Videospiel oder bei einem Roboter, der ein Auto steuert, benötigen Sie eine Antwort sofort. Auf eine einzelne Bewegung 4 Stunden zu warten, ist zu langsam.

Kürzlich wurde eine neue Methode namens MeanFlow erfunden. Sie ist wie eine "Mikrowelle". Sie behauptet, dieselbe Mahlzeit in nur einem Schritt zu garen. Allerdings gab es ein riesiges Problem: Um die Mikrowelle zu nutzen, benötigten Sie ein "Rezept" (eine Zielverteilung), das Sie nur erhalten konnten, wenn Sie bereits die perfekten Bewegungen kannten. Aber beim Reinforcement Learning lernt der Roboter die perfekten Bewegungen, also hat er das Rezept noch nicht.

Die Lösung: SOM (Der "GPS-Navigator")

Die Autoren dieses Papiers schufen SOM (Score-Based One-step MeanFlow Policy Optimization). Sie lösten das Problem des "fehlenden Rezepts", damit der Roboter die Mikrowelle (Ein-Schritt-Generierung) nutzen kann, ohne das vorgekochte Mahl zu benötigen.

Hier ist, wie sie es taten, unter Verwendung einer GPS-Analogie:

1. Die fehlende Karte (Die Zielverteilung)

Normalerweise benötigen Sie für das Training einer Ein-Schritt-Mikrowelle eine Karte, die genau zeigt, wo die "guten" Aktionen liegen. Beim Online-Lernen hat der Roboter diese Karte noch nicht.

Alter Weg: Der Roboter würde versuchen, die Karte zu erraten, indem er 100 zufällige Vermutungen anstellt, prüft, welche die beste ist, und hofft, dass dies ausreicht. Dies ist ineffizient und wird schwieriger, je komplexer die Aufgabe ist (wie das Finden einer Nadel im Heuhaufen, indem man sich einen Strohhalm nach dem anderen ansieht).

2. Der neue Trick: Nutzung des "Scores" (des Gradienten)

Die Autoren erkannten, dass sie nicht die gesamte Karte benötigten. Sie brauchten nur ein GPS-Signal.

Sie behandeln den "Critic" des Roboters (ein Teil der KI, der bewertet, wie gut ein Zug ist) als einen Hügel. Hohe Punkte auf dem Hügel sind gute Züge; tiefe Punkte sind schlechte Züge.
Anstatt zu versuchen, den gesamten Hügel zu zeichnen, schauen sie sich nur die Steigung (den Gradienten) am aktuellen Standort des Roboters an.
Die Analogie: Stellen Sie sich vor, Sie sind auf einem Hügel blindfoldet. Sie benötigen keine Karte des ganzen Berges, um den Gipfel zu finden. Sie müssen nur spüren, in welche Richtung der Boden nach oben abfällt. Wenn Sie bergauf laufen, erreichen Sie schließlich den Gipfel.
SOM nutzt den Critic, um diese "Steigung" (Score) zu berechnen und sagt dem Roboter: "Bewege dich in die Richtung, in der der Score steigt."

3. Der Ein-Schritt-Sprung

Da sie diese "Steigungs"-Information haben, können sie den langsamen, schrittweisen Entrauschungsprozess überspringen.

Alter Weg (Diffusion): Starten Sie am Fuß des Hügels, machen Sie 20 winzige Schritte nach oben und prüfen jedes Mal Ihre Richtung. (Langsam).
SOM-Weg: Schauen Sie sich die Steigung an, berechnen Sie den perfekten Vektor und springen Sie in einem einzigen riesigen Sprung direkt auf den Gipfel des Hügels. (Schnell).

Warum dies wichtig ist (Die Ergebnisse)

Das Papier testete dies auf MuJoCo, einer berühmten Sammlung von Videospielumgebungen, in denen Roboter lernen zu gehen, zu rennen und zu schwimmen.

Geschwindigkeit: SOM ist unglaublich schnell. Es generiert eine Aktion in einem Schritt, wohingegen andere fortschrittliche Methoden 10 bis 100 Schritte benötigen. Das bedeutet, der Roboter kann viel schneller denken und sich bewegen.
Leistung: Trotz der höheren Geschwindigkeit ist SOM bei den Aufgaben tatsächlich besser. Es erzielte die höchsten Scores in den meisten Geh- und Laufspielen.
Komplexität: Es funktioniert besonders gut bei schwierigen Aufgaben mit vielen beweglichen Teilen (wie dem Humanoid-Roboter), bei denen ältere Methoden Schwierigkeiten haben, den richtigen Pfad zu finden.

Zusammenfassung der "Magie"

Die Engstelle: Bisherige schnelle Methoden benötigten einen "perfekten Antwortenschlüssel" zum Trainieren, der beim Online-Lernen nicht existiert.
Der Durchbruch: SOM erstellt ein "Ziel" im laufenden Betrieb, indem es die "Steigung" (Gradient) des Critic nutzt, um den Roboter zu führen.
Das Ergebnis: Der Roboter lernt, komplexe, hochwertige Bewegungen in einem einzigen Schritt zu generieren, was ihn sowohl schneller als auch intelligenter macht als frühere Methoden.

Kurz gesagt: SOM bringt einem Roboter bei, direkt zum besten Zug zu springen, indem er die "bergauf"-Steigung des Erfolgs verfolgt und den langsamen, schrittweisen Aufstieg komplett überspringt.

Technische Zusammenfassung: Score-Based One-step MeanFlow Policy Optimization (SOM)

1. Problemstellung

Das Reinforcement Learning (RL) in kontinuierlichen Aktionsräumen hat zunehmend generative Modelle wie Diffusion und Flow Matching übernommen, um die Ausdruckskraftbeschränkungen unimodaler Gaußscher Policies zu überwinden. Diese Modelle können komplexe, multimodale Aktionsverteilungen erfassen und ermöglichen so eine reichhaltigere Exploration sowie diverse optimale Verhaltensweisen. Ein kritischer Engpass bleibt jedoch bestehen: Standard-Diffusions- und Flow-Matching-Policies erfordern eine iterative, mehrstufige Denoisierung, um eine einzelne Aktion zu generieren. Dies führt zu erheblichem Rechenaufwand zur Inferenzzeit, was insbesondere im Online-RL nachteilig ist, da die Policy-Inferenz kontinuierlich mit der Datensammlung verflochten ist.

Obwohl MeanFlow als Lösung vorgeschlagen wurde, um das Sampling auf eine einzige Netzwerkauswertung zu reduzieren, indem ein durchschnittliches Geschwindigkeitsfeld gelernt wird, wird die direkte Anwendung auf Online-RL durch eine grundlegende Anforderung behindert: Der Aufbau des Zielgeschwindigkeitsfeldes erfordert typischerweise Stichproben aus der Zielverteilung (der optimalen Policy). Im Online-RL sind diese Ground-Truth-Stichproben nicht verfügbar, da der Agent die Zielverteilung gleichzeitig mit der Policy lernen muss. Bestehende Ansätze, die dies zu umgehen versuchen (z. B. Best-of-N-Sampling), kämpfen oft mit Skalierbarkeitsproblemen, sobald die Aktionsdimensionalität steigt.

2. Methodik

Die Autoren schlagen Score-Based One-step MeanFlow Policy Optimization (SOM) vor, einen Actor-Critic-Algorithmus, der das MeanFlow-Training im vollständig online RL ohne explizite Stichproben aus der Zielverteilung ermöglicht. Die Kerninnovation besteht darin, das Zielgeschwindigkeitsfeld direkt über die Q-Funktion mittels Schätzung des Scores zu konstruieren.

2.1 Zeitabhängige Energiefunktion

Die Methode behandelt die negative Q-Funktion als Energie der Zielverteilung. Im Rahmen eines entropieregulierten RL-Frameworks folgt die optimale Policy einer Boltzmann-Verteilung:
$\pi^*(a|s) \propto \exp(\alpha Q(s, a))$
wobei $\alpha$ ein Temperaturparameter ist. Die Autoren definieren eine zeitabhängige Energiefunktion $Q_t(s, a_t)$ , die diese Boltzmann-Struktur über die Diffusionsschritte $t \in [0, 1]$ hinweg bewahrt. Der Score der Verteilung zu jedem Zeitpunkt $t$ wird abgeleitet als:
$\nabla_{a_t} \log p_t(a_t|s) = \nabla_{a_t} Q_t(s, a_t)$
Wesentlich ist, dass zwar die Berechnung von $Q_t$ in geschlossener Form nicht handhabbar ist, die Methode jedoch nur ihren Gradienten benötigt, der approximiert werden kann.

2.2 Scoreschätzung durch Anpassung von iDEM

Um den Score $\nabla_{a_t} Q_t(s, a_t)$ ohne Zielstichproben zu schätzen, passt SOM den Iterated Denoising Energy Matching (iDEM)-Schätzer an. Anstatt aus der wahren Zielverteilung zu sampeln, sampelt die Methode Kandidatenaktionen aus einem Gaußschen Vorschlag, der um den aktuellen verrauschten Zustand $a_t$ zentriert ist. Diese Kandidaten werden basierend auf ihren Q-Werten neu gewichtet, um die posteriori-Erwartung zu approximieren. Der resultierende Scoreschätzer lautet:
$\nabla_{a_t} Q_t(s, a_t) \approx \nabla_{a_t} \log \sum_{i=1}^K \exp(\alpha Q(s, a^{(i)}_{0|t}))$
wobei $a^{(i)}_{0|t}$ Stichproben aus einer Gaußverteilung sind, die auf $a_t$ konditioniert sind. Dies verzerrt die Aktionsupdates effektiv in Richtung hochbewerteter Regionen, während die Exploration durch das Rauschen aufrechterhalten wird.

2.3 Aufbau des Geschwindigkeitsfeldes

Der geschätzte Score wird in eine Probability Flow ODE (PF-ODE) integriert, um das Zielgeschwindigkeitsfeld herzuleiten. Für eine Varianz-erhaltende (VP) SDE ist das Geschwindigkeitsfeld definiert als:
$v_t(a_t|s) = -\frac{1}{2}\beta(t) \left( a_t + \nabla_{a_t} Q_t(s, a_t) \right)$
Dieses Geschwindigkeitsfeld transportiert Rauschen direkt zu den durch die aktuelle Q-Funktion induzierten hochbewerteten Modi. Die MeanFlow-Policy $u_\theta$ wird dann trainiert, um die MeanFlow-Identität unter Verwendung dieses konstruierten Zielgeschwindigkeitsfeldes zu erfüllen, wobei der Verlust minimiert wird:
$\mathcal{L}(\theta) = \mathbb{E} \left[ \| u_\theta(a_t, r, t, s) - \text{sg}(u^{\text{new}}_{\text{tgt}}) \|^2_2 \right]$
wobei $u^{\text{new}}_{\text{tgt}}$ aus der PF-ODE-Geschwindigkeit abgeleitet ist.

2.4 Implementierungsdetails

Normalisierung: Der Score-Gradient wird auf die Einheitsnorm normalisiert und durch einen einstellbaren Koeffizienten $w$ neu skaliert, um das Training über verschiedene Belohnungsskalen hinweg zu stabilisieren.
Critic-Training: Der Critic wird unter Verwendung eines verteilten Bellman-Ziels mit twin Q-Netzwerken aktualisiert.
Best-of-N (BoN): Obwohl der Hauptbeitrag die scorebasierte Geschwindigkeit ist, integrieren die Autoren BoN-Sampling während der Critic-Aktualisierungen, um das Training zu beschleunigen, indem der Kandidat mit dem höchsten Q-Wert aus mehreren Stichproben für die Schätzung des Zielwerts ausgewählt wird.

3. Hauptbeiträge

Identifikation eines Engpasses: Das Papier identifiziert das Fehlen von Stichproben aus der Zielverteilung als die primäre Hürde für die Anwendung von MeanFlow im Online-RL.
Scorebasierte Geschwindigkeitskonstruktion: Es wird eine neuartige Methode vorgeschlagen, um das Zielgeschwindigkeitsfeld direkt aus Q-Funktionsgradienten zu konstruieren und so die Notwendigkeit expliziter Zielstichproben zu umgehen.
SOM-Algorithmus: Die Einführung von SOM, einem Actor-Critic-Algorithmus, der MeanFlow mit Online-RL integriert und ausdrucksstarkes Policy-Lernen mit einstufigem Aktions-Sampling ermöglicht.
Empirische Validierung: Der Nachweis, dass SOM auf Lokomotionsaufgaben State-of-the-Art-Leistung erzielt und gleichzeitig die Trainings- und Inferenzzeit im Vergleich zu iterativen Diffusions- und Flow-Matching-Baselines erheblich reduziert.

4. Experimentelle Ergebnisse

Die Autoren evaluierten SOM auf neun MuJoCo v4 kontinuierlichen Kontrollaufgaben (einschließlich Ant, HalfCheetah, Hopper, Humanoid, Walker2d, Swimmer, Pusher, Reacher und InvertedDoublePendulum).

Leistung: SOM erzielte die höchste mittlere Rückkehr auf vier von fünf Lokomotions-Benchmarks und die zweithöchste auf Hopper-v4. Die Verbesserung war am deutlichsten bei Humanoid-v4 (hohe Aktionsdimensionalität), wo SOM die zweitbeste Methode mit deutlicher Marge übertraf, was darauf hindeutet, dass der gradientenbasierte Ansatz günstig mit der Dimension skaliert.
Effizienz: Wie in Tabelle 2 gezeigt, erreicht SOM eine einstufige Inferenzzeit von 0,218 ms auf HalfCheetah-v4, verglichen mit 0,6–1,5 ms für iterative Baselines (die 10–100 Denoisingschritte erfordern). Auch die Trainingszeit wird erheblich reduziert.
Policy-Analyse: Visualisierungen (t-SNE und Q-Landschaften) zeigen, dass SOM Aktionsstichproben eng um hochbewertete Q-Modi konzentriert, während konkurrierende einstufige Methoden (wie MFP) dazu neigen, in einzelne Modi zu kollabieren oder diffus verteilt zu sein.
Robustheit: Experimente mit verrauschten Q-Funktionen zeigten, dass der durch Gaußsche Glättung modifizierte Scoreschätzer in SOM robust bleibt, grobe Critic-Fehler effektiv ausmittelt und gleichzeitig die lokale Struktur in der Nähe hochbewerteter Modi erhält.

5. Bedeutung und Behauptungen

Das Papier behauptet, dass SOM die Spannung zwischen der Ausdruckskraft generativer Policies und den rechnerischen Einschränkungen des Online-RL auflöst. Indem SOM das Zielgeschwindigkeitsfeld direkt aus der Q-Funktion ableitet, ermöglicht es, dass MeanFlow-Policies in vollständig online Umgebungen trainiert werden, in denen Zielstichproben nicht verfügbar sind.

Die Autoren betonen, dass SOM State-of-the-Art-Leistung mit einem einzelnen Generierungsschritt erreicht und eine praktische Lösung für Echtzeit-Kontrollanwendungen bietet, bei denen die Inferenz-Latenz kritisch ist. Sie weisen darauf hin, dass die Methode derzeit auf kontinuierliche Kontrollaufgaben (MuJoCo) beschränkt ist und von der Qualität des gelernten Critics abhängt, aber einen bedeutenden Schritt hin zu effizienter, ausdrucksstarker Policy-Optimierung darstellt. Die Arbeit legt nahe, dass zukünftige Richtungen die Erweiterung von SOM auf höherdimensionale oder teilweise beobachtbare Settings (z. B. visuelle Kontrolle) und die Integration fortschrittlicher, unsicherheitsbewusster Critics umfassen.