Technische Zusammenfassung: Stochastische MeanFlow-Richtlinien (SMFP)

1. Problemstellung

Online off-policy Reinforcement Learning (RL) für hochdimensionale kontinuierliche Steuerung steht vor einem fundamentalen Zielkonflikt zwischen Policy-Expressivität und Optimierbarkeit.

• Policy-Repräsentation: Standard-Gaussian-Policies bieten schnelle Inferenz und handhabbare Entropieschätzung, versagen jedoch bei der Modellierung komplexer, multimodaler Aktionsverteilungen. Im Gegensatz dazu bieten generative Policies (z. B. Diffusions- oder Flow-basierte) eine reiche multimodale Expressivität, leiden jedoch unter nicht handhabbaren Likelihoods, schwieriger Entropieschätzung und hoher Inferenz-Latenz aufgrund iterativer Sampling-Verfahren.
• Optimierungsmethodik: Es besteht eine Spannung zwischen entropie-regulierter Exploration (z. B. Soft Actor-Critic, SAC), die eine breite Exploration fördert, aber zu Instabilität führen kann, und Mirror-Descent (MD)-Updates, die stabile, konservative Policy-Verbesserungen sicherstellen, indem Updates so eingeschränkt werden, dass sie nahe an der vorherigen Policy bleiben.
• Der Kernkonflikt: Die Kombination von SAC-artiger Entropiemaximierung mit MD-Beschränkungen erzeugt eine multimodale Zielverteilung (eine Komposition aus einer wertinduzierten Boltzmann-Verteilung und der vorherigen Policy). Standard-einmodale Gaussian-Policies können diese Zielverteilung nicht darstellen, was zu einem Repräsentationsmismatch führt. Während expressive generative Policies theoretisch diese Lücke schließen könnten, fehlt ihnen typischerweise ein handhabbarer Mechanismus zur expliziten Entropiekontrolle, was die Kombination von entropiegetriebener Exploration und Mirror-Descent-Stabilität praktisch undurchführbar macht.

2. Methodik: Stochastische MeanFlow-Richtlinien (SMFP)

Die Autoren schlagen Stochastic MeanFlow Policies (SMFP) vor, ein einstufiges generatives Policy-Framework, das entwickelt wurde, um die oben genannten Konflikte zu lösen, indem es MeanFlow-basierte Noise-to-Action-Mappings mit Gaussian-Reparametrisierung kombiniert.

2.1 Stochastische Reparametrisierung

SMFP reformuliert die deterministische MeanFlow-Identität in eine stochastische Abbildung. Anstelle eines rein deterministischen Geschwindigkeitsfeldes sagt die Policy $g_\theta$ sowohl eine mittlere Aktion als auch eine bedingte Standardabweichung voraus:
$$g_\theta(a_t, b, t) = \underbrace{a_t - u_\theta(a_t, b, t)}_{\text{Mittelwert } \mu} + \underbrace{\sigma_\theta(a_t, b, t) \odot \epsilon}_{\text{Stochastik } \sigma}$$
wobei $a_t$ die Interpolation zwischen Noise und Aktion ist, $u_\theta$ die gelernte durchschnittliche Geschwindigkeit darstellt und $\epsilon$ standardnormalverteiltes Gaussian-Noise ist. Diese Struktur ermöglicht es der Policy, Aktionen in einem einzelnen Vorwärtsdurchlauf (einstufige Inferenz) auszugeben, während eine bedingte Gaussian-Verteilung beibehalten wird.

2.2 Handhabbarer Entropie-Surrogat

Eine zentrale Innovation ist die Herleitung eines handhabbaren Entropie-Surrogats. Da die marginale Entropie der generativen Policy nicht handhabbar ist, maximiert SMFP eine untere Schranke basierend auf der bedingten Entropie gegeben das latente Noise $e$.

• Das Ziel verwendet den erwarteten Log-Standardabweichungswert der vorhergesagten Gaussian: $\mathbb{E}[\sum \log \sigma^{(i)}_\theta]$.
• Um Varianzkollaps zu verhindern, ohne unbeschränktes Entropiewachstum zu erzwingen, wird ein Hinge-artiger Entropie-Regularisierer angewendet. Dieser aktiviert nur, wenn der normalisierte Log-Standardabweichungswert unter einen Schwellenwert $\kappa_\sigma$ fällt, und stellt so eine minimale Noise-Skala für die Exploration sicher.

2.3 Off-Policy Mirror-Descent-Optimierung

SMFP integriert diese Entropiekontrolle mit off-policy Mirror Descent. Das Optimierungsziel kombiniert:

1. Wertmaximierung: Standard Q-Learning-Verlust.
2. Entropieregulierung: Das oben beschriebene handhabbare bedingte Entropie-Surrogat.
3. Mirror-Descent-Beschränkung: Ein KL-Divergenz-Term, der das Update an die vorherige Policy $\pi_{\theta_{old}}$ ankernt.

Da die Zielverteilung für Mirror Descent nicht-parametrisch und nicht normalisiert ist, verwendet SMFP einen gewichteten Regressionsansatz. Es sampelt Aktionen aus der vorherigen Policy und gewichtet sie mit einem advantage-basierten Term (approximiert als $\max(0, Q(s,a) - V(s))$), um die generative Policy auf das optimale Ziel zu projizieren. Dies vermeidet die Notwendigkeit einer expliziten Dichtebewertung des Ziels.

2.4 Wertgeführte Aktionsauswahl

Um die Varianz weiter zu reduzieren, nutzt SMFP Best-of-K-Sampling. Für einen gegebenen Zustand werden $K$ Aktionskandidaten parallel generiert (unter Verwendung von JAX vmap), und die Aktion mit dem höchsten Q-Wert wird ausgewählt. Dies fungiert als leichter Ablehnungsfilter mit vernachlässigbarem Inferenz-Overhead.

3. Hauptbeiträge

1. SMFP-Architektur: Die Einführung einer einstufigen stochastischen generativen Policy, die MeanFlow-Expressivität mit Gaussian-Reparametrisierung kombiniert, was einstufige Inferenz ermöglicht und gleichzeitig explizite Entropiekontrolle unterstützt.
2. Handhabbare Entropiekontrolle: Die Herleitung einer unteren Schranke für die bedingte Entropie, die entropie-reguliertes Mirror-Descent-RL mit generativen Policies erstmals praktisch wirksam macht.
3. Einheitliches Ziel: Eine einheitliche Verlustfunktion, die entropiegetriebene Exploration, wertgewichteten Mirror Descent und einstufige generative Inferenz gemeinsam optimiert und den Repräsentationsmismatch zwischen multimodalen Zielen und einmodalen Policies auflöst.
4. Empirische Validierung: Der Nachweis, dass die Kombination von SAC-artiger Exploration mit Mirror Descent vorteilhaft ist, wenn sie durch expressive generative Policies unterstützt wird, im Gegensatz zu Ergebnissen in rein Gaussian-basierten Settings.

4. Experimentelle Ergebnisse

Die Autoren bewerteten SMFP an sieben MuJoCo kontinuierlichen Steuerungs-Benchmarks (Hopper, Walker2D, Ant, HalfCheetah, Humanoid, HumanoidStandup, Swimmer) über 30 zufällige Seeds.

• Leistung: SMFP erzielte die beste aggregierte Leistung über alle Benchmarks hinweg und übertraf sowohl klassische Gaussian-Baselines (PPO, TD3, SAC) als auch state-of-the-art generative Baselines (Diffusionsbasiert wie DIME, QVPO; Flow-basiert wie SAC Flow, FPMD).
• Effizienz: Im Gegensatz zu iterativen Diffusions-Policies, die 16–20 Sampling-Schritte erfordern, behält SMFP einstufige Inferenz (NFE=1) bei. Auf einer NVIDIA RTX 5090 erreichte SMFP starke Leistung mit vernachlässigbarer Inferenz-Latenz (0,42 ms), vergleichbar mit Standard-Gaussian-Policies und deutlich schneller als iterative generative Methoden.
• Ablationsstudien:
  • Das Entfernen des Entropie-Regularisierers verschlechterte die Leistung und bestätigte die Notwendigkeit stochastischer Exploration.
  • Das Entfernen des Mirror-Descent-Terms reduzierte die Stabilität, insbesondere bei hochdimensionalen Aufgaben wie Humanoid.
  • Die Methode zeigte Robustheit gegenüber Hyperparameter-Variationen in der Entropietemperatur ($\alpha$) und dem Mirror-Descent-Koeffizienten ($\lambda$).

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass SMFP einen bedeutenden Schritt nach vorne im Online off-policy RL darstellt, indem sie erfolgreich die Lücke zwischen expressiver generativer Modellierung und stabiler, entropie-regulierter Optimierung schließt.

• Praktische Wirksamkeit: Die Autoren stellen fest, dass SMFP „entropie-reguliertes Mirror-Descent-RL erstmals praktisch wirksam macht". Frühere Versuche, diese Ziele zu kombinieren, scheiterten unter Gaussian-Parametrisierungen aufgrund der Unfähigkeit, multimodale Ziele darzustellen; SMFP überwindet dies durch seine generative Natur.
• Ausgewogener Zielkonflikt: Die Arbeit zeigt, dass es möglich ist, die multimodale Expressivität generativer Policies und die Stabilität von Mirror Descent beizubehalten, ohne die für Echtzeitsteuerung erforderliche Inferenzgeschwindigkeit zu opfern.
• Limitationen: Die Autoren vermerken bescheiden, dass das handhabbare Surrogat spezifisch auf der reparametrisierten Struktur von MeanFlow beruht. Die Erweiterung auf andere generative Klassen könnte neue Entropieschranken erfordern. Zudem verwendet die aktuelle Implementierung feste Hyperparameter für $\alpha$ und $\lambda$, wobei adaptive Gewichtungsschemata als zukünftige Arbeit offen bleiben.

Zusammenfassend bietet SMFP ein prinzipielles Framework, in dem die komplementären Vorteile expressiver generativer Policies und effizienter Gaussian-basierter Entropiekontrolle erhalten bleiben, was stabiles und hochleistungsfähiges Online-RL in komplexen kontinuierlichen Domänen ermöglicht.