Technische Samenvatting: Stochastische MeanFlow-beleid (SMFP)

1. Probleemstelling

Online off-policy versterkende leer (RL) voor hoogdimensionale continue besturing staat voor een fundamentele afweging tussen beleidsuitdrukkingsvermogen en optimalisatiehaalbaarheid.

• Beleidrepresentatie: Standaard Gaussische beleidsregels bieden snelle inferentie en haalbare entropie-schatting, maar falen in het modelleren van complexe, multimodale actie-distributies. Omgekeerd bieden generatieve beleidsregels (bijvoorbeeld op basis van diffusie of stroming) rijke multimodale uitdrukkingsvermogen, maar lijden ze onder niet-haalbare waarschijnlijkheidsfuncties, moeilijke entropie-schatting en hoge inferentie-latentie door iteratief bemonsteren.
• Optimalisatiemethodologie: Er is een spanning tussen entropie-geregulariseerde exploratie (bijvoorbeeld Soft Actor-Critic, SAC), die brede exploratie bevordert maar tot instabiliteit kan leiden, en mirror descent (MD)-updates, die stabiele, conservatieve beleidsverbeteringen garanderen door updates te beperken zodat ze dicht bij het vorige beleid blijven.
• Het Kernconflict: Het combineren van SAC-stijl entropiemaximalisatie met MD-beperkingen creëert een multimodale doeldistributie (een compositie van een waarde-geïnduceerde Boltzmann-distributie en het vorige beleid). Standaard unimodale Gaussische beleidsregels kunnen deze doelstelling niet weergeven, wat leidt tot een representatiemismatch. Hoewel expressieve generatieve beleidsregels deze kloof theoretisch zouden kunnen overbruggen, missen ze doorgaans een haalbaar mechanisme voor expliciete entropiecontrole, waardoor de combinatie van entropie-gedreven exploratie en mirror-descent-stabiliteit in de praktijk onuitvoerbaar is.

2. Methodologie: Stochastische MeanFlow-beleid (SMFP)

De auteurs stellen Stochastische MeanFlow-beleid (SMFP) voor, een generatief beleidskader in één stap dat is ontworpen om bovenstaande conflicten op te lossen door MeanFlow-gebaseerde mapping van ruis naar actie te combineren met Gaussische herparameterisatie.

2.1 Stochastische Herparameterisatie

SMFP reformuleert de deterministische MeanFlow-identiteit tot een stochastische mapping. In plaats van een puur deterministisch snelheidsveld, voorspelt het beleid $g_\theta$ zowel een gemiddelde actie als een conditionele standaardafwijking:
$$g_\theta(a_t, b, t) = \underbrace{a_t - u_\theta(a_t, b, t)}_{\text{Gemiddelde } \mu} + \underbrace{\sigma_\theta(a_t, b, t) \odot \epsilon}_{\text{Stochasticiteit } \sigma}$$
waarbij $a_t$ de interpolatie is tussen ruis en actie, $u_\theta$ de geleerde gemiddelde snelheid is, en $\epsilon$ standaard Gaussische ruis is. Deze structuur stelt het beleid in staat om acties in één forward pass (inferentie in één stap) te outputten, terwijl het een conditionele Gaussische distributie behoudt.

2.2 Haalbare Entropie-Proxy

Een belangrijke innovatie is de afleiding van een haalbare entropie-proxy. Aangezien de marginale entropie van het generatieve beleid niet haalbaar is, maximaliseert SMFP een ondergrens gebaseerd op de conditionele entropie gegeven de latente ruis $e$.

• De doelstelling gebruikt de verwachte log-standaardafwijking van het voorspelde Gaussische: $\mathbb{E}[\sum \log \sigma^{(i)}_\theta]$.
• Om variancesinstorting te voorkomen zonder onbeperkte entropiegroei te veroorzaken, wordt een hinge-stijl entropie-regularisator toegepast. Deze activeert alleen wanneer de genormaliseerde log-standaardafwijking onder een drempelwaarde $\kappa_\sigma$ valt, waardoor een minimale ruisschaal voor exploratie wordt gewaarborgd.

2.3 Off-Policy Mirror Descent Optimalisatie

SMFP integreert deze entropiecontrole met off-policy mirror descent. De optimalisatiedoelstelling combineert:

1. Waarde-maximalisatie: Standaard Q-learning-verlies.
2. Entropie-regularisatie: De hierboven beschreven haalbare conditionele entropie-proxy.
3. Mirror Descent-beperking: Een KL-divergentie-term die de update verankert aan het vorige beleid $\pi_{\theta_{old}}$.

Aangezien de doeldistributie voor mirror descent niet-parametrisch en niet-genormaliseerd is, hanteert SMFP een gewogen regressie-benadering. Het bemonsterd acties uit het vorige beleid en weegt deze met een op voordeel gebaseerde term (benaderd als $\max(0, Q(s,a) - V(s))$) om het generatieve beleid te projecteren op de optimale doelstelling. Dit vermijdt de noodzaak voor expliciete dichtheidsbeoordeling van de doelstelling.

2.4 Waarde-gestuurde Actiekeuze

Om de variantie verder te verminderen, maakt SMFP gebruik van Best-of-K-bemonstering. Voor een gegeven toestand worden $K$ actiekandidaten parallel gegenereerd (met behulp van JAX vmap), en wordt de actie met de hoogste Q-waarde geselecteerd. Dit fungeert als een lichtgewicht afwijzingsfilter met verwaarloosbare inferentie-overhead.

3. Belangrijkste Bijdragen

1. SMFP-architectuur: De introductie van een stochastisch generatief beleid in één stap dat MeanFlow-uitdrukkingsvermogen combineert met Gaussische herparameterisatie, waardoor inferentie in één stap mogelijk is terwijl expliciete entropiecontrole wordt ondersteund.
2. Haalbare Entropiecontrole: De afleiding van een ondergrens voor conditionele entropie die entropie-geregulariseerde mirror-descent-RL voor het eerst praktisch effectief maakt voor generatieve beleidsregels.
3. Gefuseerde Doelstelling: Een gefuseerde verliesfunctie die gezamenlijk entropie-gedreven exploratie, waarde-gewogen mirror descent en generatieve inferentie in één stap optimaliseert, waardoor de representatiemismatch tussen multimodale doelstellingen en unimodale beleidsregels wordt opgelost.
4. Empirische Validatie: Aantonen dat het combineren van SAC-stijl exploratie met mirror descent voordelig is wanneer dit wordt ondersteund door expressieve generatieve beleidsregels, in tegenstelling tot bevindingen in uitsluitend Gaussische settings.

4. Experimentele Resultaten

De auteurs hebben SMFP geëvalueerd op zeven MuJoCo-benchmarks voor continue besturing (Hopper, Walker2D, Ant, HalfCheetah, Humanoid, HumanoidStandup, Swimmer) over 30 willekeurige zaden.

• Prestaties: SMFP behaalde de beste geaggregeerde prestaties over alle benchmarks, en presteerde beter dan zowel klassieke Gaussische baselines (PPO, TD3, SAC) als state-of-the-art generatieve baselines (Diffusie-gebaseerd zoals DIME, QVPO; Stroming-gebaseerd zoals SAC Flow, FPMD).
• Efficiëntie: In tegenstelling tot iteratieve diffusiebeleid die 16–20 bemonsteringsstappen vereisen, behoudt SMFP inferentie in één stap (NFE=1). Op een NVIDIA RTX 5090 behaalde SMFP sterke prestaties met verwaarloosbare inferentie-latentie (0,42 ms), vergelijkbaar met standaard Gaussische beleidsregels en aanzienlijk sneller dan iteratieve generatieve methoden.
• Ablatiestudies:
  • Het verwijderen van de entropie-regularisator verslechterde de prestaties, wat de noodzaak bevestigt van stochastische exploratie.
  • Het verwijderen van de mirror-descent-term verminderde de stabiliteit, met name in hoogdimensionale taken zoals Humanoid.
  • De methode toonde robustheid tegen variaties in hyperparameters voor de entropietemperatuur ($\alpha$) en de mirror-descent-coëfficiënt ($\lambda$).

5. Betekenis en Beweringen

Het artikel beweert dat SMFP een belangrijke stap voorwaarts is in online off-policy RL door de kloof succesvol te overbruggen tussen expressieve generatieve modellering en stabiele, entropie-geregulariseerde optimalisatie.

• Praktische Effectiviteit: De auteurs stellen dat SMFP "entropie-geregulariseerde mirror-descent-RL voor het eerst praktisch effectief maakt". Eerdere pogingen om deze doelstellingen te combineren faalden onder Gaussische parameterisaties vanwege het onvermogen om multimodale doelstellingen weer te geven; SMFP overwint dit door zijn generatieve aard.
• Gebalanceerde Afweging: Het werk toont aan dat het mogelijk is om het multimodale uitdrukkingsvermogen van generatieve beleidsregels en de stabiliteit van mirror descent te behouden zonder de voor real-time besturing vereiste inferentiesnelheid op te offeren.
• Beperkingen: De auteurs merken bescheiden op dat de haalbare proxy specifiek afhankelijk is van de herparameteriseerde structuur van MeanFlow. Het uitbreiden hiervan naar andere generatieve klassen vereist mogelijk nieuwe entropiegrenzen. Bovendien maakt de huidige implementatie gebruik van vaste hyperparameters voor $\alpha$ en $\lambda$, waardoor adaptieve wegingsschema's als toekomstig werk achterblijven.

Kortom, SMFP biedt een principieel kader waarin de complementaire voordelen van expressieve generatieve beleidsregels en efficiënte, op Gaussische gebaseerde entropiecontrole behouden blijven, waardoor stabiele en hoogpresterende online RL in complexe continue domeinen mogelijk wordt.