Résumé technique : Politiques Stochastiques MeanFlow (SMFP)

1. Énoncé du problème

L'apprentissage par renforcement (RL) hors ligne en ligne pour le contrôle continu de haute dimension fait face à un compromis fondamental entre l'expressivité de la politique et la faisabilité de l'optimisation.

• Représentation de la politique : Les politiques gaussiennes standard offrent une inférence rapide et une estimation de l'entropie traitable, mais échouent à modéliser des distributions d'actions complexes et multimodales. À l'inverse, les politiques génératives (par exemple, basées sur la diffusion ou les flots) fournissent une riche expressivité multimodale, mais souffrent de vraisemblances intraitables, d'une estimation difficile de l'entropie et d'une latence d'inférence élevée due à l'échantillonnage itératif.
• Méthodologie d'optimisation : Il existe une tension entre l'exploration régularisée par l'entropie (par exemple, Soft Actor-Critic, SAC), qui favorise une exploration large mais peut entraîner une instabilité, et les mises à jour de descente de miroir (MD), qui assurent des améliorations de politique stables et conservatrices en contraignant les mises à jour à rester proches de la politique précédente.
• Le conflit central : Combiner la maximisation de l'entropie de style SAC avec des contraintes de MD crée une distribution cible multimodale (un composite d'une distribution de Boltzmann induite par la valeur et de la politique précédente). Les politiques gaussiennes unimodales standard ne peuvent pas représenter cette cible, conduisant à un décalage de représentation. Bien que les politiques génératives expressives puissent théoriquement combler ce fossé, elles manquent généralement d'un mécanisme traitable pour le contrôle explicite de l'entropie, rendant la combinaison de l'exploration pilotée par l'entropie et de la stabilité de la descente de miroir pratiquement irréalisable.

2. Méthodologie : Politiques Stochastiques MeanFlow (SMFP)

Les auteurs proposent les Politiques Stochastiques MeanFlow (SMFP), un cadre de politique générative en une étape conçu pour résoudre les conflits ci-dessus en combinant des mappings bruit-action basés sur MeanFlow avec une reparamétrisation gaussienne.

2.1 Reparamétrisation stochastique

SMFP reformule l'identité déterministe MeanFlow en un mapping stochastique. Au lieu d'un champ de vitesse purement déterministe, la politique $g_\theta$ prédit à la fois une action moyenne et un écart-type conditionnel :
$$g_\theta(a_t, b, t) = \underbrace{a_t - u_\theta(a_t, b, t)}_{\text{Moyenne } \mu} + \underbrace{\sigma_\theta(a_t, b, t) \odot \epsilon}_{\text{Stochasticité } \sigma}$$
où $a_t$ est l'interpolation entre le bruit et l'action, $u_\theta$ est la vitesse moyenne apprise, et $\epsilon$ est un bruit gaussien standard. Cette structure permet à la politique de produire des actions en un seul passage avant (inférence en une étape) tout en maintenant une distribution gaussienne conditionnelle.

2.2 Surrogat d'entropie traitable

Une innovation clé est la dérivation d'un surrogat d'entropie traitable. Puisque l'entropie marginale de la politique générative est intraitable, SMFP maximise une borne inférieure basée sur l'entropie conditionnelle étant donné le bruit latent $e$.

• L'objectif utilise l'espérance du logarithme de l'écart-type prédit de la gaussienne : $\mathbb{E}[\sum \log \sigma^{(i)}_\theta]$.
• Pour éviter l'effondrement de la variance sans entraîner une croissance illimitée de l'entropie, un régularisateur d'entropie de type charnière est appliqué. Il s'active uniquement lorsque le logarithme normalisé de l'écart-type tombe en dessous d'un seuil $\kappa_\sigma$, assurant une échelle de bruit minimale pour l'exploration.

2.3 Optimisation par descente de miroir hors ligne

SMFP intègre ce contrôle d'entropie avec une descente de miroir hors ligne. L'objectif d'optimisation combine :

1. Maximisation de la valeur : Perte standard d'apprentissage Q.
2. Régularisation par l'entropie : Le surrogat d'entropie conditionnelle traitable décrit ci-dessus.
3. Contrainte de descente de miroir : Un terme de divergence KL ancrant la mise à jour à la politique précédente $\pi_{\theta_{old}}$.

Puisque la distribution cible pour la descente de miroir est non paramétrique et non normalisée, SMFP emploie une approche de régression pondérée. Il échantillonne des actions depuis la politique précédente et les pondère par un terme basé sur l'avantage (approximé comme $\max(0, Q(s,a) - V(s))$) pour projeter la politique générative sur la cible optimale. Cela évite le besoin d'une évaluation explicite de la densité de la cible.

2.4 Sélection d'actions guidée par la valeur

Pour réduire davantage la variance, SMFP utilise un échantillonnage Best-of-K. Pour un état donné, $K$ candidats d'actions sont générés en parallèle (en utilisant vmap JAX), et l'action ayant la valeur Q la plus élevée est sélectionnée. Cela agit comme un filtre de rejet léger avec une surcharge d'inférence négligeable.

3. Contributions clés

1. Architecture SMFP : L'introduction d'une politique générative stochastique en une étape qui combine l'expressivité MeanFlow avec une reparamétrisation gaussienne, permettant une inférence en une étape tout en supportant un contrôle explicite de l'entropie.
2. Contrôle d'entropie traitable : La dérivation d'une borne inférieure d'entropie conditionnelle qui rend le RL par descente de miroir régularisé par l'entropie pratiquement efficace pour la première fois avec des politiques génératives.
3. Objectif unifié : Une fonction de perte unifiée qui optimise conjointement l'exploration pilotée par l'entropie, la descente de miroir pondérée par la valeur et l'inférence générative en une étape, résolvant le décalage de représentation entre les cibles multimodales et les politiques unimodales.
4. Validation empirique : Démonstration que la combinaison de l'exploration de style SAC avec la descente de miroir est bénéfique lorsqu'elle est soutenue par des politiques génératives expressives, contrairement aux résultats dans des paramètres purement gaussiens.

4. Résultats expérimentaux

Les auteurs ont évalué SMFP sur sept benchmarks de contrôle continu MuJoCo (Hopper, Walker2D, Ant, HalfCheetah, Humanoid, HumanoidStandup, Swimmer) sur 30 graines aléatoires.

• Performance : SMFP a obtenu la meilleure performance agrégée sur tous les benchmarks, surpassant à la fois les baselines gaussiennes classiques (PPO, TD3, SAC) et les baselines génératives de l'état de l'art (basées sur la diffusion comme DIME, QVPO ; basées sur les flots comme SAC Flow, FPMD).
• Efficacité : Contrairement aux politiques de diffusion itératives qui nécessitent 16 à 20 étapes d'échantillonnage, SMFP maintient une inférence en une seule étape (NFE=1). Sur une NVIDIA RTX 5090, SMFP a obtenu de fortes performances avec une latence d'inférence négligeable (0,42 ms), comparable aux politiques gaussiennes standard et significativement plus rapide que les méthodes génératives itératives.
• Études d'ablation :
  • La suppression du régularisateur d'entropie a dégradé les performances, confirmant la nécessité d'une exploration stochastique.
  • La suppression du terme de descente de miroir a réduit la stabilité, en particulier dans les tâches de haute dimension comme Humanoid.
  • La méthode a montré une robustesse aux variations d'hyperparamètres de la température d'entropie ($\alpha$) et du coefficient de descente de miroir ($\lambda$).

5. Signification et affirmations

L'article affirme que SMFP représente une avancée significative dans le RL hors ligne en ligne en comblant avec succès le fossé entre la modélisation générative expressive et l'optimisation stable régularisée par l'entropie.

• Efficacité pratique : Les auteurs affirment que SMFP rend « le RL par descente de miroir régularisé par l'entropie pratiquement efficace pour la première fois ». Les tentatives précédentes de combiner ces objectifs ont échoué sous des paramétrisations gaussiennes en raison de l'incapacité à représenter des cibles multimodales ; SMFP surmonte cela grâce à sa nature générative.
• Compromis équilibré : Ce travail démontre qu'il est possible de conserver l'expressivité multimodale des politiques génératives et la stabilité de la descente de miroir sans sacrifier la vitesse d'inférence requise pour le contrôle en temps réel.
• Limites : Les auteurs notent modestement que le surrogat traitable repose spécifiquement sur la structure reparamétrisée de MeanFlow. Étendre cela à d'autres classes génératives pourrait nécessiter de nouvelles bornes d'entropie. De plus, l'implémentation actuelle utilise des hyperparamètres fixes pour $\alpha$ et $\lambda$, laissant les schémas de pondération adaptative comme travail futur.

En résumé, SMFP fournit un cadre principé où les avantages complémentaires des politiques génératives expressives et du contrôle d'entropie efficace basé sur Gaussien sont préservés, permettant un RL en ligne stable et performant dans des domaines continus complexes.