Résumé Technique : Acteur-Critique Génératif avec Politiques de Pont Doux

Énoncé du Problème

L'apprentissage par renforcement (RL) en ligne à entropie maximale (MaxEnt) est une approche dominante pour le contrôle continu hors politique, équilibrant la maximisation de la valeur avec une stochasticité explicite. Bien que l'Acteur-Critique Doux (SAC) standard repose sur des politiques gaussiennes traitables, des problèmes de contrôle complexes nécessitent souvent des distributions d'actions multimodales ou hautement non gaussiennes. Les politiques génératives expressives (par exemple, modèles de diffusion et de flot) offrent une solution mais font face à deux obstacles critiques lorsqu'elles sont appliquées au RL MaxEnt :

1. Entropie Intraitable : Les mises à jour MaxEnt nécessitent la densité de point final de la politique ou un régularisateur équivalent. Pour les acteurs génératifs, la densité marginale d'action est souvent indisponible ou coûteuse à calculer car l'action est obtenue en marginalisant sur des chemins latents. Les méthodes existantes recourent à des bornes d'entropie, des proxies heuristiques ou des approximations, créant un lien indirect avec l'objectif MaxEnt.
2. Coût Computationsnel : Les politiques génératives haute performance utilisent souvent des échantillonneurs itératifs (par exemple, diffusion avec de nombreuses étapes de débruitage) qui réutilisent des paramètres de réseau partagés. Cela augmente les coûts d'inférence au déploiement et, crucialement, accroît les coûts d'entraînement. Lors des mises à jour de l'acteur, la rétropropagation à travers le temps (BPTT) doit traverser chaque étape de raffinement, augmentant l'utilisation de la mémoire et déstabilisant l'optimisation. Réduire le nombre d'évaluations de fonction (NFE) diminue le coût mais provoque souvent une chute brutale des performances.

L'article cherche un acteur génératif qui conserve l'expressivité de la génération stochastique latente tout en exposant un objectif MaxEnt traitable et en évitant la charge computationnelle des échantillonneurs à paramètres partagés et à long terme.

Méthodologie : SoftGAC

Les auteurs proposent SoftGAC (Acteur-Critique Génératif Doux), une méthode qui élève l'objectif MaxEnt de la distribution d'action terminale vers le chemin complet de génération latente.

1. Objectif Doux dans l'Espace des Chemins

Au lieu d'optimiser l'entropie de l'action finale $a$, SoftGAC optimise un objectif dans l'espace des chemins sur la trajectoire latente $\tau = (z_0, \dots, z_K)$. L'objectif est défini comme suit :
$$J_{path}(P_\theta | s) = \mathbb{E}_{\tau \sim P_\theta} [Q(s, T(z_K))] - \alpha D_{KL}(P_\theta(\cdot|s) \| R)$$
où $R$ est une loi de chemin de référence à haute entropie.

• Fondement Théorique : Les auteurs prouvent que la divergence KL de chemin se décompose en un terme KL de point final (récupérant le régularisateur MaxEnt standard) et un terme de chemin conditionnel. Cette entropie relative au niveau du chemin agit comme un régularisateur plus strict qui contrôle comment l'acteur atteint l'action terminale, et non seulement la distribution de l'action elle-même.
• Contrainte de Base Fixe : En pratique, l'acteur part d'une distribution latente de base fixe $p_0$. L'analyse théorique montre que bien qu'une base fixe introduise un écart constant par rapport à l'optimum non restreint, elle ne brise pas le problème variationnel ; elle agit simplement comme un biais inductif.

2. Politiques de Pont Doux

Pour rendre la KL de chemin traitable et computationnellement efficace, SoftGAC emploie une politique de pont doux :

• Architecture : L'acteur est une chaîne de Markov finie dans l'espace latent pré-tanh. Il part d'une loi de base fixe (distribution logistique) et applique $K$ transitions résiduelles gaussiennes légères et spécifiques à l'étape pour atteindre un latent terminal $z_K$.
• Conception en Passage Unique : Contrairement aux modèles de diffusion qui réutilisent un seul réseau pour $K$ étapes, SoftGAC utilise $K$ blocs de transition distincts. Cela permet la génération d'actions via un passage avant échantillonné unique à travers le réseau, évitant l'échantillonnage itératif et les graphes BPTT longs.
• Processus de Référence : Le pont de référence $R$ est défini en utilisant une base logistique et un noyau gaussien d'Euler dérivé du score de la densité pré-tanh qui mappe vers une distribution d'actions uniforme.
• Régularisateur Traitables : Puisque les transitions de l'acteur et de la référence sont gaussiennes, la divergence KL de chemin se factorise en une somme de termes KL locaux. Cette somme, notée Énergie de Contrôle $C_\theta(s, \tau)$, est calculable analytiquement.
  $$D_{KL}(P_\theta \| R) = D_{KL}(p_0 \| r_0) + \mathbb{E}[C_\theta(s, \tau)]$$
  La mise à jour de l'acteur minimise $\alpha C_\theta(s, \tau) - Q(s, a)$, échangeant efficacement la valeur contre l'énergie de contrôle de transition échantillonnée.

3. Algorithme d'Entraînement

SoftGAC suit une boucle acteur-critique hors politique :

• Critique : Met à jour une fonction de valeur douce $Q$ en utilisant des cibles qui incluent l'énergie de contrôle échantillonnée du chemin de l'état suivant : $y = r + \gamma(Q_{min}(s', a') - \alpha C_{\bar{\theta}}(s', \tau'))$.
• Acteur : Met à jour les paramètres pour minimiser l'énergie de contrôle échantillonnée tout en maximisant la valeur Q.
• Réglage de la Température : Une mise à jour duale ajuste $\alpha$ pour maintenir l'énergie de contrôle moyenne près d'un budget cible $\rho_{ctrl} K d_a$.

Contributions Clés

1. Formulation dans l'Espace des Chemins : Les auteurs formulent un objectif doux dans l'espace des chemins pour les acteurs génératifs, démontrant qu'il contient le régularisateur KL de point final comme composante marginale et caractérise l'effet de l'utilisation d'une base d'acteur fixe.
2. Conception de Politique de Pont Doux : Ils conçoivent une architecture de politique spécifique utilisant une courte séquence de transitions gaussiennes locales dans l'espace pré-tanh. Cela rend le régularisateur au niveau du chemin exactement calculable comme une énergie de contrôle à étapes finies, permettant une mise à jour directe de l'acteur avec génération d'actions via un passage échantillonné unique.
3. Compromis Calcul-Rendement : Les expériences démontrent que SoftGAC atteint des rendements supérieurs ou compétitifs par rapport à de solides bases génératives (diffusion et appariement de flot) tout en maintenant le régime de faible latence des acteurs en passage unique.

Résultats Expérimentaux

La méthode a été évaluée sur des benchmarks de contrôle continu exigeants issus de DeepMind Control Suite (Humanoid, Dog) et HumanoidBench (H1).

• Performance : SoftGAC a obtenu les performances globales les plus fortes sur des tâches de locomotion à haute dimension et à long horizon (par exemple, Humanoid Run, Dog Run, H1 Hurdle), surpassant à la fois les bases génératives (FLAC, DIME, FlowRL, QSM, QVPO) et la base gaussienne unimodale (CrossQ-SAC).
• Efficacité :
  • Temps d'Inférence : SoftGAC opère dans le régime de faible latence (environ 61–75 $\mu$s par action sur CPU), comparable aux bases de flot en une étape et significativement plus rapide que les bases de diffusion à NFE élevé (qui prennent 300–400+ $\mu$s).
  • Budget de Paramètres : Le nombre de paramètres de l'acteur est comparable à celui des bases solides, évitant le besoin de réseaux plus grands pour masquer le coût de l'échantillonnage itératif.
• Ablations : La suppression du régularisateur doux dans l'espace des chemins ($\alpha=0$) a systématiquement dégradé les performances, confirmant que les gains proviennent de l'objectif doux principiel plutôt que de la simple paramétrisation du pont.

Importance et Revendications

L'article revendique que SoftGAC résout la tension entre l'expressivité des politiques génératives et les contraintes computationnelles/optimisation du RL MaxEnt. En traitant l'acteur comme une loi de chemin explicite et légère plutôt que comme une distribution de point final, la méthode :

• Fournit une régularisation douce principielle (énergie de contrôle de transition échantillonnée) qui est analytiquement traitable, remplaçant les bornes d'entropie heuristiques.
• Évite le fardeau d'optimisation des chaînes BPTT longues associées aux échantillonneurs itératifs, stabilisant les mises à jour de l'acteur.
• Offre un compromis calcul-rendement supérieur, atteignant des rendements à la pointe de l'état de l'art sur des tâches difficiles sans la latence d'inférence élevée des échantillonneurs de diffusion multi-étapes.

Les auteurs concluent que les politiques de pont doux représentent une conception pratique pour un apprentissage efficace d'acteur-critique génératif, offrant une alternative viable aux approches de diffusion itérative dans les contextes de RL en ligne.