Résumé technique : Apprentissage d'invariance guidé par opérateur pour l'apprentissage par renforcement continu

Énoncé du problème

L'apprentissage par renforcement (AR) en temps continu avec des espaces d'état et d'action continus est souvent gourmand en données et fragile face à la variabilité parasite et aux décalages de distribution. Bien que les méthodes existantes exploitent des symétries spécifiques (par exemple, l'équivariance exacte en rotation ou en translation) ou des caractéristiques invariantes, elles peinent à découvrir des structures plus générales, pilotées par les données, qui préservent les fonctions de valeur. Plus précisément, il manque des cadres capables d'identifier des transformations générales préservant la valeur — à la fois exactes et approximatives — qui nécessitent des opérateurs non linéaires pour mapper entre des systèmes continus ayant des fonctions de valeur isomorphes. Le défi central consiste à dépasser les symétries prescrites pour découvrir des structures intrinsèques qui stabilisent l'apprentissage et améliorent l'efficacité des données, sans supposer de connaissances préalables sur le groupe de transformation.

Méthodologie : VPSD-RL

Les auteurs proposent VPSD-RL (Découverte de structures préservant la valeur pour l'apprentissage par renforcement), un cadre qui modélise l'AR continu comme un processus de diffusion contrôlé. La méthodologie s'appuie sur la théorie des opérateurs et les actions de groupes de Lie, se déroulant en trois étapes principales :

1. Formulation théorique

Le cadre définit la préservation de la valeur au niveau du générateur contrôlé (le générateur infinitésimal du semi-groupe de Markov) et du fonctionnel de récompense.

• Structure exacte de préservation de la valeur : Une paire de transformations $(g_\vartheta, h_\vartheta)$ (agissant respectivement sur les états et les actions) préserve la valeur si le tirage en arrière de la fonction de valeur et la poussée en avant des actions commutent avec le générateur contrôlé $L_a$ et la récompense $r$. Formellement, cela requiert :
  $$L_a(f \circ g_\vartheta) = (L_{h_\vartheta(a)}f) \circ g_\vartheta \quad \text{et} \quad r(g_\vartheta(s), h_\vartheta(a)) = r(s, a)$$
• Équations déterminantes : En différentiant ces identités d'opérateurs le long de sous-groupes à un paramètre, les auteurs dérivent des contraintes locales d'équations aux dérivées partielles (EDP) (les « équations déterminantes ») sur la dérive $b$, la matrice de diffusion $Q$ et la récompense $r$. Ces équations caractérisent les générateurs infinitésimaux $(X, Y)$ des actions de groupe de Lie préservant la valeur.
• Structure approximative : Reconnaissant que les symétries exactes sont rares dans les données du monde réel, le cadre s'étend aux structures approximatives de préservation de la valeur. Ici, la commutation des opérateurs est bornée par une erreur de désaccord $(\epsilon_L, \epsilon_r)$. Les auteurs prouvent qu'un désaccord borné du générateur/de la récompense implique une borne de stabilité quantitative sur la fonction de valeur optimale $V^\star$, où l'erreur évolue linéairement avec le désaccord et est amplifiée par l'horizon effectif ($1/\beta$).

2. Pipeline algorithmique

VPSD-RL opérationnalise ces principes à travers un pipeline d'apprentissage :

1. Apprentissage des générateurs infinitésimaux : L'algorithme apprend des champs de vecteurs $X_\theta$ (générateur d'état) et $Y_\phi$ (générateur d'action) en minimisant les résidus empiriques des équations déterminantes (Éqs. 12–14) dérivées de modèles d'environnement différentiables (dérive, diffusion et récompense).
2. Exponentiation par intégration de flot : Les générateurs infinitésimaux appris sont exponentiés à l'aide de flots d'équations différentielles ordinaires (EDO) pour obtenir des transformations finies $(g_\alpha, h_\alpha)$. Cette étape récupère l'action de groupe finie à partir du niveau infinitésimal.
3. Intégration à l'AR : Les transformations finies découvertes sont intégrées dans la boucle d'AR via :
   • Augmentation de transition : Transformation des tuples d'expérience collectés $(s, a, s', r)$ en $(g_\alpha(s), h_\alpha(a), g_\alpha(s'), r)$ pour remplir le tampon de rejeu, partageant ainsi efficacement l'expérience le long des orbites préservant la valeur.
   • Régularisation de cohérence de transformation : Ajout de pénalités à la fonction de perte pour encourager les réseaux de valeur et de politique à produire des prédictions cohérentes pour les paires état-action transformées.

3. Garanties théoriques

L'article établit des garanties de bout en bout :

• Optimisation : L'optimisation stochastique de l'objectif de découverte de structure converge vers des points stationnaires approximaux aux taux standards de SGD ($O(1/\sqrt{T})$).
• Cohérence statistique : Sous des hypothèses de réalisabilité, les générateurs appris convergent en moyenne $\rho$ vers des solutions des équations déterminantes, conduisant le désaccord d'opérateur vers zéro sur le support des données.
• Stabilité : Pour les structures approximatives, l'opérateur de Bellman perturbé reste une contraction, et l'erreur de point fixe est bornée par l'amplitude du désaccord.

Résultats clés

Les auteurs évaluent VPSD-RL sur des diffusions contrôlées synthétiques interprétables et des benchmarks standards de contrôle continu (MuJoCo : Hopper, Walker2d, Ant ; et des variantes de SymNav).

• Découverte de structure : Sur des environnements synthétiques avec des symétries de vérité terrain connues (par exemple, rotation planaire, réflexion), la minimisation des résidus d'équations déterminantes récupère avec succès des générateurs infinitésimaux alignés avec les vraies symétries. Cela conduit à une réduction de la non-invariance de la valeur empirique le long du flot appris.
• Gains de performance :
  • SymNav : VPSD-RL démontre une efficacité d'échantillonnage améliorée et une robustesse sur 15 variantes d'une tâche de navigation avec obstacles et perturbations de vent, surpassant des bases de référence comme SAC, TD3 et PPO.
  • MuJoCo : La méthode montre des améliorations dépendantes de la tâche. Les gains sont modestes sur Hopper (modèle de saut unique) mais plus prononcés sur Walker2d (correspondance de phase gauche-droite) et les plus forts sur Ant-v4, où la coordination multi-membres crée des motifs approximativement préservant la valeur plus riches.
  • Métriques quantitatives : Sur Ant-v4, VPSD-RL atteint un retour final plus élevé (5822 contre 4477 pour SAC) et une plus grande aire sous la courbe (AUC) par rapport aux bases de référence de l'état de l'art, avec une surcharge computationnelle modérée.

Importance et affirmations

L'article affirme que VPSD-RL fournit un cadre novateur au niveau des opérateurs pour découvrir et exploiter des structures préservant la valeur dans l'AR continu sans dépendre de symétries prescrites.

• Généralisation de la symétrie : Le cadre englobe les symétries de Lie classiques comme un cas particulier plutôt qu'une prémisse de conception, permettant la découverte de structures générales pilotées par les données.
• Stabilité rigoureuse : Il fournit des garanties théoriques rigoureuses reliant le désaccord du générateur/de la récompense à la stabilité de la fonction de valeur optimale, offrant une compréhension quantitative de la manière dont l'invariance approximative affecte les performances de la politique.
• Efficacité des données : En tirant parti des structures découvertes pour l'augmentation de transition et la régularisation de cohérence, la méthode améliore l'efficacité des données et la robustesse dans les contextes de contrôle continu, en particulier lorsque des transformations utiles existent mais ne sont pas connues a priori.

Les auteurs soulignent que les flots appris sont locaux et que leur fiabilité est évaluée par des diagnostics de résidu et d'invariance, reconnaissant que la méthode repose sur des modèles de substitution différentiables et peut se dégrader si la relation de préservation de la valeur ne vaut que sur un support de données étroit ou si la dynamique est fortement discontinue.