Résumé Technique : SPAR (Rectification d'Actions Préservant le Support)

Énoncé du Problème

L'Apprentissage par Renforcement Hors Ligne (Offline RL) vise à apprendre des politiques optimales à partir de jeux de données fixes, sans interaction supplémentaire avec l'environnement. Un défi fondamental dans ce domaine est la couverture finie des jeux de données, qui laisse de vastes régions de l'espace état-action non contraintes. Les méthodes existantes d'amélioration de politique font face à un conflit inhérent entre la maximisation de la valeur et l'ajustement à la distribution des données, conduisant à deux modes d'échec principaux sous une couverture limitée :

1. Apprentissage In-Sample (In-Support) : Des méthodes comme AWAC et IQL traitent l'amélioration comme une régression pondérée sur les actions du jeu de données. Bien que robustes aux requêtes Hors Distribution (OOD), leur biais de vraisemblance maximale met l'accent sur les régions de haute densité, supprimant systématiquement les actions rares mais à haute valeur dans la queue de la distribution. Géométriquement, cela peut briser la variété continue des actions, piégeant la politique dans des régions sous-optimales.
2. Optimisation Guidée par la Valeur : Les méthodes qui ascendent le gradient d'un critique appris (par exemple CQL, Diff-QL) souffrent souvent d'un conflit de gradient ajustement-optimisation. Dans le régime hors ligne, les critiques doivent extrapoler au-delà du voisinage des données, créant des pics de valeur élevés spurious. Les gradients de valeur contiennent souvent de grandes composantes normales qui poussent les actions hors de la variété des données vers des régions adverses non réalisables, provoquant un oubli catastrophique ou un effondrement OOD.

Méthodologie : Cadre SPAR

Les auteurs proposent la Rectification d'Actions Préservant le Support (SPAR), un cadre qui reformule l'amélioration globale de la politique comme une rectification résiduelle locale ancrée sur une politique de clonage de comportement (BC) pure figée. Cette approche découple les objectifs d'ajustement et d'amélioration en étapes distinctes.

1. Pipeline en Trois Étapes

• Étape I : Ancrage Conservateur. Une politique de base ($\pi_{base}$) est entraînée par clonage de comportement pur sur le jeu de données $D$, évitant les objectifs pondérés par l'avantage pour s'assurer qu'elle capture la topologie globale de la variété. Parallèlement, un ensemble de critiques conservateurs ($Q_{rob}$) est entraîné en utilisant une régression d'espérance strictement in-sample et une borne inférieure de confiance (LCB) pour pénaliser l'incertitude, empêchant ainsi le biais de surestimation. $\pi_{base}$ et $Q_{rob}$ sont figés après cette étape.
• Étape II : Apprentissage Résiduel Préservant le Support. La politique finale est paramétrée comme $\pi(s) = \pi_{base}(s) + \Delta_\theta(s, \pi_{base}(s))$, où $\Delta_\theta$ est une politique résiduelle. Cela décompose l'optimisation de l'espace d'actions complet vers un voisinage local autour de l'ancrage, contractant le volume de l'espace des hypothèses.
  • Modélisation Résiduelle : Pour des résidus unimodaux, un régresseur déterministe (SPAR-MLP) est utilisé. Pour des résidus multimodaux, un Auto-Encodeur Variationnel Conditionnel (SPAR-CVAE) modélise la distribution.
  • Auto-Imitation Latente (LSI) : Pour résoudre le conflit de gradient ajustement-amélioration, SPAR introduit un mécanisme sans dérivée. Au lieu d'une ascension de gradient sur le critique, la méthode échantillonne des candidats latents depuis la politique résiduelle, les décode en actions, les pondère par des estimations de valeur conservatrices, et régresse la politique vers cette distribution empirique pondérée. Cela garantit que les mises à jour restent dans la variété résiduelle, évitant toute dérive hors variété.
• Étape III : Rectification au Moment du Déploiement. À l'inférence, l'action résiduelle est appliquée uniquement si l'amélioration prédite par rapport à la ligne de base dépasse des seuils absolus et relatifs spécifiques, agissant comme un filtre de sécurité conservateur.

2. Insights Théoriques

L'article fournit des preuves théoriques démontrant que :

• Contraction de l'Espace de Recherche : En restreignant le raffinement à un voisinage local défini par le quantile $(1-\rho)$ des magnitudes résiduelles, le nombre de couverture de l'espace de recherche est réduit de manière polynomiale-logarithmique, améliorant l'efficacité de l'échantillonnage.
• Élimination du Conflit de Gradient : L'analyse théorique (Proposition 3.3) montre que l'Auto-Imitation Latente restreint les mises à jour aux cordes à l'intérieur de la variété résiduelle. Cela réalise une suppression de dérive du second ordre par rapport à la dérive linéaire causée par l'ascension de gradient standard, éliminant efficacement la dérive normale de la variété des gradients de valeur standard.

Contributions Clés

1. Quantification Théorique : Les auteurs quantifient la réduction de l'espace de recherche des politiques réalisée par l'apprentissage résiduel et caractérisent formellement les conflits de gradient entre les guidages du critique et les objectifs d'ajustement.
2. Cadre SPAR : Un cadre novateur qui découple l'ajustement et l'amélioration. Il utilise un ancrage BC figé pour la stabilité structurelle et emploie l'Auto-Imitation Latente pour effectuer une amélioration locale de la politique via une régression pondérée dans l'espace latent, équilibrant exploration et contraintes de variété.
3. Validation Empirique : Une évaluation extensive sur le benchmark D4RL démontre que SPAR extrait des gains significatifs de lignes de base sous-optimales, atteignant des performances de l'état de l'art à travers divers domaines (locomotion, manipulation et navigation à récompense sparse).

Résultats Expérimentaux

L'article évalue SPAR sur le benchmark D4RL à travers trois domaines : Locomotion MuJoCo, Navigation AntMaze et Manipulation Adroit.

• Performance : Les variantes SPAR (SPAR-MLP pour unimodal, SPAR-PROJ pour multimodal) surpassent constamment de fortes lignes de base, y compris les méthodes basées sur le gradient (TD3+BC, CQL, Diff-QL) et les méthodes in-sample (IQL, AWAC).
  • Dans MuJoCo Medium-Replay, SPAR-MLP surpasse significativement les méthodes in-sample et égale ou dépasse les modèles génératifs complexes avec une surcharge computationnelle inférieure.
  • Dans les tâches MuJoCo Medium-Expert et Adroit, SPAR-PROJ récupère avec succès des performances optimales là où les méthodes déterministes échouent en raison de complexités multimodales.
  • Dans AntMaze (récompenses sparse), SPAR-PROJ démontre des capacités de récupération robustes, surpassant le guidage par gradient de politique et les méthodes in-sample.
• Analyse Mécanique :
  • Conflit de Gradient : Les métriques montrent que SPAR-PROJ réduit la projection directionnelle des vecteurs de mise à jour sur les gradients d'ajustement ($D_D$) et la dégradation réelle de la performance d'ajustement ($V_{SD}$) de plusieurs ordres de grandeur par rapport aux lignes de base basées sur le gradient.
  • Préservation du Support : Les visualisations confirment que les actions de SPAR-PROJ restent proches du support empirique des données (rapport de distance q95 kNN de 0,98), tandis que les méthodes basées sur le gradient s'écartent significativement (rapport de 6,32).
  • Études d'Ablation : La suppression de l'auto-imitation latente ou de la rectification de l'Étape III entraîne des baisses de performance, confirmant la nécessité du pipeline complet. La méthode montre une robustesse face aux variations des poids de guidage, en particulier dans les environnements à récompense sparse.

Importance et Revendications

L'article revendique que SPAR adresse les modes d'échec géométriques fondamentaux des paradigmes existants d'Offline RL en découplant les objectifs conflictuels d'ajustement et d'amélioration. En ancrant l'optimisation sur une politique de clonage de comportement figée et en effectuant l'amélioration via l'Auto-Imitation Latente dans un espace résiduel contracté, SPAR :

1. Empêche l'oubli catastrophique et l'effondrement OOD.
2. Élimine la pathologie de "dérive normale" où les gradients de valeur poussent les politiques hors de la variété des données.
3. Fournit une approche unifiée qui s'adapte aux géométries résiduelles unimodales et multimodales sans nécessiter de dosserés génératifs complexes pour toutes les tâches.

Les auteurs concluent que, bien que l'efficacité de SPAR dépende de la qualité de l'ancrage figé et des estimations de valeur conservatrices, elle offre un mécanisme robuste et théoriquement fondé pour l'amélioration de politique hors ligne, atteignant des résultats de l'état de l'art à travers diverses complexités de tâches.