Adaptive Scaling of Policy Constraints for Offline Reinforcement Learning

1. Énoncé du problème

L'apprentissage par renforcement (RL) hors ligne vise à apprendre des politiques optimales à partir de jeux de données fixes et précollectés, sans interaction supplémentaire avec l'environnement. Un défi majeur dans ce contexte est le décalage de distribution : la politique apprise peut visiter des paires état-action absentes du jeu de données, entraînant une surestimation des valeurs Q et un effondrement de la politique.

Pour atténuer ce problème, les méthodes existantes imposent des contraintes de politique (par exemple, dans TD3+BC) afin de maintenir la politique apprise proche de la politique comportementale (Clonage Comportemental, BC). Cependant, ces méthodes reposent sur un facteur d'échelle de contrainte (noté $\alpha$) qui équilibre l'objectif RL contre l'objectif BC.

• Le problème central : La valeur optimale de $\alpha$ varie considérablement selon les tâches et la qualité des jeux de données (par exemple, données aléatoires vs données d'experts).
• Limitations actuelles :
  • Réglage statique : Les méthodes de pointe nécessitent souvent un réglage minutieux des hyperparamètres par jeu de données, ce qui est long et peu pratique pour un déploiement réel.
  • Méthodes adaptatives fixes : Les approches adaptatives existantes ne réajustent souvent les actions que localement ou utilisent des configurations fixes qui échouent à capturer le compromis global, entraînant des performances sous-optimales par rapport aux références finement réglées.

Le papier répond au besoin urgent d'une méthode qui atteint des performances robustes et de pointe sur des jeux de données diversifiés en utilisant une configuration unique d'hyperparamètres.

2. Méthodologie : Mise à l'échelle adaptative des contraintes de politique (ASPC)

ASPC est un cadre différentiable du second ordre qui traite le facteur d'échelle de contrainte $\alpha$ comme un paramètre apprenable, l'ajustant dynamiquement pendant l'entraînement via un processus d'optimisation bi-niveau.

A. Cadre central

La méthode s'appuie sur l'objectif TD3+BC, où la perte totale $L$ est :
$$L = \alpha L_{RL} + L_{BC}$$
Au lieu de maintenir $\alpha$ statique, ASPC l'optimise en utilisant les principes du méta-apprentissage :

1. Mise à jour interne (Optimisation de la politique) :
   Les paramètres de la politique $\theta$ sont mis à jour par descente de gradient pour minimiser l'objectif interne $L_{inner}$ pour un $\alpha$ fixe.
   $$L_{inner}(\theta; \alpha) = \mathbb{E}[-\lambda(\alpha) Q(s, \pi_\theta(s)) + \|\pi_\theta(s) - a\|^2]$$
   Ici, $\lambda(\alpha)$ normalise le terme RL en fonction de l'échelle de la perte BC.

2. Mise à jour externe (Optimisation du facteur d'échelle) :
   Le facteur d'échelle $\alpha$ est mis à jour pour minimiser une perte externe $L_{outer}$, qui assure un entraînement stable et une amélioration des performances. La perte externe se compose de trois composantes coordonnées :

   • $L_1$ (Terme d'équilibre) : Reflète l'objectif standard TD3+BC, guidant $\alpha$ vers un équilibre entre la maximisation des valeurs Q et la minimisation de la perte BC.
   • $L_2$ (Stabilité des valeurs Q) : Pénalise les augmentations abruptes de la valeur Q attendue ($\Delta Q^2$) pour éviter des mises à jour trop optimistes.
   • $L_3$ (Contrainte de variation BC) : Contraint la variation de la perte BC ($\Delta L_{BC}$). Ce terme est crucial pour empêcher la politique de s'écarter trop loin de la politique comportementale lorsque les fluctuations des valeurs Q sont élevées.

   La mise à jour de $\alpha$ utilise des dérivées du second ordre (gradients des paramètres de la mise à jour interne par rapport à $\alpha$) :
   $$\alpha \leftarrow \alpha - \eta_\alpha \frac{\partial L_{outer}(\tilde{\theta}(\alpha))}{\partial \tilde{\theta}} \frac{\partial \tilde{\theta}(\alpha)}{\partial \alpha}$$

B. Garanties théoriques

Les auteurs fournissent une analyse théorique prouvant que :

• Contraintes mutuelles : La variation de la perte BC ($\Delta L_{BC}$) et le carré de la variation des valeurs Q ($(\Delta Q)^2$) se contraignent mutuellement.
• Limite inférieure de performance : Sous des hypothèses spécifiques (continuité de Lipschitz), la mise à jour ASPC garantit une performance de politique non décroissante ($J(\pi_{t+1}) \geq J(\pi_t)$) si le gain de valeur Q compense la variation de la perte BC.
• Convergence : La méthode réduit progressivement l'écart de sous-optimalité, l'écart restant étant contrôlé par la divergence entre la politique comportementale et la politique optimale.

C. Détails de mise en œuvre

• Base : Implémenté sur la base de TD3+BC.
• Architecture : Utilise un "Critique robuste" avec trois couches cachées et une normalisation par couche (LayerNorm) pour atténuer la surestimation des valeurs Q.
• Efficacité : Bien que les gradients du second ordre soient coûteux en calcul, ASPC met à jour $\alpha$ à une fréquence beaucoup plus faible ($k_\alpha$) que les mises à jour de l'acteur ($k_\pi$), maintenant la surcharge temporelle minimale.

3. Contributions clés

1. Cadre novateur : Introduction d'ASPC, la première méthode à ajuster dynamiquement les échelles de contraintes de politique en utilisant une optimisation différentiable du second ordre, éliminant le besoin de réglage d'hyperparamètres par jeu de données.
2. Analyse théorique : Preuve rigoureuse des garanties d'amélioration des performances et de la relation de contrainte mutuelle entre la stabilité des valeurs Q et la déviation de la politique.
3. Généralité : Démonstration que ASPC n'est pas limité à TD3+BC mais peut être intégré à d'autres algorithmes de RL hors ligne (IQL, CQL, Diffusion-QL, FQL) pour améliorer leurs performances.
4. Résultats de pointe : Performance supérieure atteinte sur 39 jeux de données dans quatre domaines D4RL (MuJoCo, Maze2d, AntMaze, Adroit) et sur le benchmark OGBench en utilisant un seul réglage d'hyperparamètres.

4. Résultats expérimentaux

• Performance sur les benchmarks : Sur le benchmark D4RL, ASPC a obtenu un score normalisé moyen de 77,9, surpassant toutes les références.
  • Il a dépassé les méthodes nécessitant un réglage par jeu de données (par exemple, IQL, ReBRAC) et d'autres méthodes adaptatives (wPC, A2PR).
  • Il a montré une amélioration moyenne de 35 % par rapport à la référence (TD3+BC avec $\alpha$ fixe).
• Adaptabilité :
  • Qualité des données : ASPC abaisse automatiquement $\alpha$ (favorisant le BC) pour les jeux de données d'experts de haute qualité et augmente $\alpha$ (favorisant l'exploration RL) pour les jeux de données aléatoires de faible qualité.
  • Dynamique des tâches : Il adapte $\alpha$ en fonction des caractéristiques de la tâche (par exemple, récompenses clairsemées dans AntMaze vs récompenses denses dans MuJoCo).
• Études d'ablation :
  • La suppression de l'ajustement dynamique (fixant $\alpha$ à la valeur convergée finale) a entraîné des baisses de performance significatives, prouvant que l'ajustement dynamique est essentiel, et pas seulement la recherche d'une bonne valeur fixe.
  • Les trois composantes de perte ($L_1, L_2, L_3$) étaient nécessaires pour des performances optimales sur différents domaines.
• Efficacité : ASPC n'a introduit qu'une surcharge de calcul minimale par rapport au TD3+BC standard, avec un temps d'exécution comparable aux références lorsque l'intervalle de mise à jour pour $\alpha$ était fixé à 30 étapes.

5. Importance

Le papier apporte une contribution significative au domaine du RL hors ligne en résolvant le problème de sensibilité aux hyperparamètres.

• Praticité : Il élimine la barrière du réglage extensif des hyperparamètres, rendant le RL hors ligne plus viable pour des applications réelles (par exemple, santé, robotique) où la qualité des jeux de données varie et où les ressources de réglage sont limitées.
• Robustesse : En équilibrant dynamiquement l'exploration (RL) et l'exploitation (BC) sur la base de signaux d'entraînement en temps réel, ASPC fournit un chemin d'apprentissage plus stable et fiable que les méthodes statiques.
• Généralisabilité : La capacité du cadre à améliorer divers algorithmes (du basé sur la valeur au basé sur la diffusion) suggère un mécanisme universel pour stabiliser les contraintes de politique hors ligne.

En conclusion, ASPC représente un passage du "réglage statique des contraintes" à "l'apprentissage adaptatif des contraintes", offrant une solution robuste et haute performance pour l'apprentissage par renforcement hors ligne dans des environnements divers et difficiles.