COOPO: Cyclic Offline-Online Policy Optimization Algorithm

Résumé Technique de COOPO : Optimisation Cyclique des Politiques Hors Ligne et En Ligne

Énoncé du Problème
L'apprentissage par renforcement (RL) fait face à un compromis fondamental entre l'efficacité des données et la performance. Les méthodes de RL purement en ligne (par exemple, PPO, SAC) nécessitent un nombre prohibitif d'interactions avec l'environnement pour apprendre des politiques optimales, ce qui les rend inadaptées aux systèmes cyber-physiques (CPS) critiques pour la sécurité, où l'exploration est coûteuse ou dangereuse. À l'inverse, le RL hors ligne apprend exclusivement à partir de jeux de données statiques, évitant ainsi l'interaction en ligne mais souffrant d'un décalage de distribution et d'une sous-optimalité de la politique en raison de l'incapacité à explorer des états non vus.

Les approches hybrides récentes dites « hors ligne vers en ligne » tentent de combler ce fossé en pré-entraînant sur des données hors ligne, puis en affinant en ligne. Cependant, l'article identifie deux modes de défaillance critiques dans les méthodes hybrides existantes :

1. Oubli Catastrophique : Lors de l'affinement en ligne, la politique efface souvent les connaissances acquises à partir du jeu de données hors ligne, entraînant une dégradation significative des performances.
2. Décalage de Distribution : La transition de la distribution statique hors ligne vers la distribution dynamique en ligne provoque un dérive de la politique vers des régions de l'espace des états non soutenues par les données, entraînant des estimations de valeur inexactes et un apprentissage instable.

Les solutions existantes, telles que les phases de démarrage à chaud ou le mélange de données dans les mémoires de rejeu, échouent souvent à préserver la stabilité à long terme ou ne réduisent pas suffisamment la complexité en échantillons de la phase en ligne.

Méthodologie : Cadre COOPO
Les auteurs proposent COOPO (Optimisation Cyclique des Politiques Hors Ligne et En Ligne), un cadre unifié qui résout ces problèmes en cyclant de manière répétée entre un entraînement hors ligne contraint et un affinement en ligne. Contrairement aux méthodes traditionnelles qui effectuent un seul pré-entraînement hors ligne suivi d'une adaptation en ligne, COOPO entrelace ces phases dans une boucle.

Le mécanisme central fonctionne comme suit :

1. Structure Cyclique : L'algorithme alterne entre une Phase Hors Ligne et une Phase En Ligne sur $K$ cycles.
2. Phase Hors Ligne (Stabilité et Ancrage) :
   • La politique est mise à jour en utilisant un algorithme AWAC (Actor-Critic pondéré par l'avantage) régularisé par KL.
   • Cette phase emploie une pénalité explicite de divergence de Kullback-Leibler (KL) pour contraindre la nouvelle politique ($\pi_{new}$) à rester proche de la politique précédente ($\pi_{old}$) et de la politique de comportement ($\pi_\beta$) dans le jeu de données.
   • Une fonction de valeur est explicitement entraînée durant cette phase pour soutenir la transition ultérieure en ligne et fournir une estimation d'avantage robuste, atténuant ainsi les erreurs hors distribution (OOD).
   • Crucialement, la phase hors ligne agit comme un « terme stabilisateur correctif », ré-ancrant la politique au jeu de données statique de haute qualité pour prévenir la dérive et l'oubli.
3. Phase En Ligne (Adaptation et Exploration) :
   • La politique est affinée en utilisant un algorithme on-policy à région de confiance (spécifiquement PPO dans les expériences).
   • Pour maintenir la stabilité du critique, la fonction Q entraînée durant la phase hors ligne est gelée lors des mises à jour PPO en ligne. Cela empêche la dérive de la valeur causée par les incohérences de distribution entre les états hors ligne et en ligne.
   • La phase en ligne est maintenue courte (quelques épisodes) pour minimiser les interactions avec l'environnement tout en permettant l'exploration nécessaire.
4. Synergie : Le comportement cyclique crée une boucle de rétroaction où les phases hors ligne stabilisent la politique et corrigent les erreurs, tandis que les phases en ligne affinent la politique en utilisant des signaux du monde réel. Cela permet l'amortissement des coûts des données hors ligne sur plusieurs cycles.

Contributions Clés

1. Cadre Cyclique Généralisé : Les auteurs introduisent un cadre novateur qui alterne un entraînement hors ligne régularisé par KL avec un affinement adaptatif en ligne. Cette conception prévient explicitement l'oubli catastrophique et le décalage de distribution en ramenant périodiquement la politique au jeu de données hors ligne.
2. Garanties Théoriques :
   • Bornes de Performance : L'article dérive une borne de différence de performance (Théorème 1) montrant que l'augmentation du retour par cycle est garantie sous des hypothèses standard de couverture des données.
   • Complexité en Échantillons : Les auteurs prouvent que COOPO atteint une complexité totale en échantillons de $\tilde{O}(\frac{1}{\epsilon^2} \log \frac{1}{\epsilon})$. Notamment, la complexité en échantillons hors ligne est indépendante de la taille du jeu de données $|D|$ grâce à la réutilisation des données, et la complexité en échantillons en ligne évolue avec $H^3$ (où $H$ est l'horizon), ce qui constitue une amélioration par rapport à l'échelle $H^4$ du PPO en ligne pur.
   • Convergence : Le Théorème 2 établit une convergence linéaire vers le voisinage de la politique optimale.
3. Supériorité Empirique : Des expériences extensives sur les benchmarks D4RL (HalfCheetah, Hopper, Walker2D) démontrent que COOPO surpasse les méthodes de RL hors ligne de l'état de l'art (par exemple, IQL, CQL) et les bases de référence hors ligne vers en ligne (par exemple, Cal-QL, Uni-O4) en termes de retour final et d'efficacité des échantillons.

Résultats

• Performance : COOPO a atteint les meilleures performances dans 7 tâches D4RL sur 9, surpassant les méthodes hors ligne pures et les approches hybrides en une seule étape. Par exemple, sur la tâche halfcheetah-medium-expert, COOPO a obtenu un retour de 9242,2, surpassant la prochaine meilleure base de référence (Uni-O4 à 8859,3).
• Efficacité des Échantillons : COOPO a considérablement réduit le nombre d'interactions avec l'environnement en ligne nécessaires pour atteindre une haute performance par rapport au PPO en ligne pur. L'analyse théorique et les résultats empiriques (Figure 7) confirment que COOPO réduit les interactions en ligne d'un facteur constant.
• Stabilité : L'architecture cyclique a démontré une performance asymptotique robuste, évitant le plafonnement précoce observé dans des méthodes comme AWAC et IQL. Les études d'ablation ont montré que l'équilibre entre les époques hors ligne ($E$) et les épisodes en ligne ($T$) est critique ; spécifiquement, l'accent mis sur l'entraînement hors ligne aux stades initiaux et sur l'affinement en ligne aux stades ultérieurs produit des résultats optimaux.
• Sensibilité aux Hyperparamètres : Le coefficient KL ($\lambda$) a été trouvé pour contrôler le compromis entre la vitesse de convergence et le conservatisme des mises à jour. Un $\lambda$ modéré (par exemple, 3) a fourni le meilleur équilibre entre vitesse de convergence et faible variance.

Signification et Revendications
L'article revendique que COOPO établit un nouveau paradigme pour l'apprentissage adaptatif stable et efficace en échantillons, en particulier pour les systèmes cyber-physiques critiques pour la sécurité. En formalisant une « synergie cyclique », la méthode transforme les limites du RL hors ligne (contraintes de couverture) et du RL en ligne (inefficacité des échantillons) en forces complémentaires.

Les auteurs soulignent que COOPO fournit une fondation principielle pour un déploiement fiable dans des applications réelles où une exploration à grande échelle est irréalisable. Le cadre offre des garanties théoriques sur l'amélioration des performances et une interaction en ligne bornée, répondant au besoin critique d'algorithmes qui restent stables face aux décalages de distribution et aux perturbations adverses. Le travail suggère que cette synergie en boucle atténue efficacement l'oubli catastrophique et la dérive de distribution, offrant une solution robuste pour le contrôle adaptatif dans des environnements aux données limitées et aux dynamiques incertaines.