Generalization in offline RL: The structure is more important than the amount of pessimism

Titre : La généralisation en RL hors ligne : la structure est plus importante que l'ampleur du pessimisme

Énoncé du problème
L'apprentissage par renforcement (RL) hors ligne vise à apprendre des politiques optimales à partir de jeux de données fixes et statiques sans nouvelle interaction avec l'environnement. Pour atténuer le biais de surestimation sur les actions hors distribution (OOD), la plupart des méthodes de pointe emploient un apprentissage de la valeur pessimiste ou une certaine conservatisme. Cependant, la littérature récente suggère qu'un excès de conservatisme peut entraver la généralisation à de nouveaux scénarios ou empêcher l'assemblage de trajectoires (trajectory stitching). Bien que certaines approches préconisent un conservatisme « modéré » pour améliorer la généralisation, il reste incertain si le degré de pessimisme ou les propriétés structurelles de la fonction de valeur pessimiste sont les principaux déterminants de la performance du transfert de politique zéro-shot (ZSPT). Plus précisément, dans des environaux présentant des symétries sous-jacentes (par exemple, l'invariance rotationnelle), on ignore si une fonction de valeur hautement pessimiste mais symétrique généralise mieux qu'une fonction faiblement pessimiste mais asymétrique.

Méthodologie
Les auteurs étudient cette question par une combinaison d'analyse théorique et de validation empirique dans le contexte des MDP contextuels (CMDP) sous le cadre de la Généralisation par l'Invariance ZSPT (GTI-ZSPT).

1. Cadre théorique :

   • Les auteurs formalisent la généralisation comme la capacité d'un agent à apprendre le groupe de symétrie $G$ correct de la solution optimale, malgré l'observation d'un sous-groupe $B \leq G$ dans les données d'entraînement.
   • Ils utilisent la distillation de la valeur Q comme un substitut (proxy) aux mécanismes de RL hors ligne. Cela permet d'isoler l'effet de l'apprentissage d'une fonction de valeur pessimiste spécifique des complexités de l'algorithme de RL lui-même.
   • L'analyse suppose une limite de réseau de neurones à largeur infinie, en s'appuyant sur le noyau tangent neuronal (NTK) et les résultats de Gerken & Kessel (2024) concernant l'équivariance des ensembles profonds (deep ensembles).
   • Deux théorèmes clés sont prouvés :
     • Théorème 1 : Si une fonction de valeur pessimiste respecte le groupe de symétrie $B$ des données d'entraînement, l'agent peut atteindre une performance de généralisation optimale dans l'environnement de test, quelle que soit l'ampleur du niveau de pessimisme ($\eta_{max}$).
     • Théorème 2 : Inversement, il existe des cas où une fonction de valeur faiblement pessimiste qui viole la structure de symétrie ($\hat{Q}_{asym}$) est garantie de généraliser de manière arbitrairement pire qu'une fonction de valeur $\hat{Q}_{sym}$ hautement pessimiste mais symétrique.

2. Validation empirique :

   • Environnement : Un environnement de contrôle continu « Rotational Reacher » à symétrie rotationnelle. Les contextes d'entraînement couvrent un sous-groupe $C_4$ (rotations de 90°), tandis que le test couvre l'ensemble du groupe $SO(2)$.
   • Algorithmes : L'étude évalue l'apprentissage Q implicite (IQL) et le Q-learning conservateur (CQL).
   • Stratégies d'augmentation de données (DA) : L'article compare l'augmentation de données standard (DA) (entraînement sur des jeux de données augmentés) à la régularisation par la Consistance de l'Augmentation de Données (DAC). La DAC impose la symétrie en ajoutant un terme de perte qui minimise la différence entre les sorties du réseau (ou les représentations latentes) pour les entrées originales et augmentées.
   • Hypothèse : Les auteurs soutiennent que la DAC est supérieure pour le RL hors ligne car elle impose explicitement la structure (symétrie) de la fonction de valeur/politique, privilégiant la symétrie sur l'exactitude des estimations de valeur, ce qui s'aligne sur leurs résultats théoriques.

Contributions clés

• Aperçu théorique : Le papier établit que la structure du pessimisme est plus critique que sa magnitude pour la généralisation. Il prouve qu'une généralisation optimale est réalisable avec un pessimisme arbitrairement élevé, à condition que la fonction de valeur respecte les symétries de l'environnement.
• Résultat contre-intuitif : Il démontre qu'un pessimisme modéré n'est pas une garantie de meilleure généralisation ; si le pessimisme modéré brise les symétries requises, la performance peut être arbitrairement médiocre par rapport à une alternative symétrique hautement pessimiste.
• Proposition méthodologique : Les auteurs proposent d'appliquer l'augmentation de données via une perte de consistance lors de l'extraction de la politique (spécifiquement pour l'acteur dans IQL) plutôt que la pratique standard de l'entraînement sur des données augmentées. Cette approche impose directement la structure symétrique de la politique/valeur.
• Preuve empirique : Les expériences sur IQL et CQL montrent que la DAC-Output (imposant la consistance sur la sortie du réseau) offre la meilleure performance de généralisation, surpassant à la fois les bases sans augmentation et l'entraînement augmenté (Aug-D).

Résultats

• Distillation de la valeur Q : Dans la validation théorique utilisant le Rotational Reacher, une cible pessimiste symétrique ($\hat{Q}^*_{sym}$) a maintenu une performance de test proche de l'optimale même lorsque le pessimisme augmentait d'un ordre de grandeur. En revanche, une cible asymétrique ($\hat{Q}^*_{asym}$) a vu sa performance de test se dégrader considérablement à mesure que le pessimisme augmentait.
• Expériences de RL hors ligne :
  • Pour IQL et CQL, l'application de la DAC-Output a systématiquement obtenu les rendements de test les plus élevés à travers les jeux de données experts, mixtes et sous-optimaux.
  • L'augmentation de données standard (Aug-D) s'est améliorée par rapport à l'absence d'augmentation, mais a généralement été moins performante ou égale aux méthodes de perte de consistance.
  • Appliquer la DA uniquement au critique (sans l'acteur) dans IQL n'a montré aucune amélioration par rapport à la base, confirmant qu'imposer la symétrie sur le composant d'extraction de la politique est crucial.

Signification et affirmations
Le papier affirme que l'intuition prédominante — selon laquelle réduire le conservatisme est nécessaire pour la généralisation — est incomplète. Au lieu de cela, les auteurs soutiennent qu'imposer les symétries structurelles correctes est le principal moteur d'un transfert zéro-shot réussi en RL hors ligne.

La signification de ce travail réside dans le déplacement de l'attention de « quel degré de conservatisme devrions-nous adopter ? » vers « notre conservatisme respecte-t-il les symétries de l'environnement ? ». Les auteurs postulent qu'en RL hors ligne, où la couverture des jeux de données induit souvent des biais non symétriques, des techniques telles que la Consistance de l'Augmentation de Données (DAC) sont essentielles. En privilégiant la symétrie sur l'exactitude de la valeur lors de l'extraction de la politique, la DAC permet aux agents de généraliser de manière optimale, même lorsque la fonction de valeur sous-jacente est hautement pessimiste. Cela remet en question la pratique standard consistant à utiliser l'augmentation de données uniquement pour augmenter la taille du jeu de données pour l'entraînement, suggérant qu'elle devrait plutôt être utilisée comme un régularisateur pour imposer l'invariance structurelle.

Limites
Les auteurs reconnaissent plusieurs limites :

• Leurs preuves théoriques reposent sur la limite de largeur infinie des réseaux de neurones, bien que les résultats empiriques sur des réseaux de largeur finie soutiennent la théorie.
• Leur analyse se concentre sur les symétries de groupe intrinsèques cohérentes avec la distribution des données. Il n'est pas prouvé si ces conclusions s'appliquent aux transformations extrinsèques ou incohérentes (par exemple, le bruit aléatoire) utilisées uniquement pour la régularisation.
• Leurs conclusions sont actuellement validées sur la tâche Rotational Reacher et deux algorithmes spécifiques (IQL, CQL) ; une validation plus large sur des environnements et algorithmes complexes est nécessaire.