Résumé technique : Les trois régimes de l'apprentissage par renforcement offline-to-online

Énoncé du problème

L'apprentissage par renforcement (RL) de type « offline-to-online » est devenu un paradigme pratique, exploitant des jeux de données pré-collectés (offline) pour le pré-entraînement et des interactions en ligne (online) pour l'ajustement fin (fine-tuning). Cependant, le comportement empirique de cette approche est extrêmement incohérent. Des choix de conception qui produisent des résultats de pointe dans un contexte donné peuvent échouer totalement dans un autre. Par exemple, les méthodes reposant uniquement sur la politique pré-entraînée (ex: Warm-Start RL) peuvent surpasser celles utilisant le jeu de données offline lors de l'ajustement fin dans certains environnements, tandis que l'inverse est vrai dans d'autres. Cette incohérence soulève une question fondamentale : quels facteurs sous-jacents déterminent si un choix de conception spécifique pour l'ajustement fin réussit ou échoue ?

Méthodologie

Les auteurs proposent un cadre guidé par le principe de stabilité-plasticité, un concept issu des neurosciences et de l'apprentissage automatique. Ce principe postule qu'un apprentissage efficace nécessite un équilibre entre la préservation des connaissances existantes (stabilité) et la capacité à s'adapter à de nouvelles données (plasticité).

Taxonomie des trois régimes

La contribution centrale est une taxonomie définissant trois régimes distincts pour le RL offline-to-online, déterminés par la performance relative de deux priors offline :

1. La politique pré-entraînée ($\pi_0$) : L'agent obtenu en exécutant un algorithme de RL offline sur le jeu de données.
2. Le jeu de données offline ($D$) : Les données brutes elles-mêmes, représentant la politique de comportement ($\pi_D$).

Les régimes sont définis comme suit :

• Régime Supérieur ($J(\pi_0) > J(\pi_D)$) : La politique pré-entraînée surpasse significativement le jeu de données brut. Ici, l'objectif principal est de préserver l'utilité de $\pi_0$. La stabilité doit être ancrée autour des paramètres de la politique.
• Régime Inférieur ($J(\pi_0) < J(\pi_D)$) : La politique pré-entraînée est moins performante que le jeu de données (cas fréquent avec des jeux de données proches de l'expert avec des récompenses éparses). Ici, le jeu de données contient plus d'informations utiles. La stabilité doit être ancrée autour des données offline $D$, et une plasticité élevée est requise pour surmonter la mauvaise initialisation.
• Régime Comparable ($J(\pi_0) \approx J(\pi_D)$) : Les deux sources offrent une utilité similaire.

Décomposition de la performance

Le document décompose la performance finale d'un processus d'ajustement fin en ligne en trois termes :
$$\max J(\pi_n) = J^*_{off} + \text{Stabilité}(J^*_{off}) + \text{Plasticité}$$
Où $J^*_{off}$ est la performance de base (la plus forte entre $\pi_0$ ou $D$), la Stabilité mesure la rétention de cette base (non-positive) et la Plasticité mesure le gain issu de l'interaction en ligne (non-négative).

Analyse des choix de conception

Les auteurs catégorisent les méthodes d'ajustement fin existantes selon la propriété qu'elles améliorent :

• Centrées sur $\pi_0$ (Stabilité autour de la politique) : Méthodes telles que l'« Online Data Warm-up » (collecte de données en ligne initiales avant la mise à jour) et la « Régularisation par RL Offline » (pénalisation des écarts par rapport à la distribution de pré-entraînement).
• Centrées sur $D$ (Stabilité autour du jeu de données) : Méthodes telles que le « Replay de données offline » (mélange de données offline et online dans le buffer de replay).
• Améliorateurs de Plasticité : Méthodes telles que le « Full Parameter Reset » (ré-initialisation des poids du réseau), qui rejettent le prior de la politique pour maximiser l'adaptabilité.

Résultats empiriques

Pour valider leur cadre, les auteurs ont mené une étude empirique à grande échelle sur 63 configurations, couvrant 21 compositions de tâches-jeux de données issues de quatre domaines D4RL (MuJoCo, AntMaze, Adroit, Kitchen) et trois algorithmes de pré-entraînement (CalQL, ReBRAC, BC).

• Précision prédictive : Les prédictions du cadre s'alignaient sur les résultats observés dans 45 cas sur 63 (71 %).
• Analyse des mésappariements : Il n'y a eu que 3 mésappariements opposés (5 %), où le cadre prédisait l'échec d'une méthode alors qu'elle réussissait, ou inversement. Les autres mésappariements étaient « adjacents », indiquant des différences de performance mineures plutôt que des échecs fondamentaux.
• Constatations par régime :
  • Dans le Régime Supérieur, les méthodes centrées sur $\pi_0$ (ex: warm-up) ont généralement surpassé les méthodes centrées sur $D$.
  • Dans le Régime Inférieur, les méthodes centrées sur $D$ (souvent combinées au reset de paramètres) ont significativement surpassé les méthodes centrées sur $\pi_0$.
  • Dans le Régime Comparable, les différences de performance entre les méthodes étaient souvent faibles et sensibles aux détails d'implémentation, ce qui est cohérent avec la théorie selon laquelle les deux ancres fournissent une utilité similaire.

Analyse mécaniste

Les auteurs ont fourni une explication mécaniste de ces comportements en analysant la dynamique d'apprentissage de la valeur. Ils ont découvert que dans le Régime Inférieur, l'ajustement fin sans ancrage aux données offline entraîne une explosion des erreurs de différence temporelle (TD) et une divergence des valeurs Q sur le jeu de données offline. En revanche, le Régime Supérieur est plus robuste à cette instabilité, bien que l'ancrage au jeu de données fournisse également une sécurité.

Comparaison avec des métriques alternatives

Le papier compare leur taxonomie basée sur le rendement brut (raw-return) à des alternatives utilisant des proxys de récompense dense, des valeurs Q apprises et la performance de l'imitation de comportement (BC). La métrique du rendement brut s'est avérée supérieure, atteignant 71 % de précision contre 51 % pour les taxonomies basées sur la fonction Q et 41 % pour celles basées sur le BC, démontrant que la performance directe de la tâche est le critère le plus fiable de premier ordre pour l'identification du régime.

Signification et affirmations

Le papier affirme fournir un cadre de diagnostic et de prédiction qui réconcilie les preuves empiriques apparemment incohérentes de la littérature sur le RL offline-to-online. En identifiant le régime d'une configuration donnée, les praticiens peuvent :

1. Sélectionner les méthodes appropriées : Choisir des stratégies qui correspondent aux exigences de stabilité-plasticité (ex: prioriser la stabilité de la politique dans le régime Supérieur vs la stabilité du jeu de données dans le régime Inférieur).
2. Réduire les essais et erreurs : Réduire l'espace de recherche des hyperparamètres et des choix algorithmiques en comprenant quel source de connaissance a priori (politique ou jeu de données) est dominante.

Les auteurs soulignent que ce cadre ne propose pas un algorithme unique « idéal », mais plutôt un prisme pour comprendre pourquoi différents algorithmes fonctionnent dans différents contextes. Ils reconnaissent que, bien que leur taxonomie compresse des phénomènes complexes en catégories discrètes, elle sert de critère de premier ordre robuste et pratique, des facteurs tels que la couverture état-action pouvant agir comme des influences de second ordre pour des explorations futures.