Résumé Technique : Avez-vous réellement besoin de préentraîner les fonctions Q pour le fine-tuning de l'apprentissage par renforcement en ligne ?

1. Formulation du Problème

Le papier étudie l'efficacité du préentraînement des fonctions Q sur des données hors ligne (offline) lors du fine-tuning d'une politique préentraînée via l'apprentissage par renforcement (RL) en ligne. Le cadre implique un processus de décision de Markov (MDP) où un agent possède un ensemble de données hors ligne fixe $D_{offline}$ et une politique de base $\pi_{base}$ préentraînée (généralement entraînée via l'apprentissage supervisé ou l'apprentissage par imitation sur $D_{offline}$). L'objectif est d'effectuer un fine-tuning par RL en ligne pour maximiser les retours.

La question centrale est de savoir si la fonction Q ($Q_\phi$), qui guide la sélection des actions de la politique pendant les mises à jour en ligne, doit également être préentraînée sur $D_{offline}$ aux côtés de la politique, ou si elle doit être initialisée de manière aléatoire et apprise entièrement en ligne. La sagesse conventionnelle en RL de l'offline vers l'online suggère qu'un préentraînement conjoint de la politique et de la fonction Q est bénéfique. Cependant, des travaux récents ont montré que partir d'une politique préentraînée et d'une fonction Q initialisée aléatoirement peut produire des résultats très performants. Ce papier teste systématiquement l'intuition selon laquelle le préentraînement de la fonction Q fournit un coup d'avance nécessaire pour la performance en aval.

2. Méthodologie

Configuration Expérimentale

Les auteurs évaluent leurs hypothèses sur six tâches de contrôle continu complexes issues de Robomimic (lift, can, square) et OGBench (cube, scene, puzzle). Ces tâches impliquent des récompenses éparses et un raisonnement à long horizon.

• Algorithme de base : L'étude utilise EXPO, un algorithme de RL hors politique (off-policy) efficace en termes d'échantillonnage. EXPO emploie une « politique de flux de base » ($\pi_{base}$) et une « politique d'édition » légère ($\pi_{edit}$) qui prédit les corrections d'actions. L'action finale est sélectionnée en maximisant la valeur Q sur un ensemble d'actions de base et éditées.
• Lignes de base (Baselines) :
  1. Préentraînement Naïf : Préentraîner à la fois $\pi_{base}$ et $Q_\phi$ sur $D_{offline}$ en utilisant respectivement l'apprentissage supervisé et l'apprentissage TD hors ligne, avant le fine-tuning en ligne.
  2. Initialisation Aléatoire : Préentraîner uniquement $\pi_{base}$ sur $D_{offline}$ ; initialiser $Q_\phi$ de manière aléatoire et l'apprendre entièrement durant le fine-tuning en ligne.
  3. Maximisation de la Valeur Hors Ligne : Tente de combler l'écart entre les cibles hors ligne et en ligne en effectuant une maximisation de la valeur hors ligne (par exemple, en apprenant une politique d'édition ou en distillant une politique à un pas) pendant le préentraînement.

Méthode Proposée : Initialisation via l'Ensemble de Politiques (IPE)

Motivés par le constat que le préentraînement naïf échoue, les auteurs proposent l'IPE, une méthode pour mieux utiliser les données hors ligne pour l'initialisation de la fonction Q sans les problèmes d'incohérence du préentraînement standard.

• Idée Centrale : Une politique préentraînée unique produit souvent une distribution d'actions étroite, provoquant un effondrement de la fonction Q vers la fonction de valeur de cette politique spécifique ($Q_{\pi_{base}} \approx V_{\pi_{base}}$) plutôt que d'apprendre une structure de valeur d'action généralisable.
• Procédure :
  1. Entraîner une politique de base $\pi_{base}$ sur le jeu de données hors ligne.
  2. Entraîner $N$ politiques supplémentaires diverses ($\pi_1, \dots, \pi_N$) sur la même distribution d'actions (en utilisant le même jeu de données ou des sous-ensembles avec des graines différentes).
  3. Effectuer des passages (rollouts) avec les $N+1$ politiques dans l'environnement pour collecter des transitions diverses.
  4. Regrouper ces passages pour initialiser le buffer de relecture (replay buffer) pour le fine-tuning par RL en ligne.
     Cette approche fournit à la fonction Q une couverture sur une gamme plus large d'actions à chaque état, lui permettant d'apprendre une fonction Q plus proche de la cible optimale en ligne ($Q^*_{RL}$) plutôt que d'être contrainte par la distribution étroite d'une seule politique.

3. Principaux Résultats et Analyse

L'Échec du Préentraînement Naïf

Contrairement à l'intuition conventionnelle, les auteurs constatent que le préentraînement naïf de la fonction Q n'apporte presque aucun bénéfice par rapport à une initialisation aléatoire. Dans plusieurs tâches, cela entrave même l'apprentissage en ligne.

• Le Décalage (Mismatch) : La fonction Q apprise lors du préentraînement hors ligne ($Q_{\pi_{base}}$) cible la fonction de valeur de la politique de base. Cependant, le fine-tuning par RL en ligne converge vers une fonction Q optimale différente ($Q^*_{RL}$).
• Précision de Préférence : Même lorsque la politique de base est proche de l'optimalité, le critique préentraîné hors ligne ne s'aligne pas avec le critique appris par le RL en ligne. La fonction Q hors ligne ne parvient pas à classer correctement les actions de la politique optimale ($\pi^*$) par rapport à la politique de base ($\pi_{base}$) de la manière requise pour la convergence en ligne.
• Inefficacité des Correctifs : Les tentatives pour combler ce fossé via la maximisation de la valeur hors ligne (par exemple, en entraînant une politique d'édition ou en appliant des gradients d'action pendant le préentraînement) échouent à améliorer la performance ou la précision de préférence, indiquant que l'interaction en ligne est nécessaire pour apprendre la cible correcte.

Le Mécanisme de l'IPE

Le papier démontre que l'échec du préentraînement naïf provient d'un manque de diversité des actions. Les passages d'une politique unique résultent en une fonction Q avec une très faible variance, la rendant effectivement déterministe et incapable de distinguer des actions alternatives.

• Diversité : En utilisant un ensemble de politiques, l'IPE génère des passages avec une diversité d'actions nettement plus élevée.
• Résultat : Cette diversité permet à la fonction Q d'apprendre des structures de valeur d'action significatives ($Q^*_{RL}$) plutôt que de s'effondrer sur la valeur du comportement d'une seule politique.

4. Résultats

• Amélioration de la Performance : À travers la suite de benchmarks de contrôle continu, l'IPE produit une amélioration moyenne de 1,26x (environ 26 %) de la performance de fine-tuning par rapport au préentraînement naïf de la fonction Q.
• Comparaison à l'Initialisation Aléatoire : L'IPE surpasse à la fois le préentraînement naïf et l'initialisation aléatoire, démontrant que la qualité de l'initialisation de la fonction Q est critique, mais que la source de cette initialisation doit être diverse.
• Mise à l'Échelle (Scaling) : La performance augmente avec le nombre de politiques ($N$) utilisées dans l'ensemble. Dans les expériences, $N=5$ a fourni les meilleurs résultats, suggérant qu'une couverture plus large des politiques de comportement conduit à un meilleur fine-tuning en aval.
• Précision de Préférence : Les fonctions Q entraînées par IPE montrent une précision de préférence plus élevée pour les actions optimales par rapport aux lignes de base, confirmant que la méthode comble avec succès le fossé vers $Q^*_{RL}$.

5. Signification et Revendications

Le papier remet en question l'hypothèse prédominante selon laquelle « plus de préentraînement est toujours meilleur » dans le contexte du RL de l'offline vers l'online. Ses principales contributions sont :

1. Preuve Empirique : Il démontre systématiquement que le préentraînement direct d'une fonction Q sur des données hors ligne échoue souvent à accélérer ou à améliorer le fine-tuning par RL en ligne lorsqu'on part d'une politique préentraînée.
2. Aperçu Théorique : Il identifie un décalage fondamental entre la fonction Q hors ligne ($Q_{\pi_{base}}$) et la cible en ligne ($Q^*_{RL}$), montrant que la maximisation de la valeur hors ligne seule ne peut résoudre cette divergence.
3. Solution Pratique : Il introduit l'IPE, une méthode simple et efficace qui exploite les ensembles de politiques pour amorcer l'apprentissage de la fonction Q. En augmentant la diversité des actions lors de la phase de préentraînement, l'IPE permet au RL en ligne d'apprendre la fonction de valeur correcte plus efficacement.

Les auteurs concluent que si le préentraînement de la politique est essentiel, la stratégie d'initialisation de la fonction Q doit tenir compte de la diversité des actions nécessaires pour apprendre le paysage de valeur optimal, plutôt que de simplement s'ajuster à la distribution des données hors ligne d'une seule politique. Le travail est limité aux contextes de RL hors politique (off-policy), et les auteurs notent que la réduction de la surcharge de collecte de données de l'IPE reste une direction pour les travaux futurs.