Résumé Technique : L'Alignement Bellman en Une Étape Permet un Transfert Démontrablement Efficace en RL en Ligne

1. Énoncé du Problème

L'article aborde le défi de l'apprentissage par renforcement (RL) de transfert en ligne dans les processus de décision markoviens (MDP) épisodiques. Le cadre implique un apprenant interagissant avec une tâche cible ($M^{(0)}$) tout en ayant accès à l'expérience issue de tâches sources connexes ($M^{(m)}$). L'objectif est de tirer parti des données sources pour accélérer l'apprentissage sur la tâche cible sans compromettre l'exploration ni les garanties de regret.

Un obstacle fondamental identifié est le désalignement entre les définitions de similarité des tâches et les mécanismes d'apprentissage du RL en ligne :

• Similarité des tâches : Généralement définie par les récompenses, les transitions ou les fonctions de valeur.
• Mécanisme d'apprentissage RL : Les algorithmes modernes de RL en ligne (par exemple, Q-learning) fonctionnent en régressant des cibles Bellman en une étape, qui dépendent conjointement de la valeur de continuation ($V_{h+1}$) et de la distribution de transition ($P_h$).

Les auteurs soutiennent que le regroupement naïf des mises à jour Bellman issues des tâches sources introduit un biais systématique. Même si les tâches sont intrinsèquement proches, le remplacement de la valeur de continuation cible $V^{(0)}_{h+1}$ par une valeur source $V^{(m)}_{h+1}$ ou l'utilisation de distributions de transition sources $P^{(m)}_h$ crée une divergence qui dépend de la fonction de valeur variant au fil des itérations. Ce biais structurel brise l'exploration basée sur l'optimisme et invalide les garanties de regret standard, car l'erreur ne disparaît pas avec l'ajout de données cibles.

2. Méthodologie : Ciblage Pondéré (RWT)

Pour résoudre ce biais structurel, l'article propose le Ciblage Pondéré (Re-Weighted Targeting - RWT), une correction au niveau de l'opérateur qui aligne les opérateurs Bellman entre les tâches.

2.1 Alignement Bellman en Une Étape

L'idée centrale est que le décalage Bellman entre les tâches peut être réduit à une correction fixe en une étape si la valeur de continuation est évaluée sous la tâche cible tandis que le décalage de transition est corrigé par un changement de mesure.

Étant donné une tâche source $m$ et une tâche cible $0$, soit $\omega^{(m)}_h(s' | s, a) = p^{(0)}_h(s' | s, a) / p^{(m)}_h(s' | s, a)$ le rapport de densité. L'opérateur Bellman aligné RWT est défini comme suit :
$$(B^{(m \to 0)}_h V^{(m)}_{h+1})(s, a) := R^{(m)}_h(s, a) + \gamma \mathbb{E}_{s' \sim P^{(m)}_h} \left[ \omega^{(m)}_h(s' | s, a) V^{(0)}_{h+1}(s') \right]$$
Crucialement, la valeur de continuation $V^{(0)}_{h+1}$ est la fonction de valeur cible. La différence entre l'opérateur Bellman cible réel et l'opérateur source aligné RWT se simplifie en :
$$\Delta^{(m)}_h(s, a) = (B^{(0)}_h V^{(0)}_{h+1})(s, a) - (B^{(m \to 0)}_h V^{(m)}_{h+1})(s, a) = R^{(0)}_h(s, a) - R^{(m)}_h(s, a)$$
Ce résultat montre que le décalage des tâches devient une différence de récompense fixe en une étape $\Delta^{(m)}_r$, indépendante de la fonction de valeur $V_{h+1}$. Cela transforme le problème de transfert en l'apprentissage d'un résidu structuré plutôt que d'un biais complexe dépendant des itérations.

2.2 Cadre Algorithmique : Q-Learning RWT

Les auteurs proposent un cadre de Q-learning RWT en deux étapes (Algorithme 1) qui sépare la réduction de variance de la correction de biais :

1. Étape I : Base Basée sur la Source (Réduction de Variance)
   • Construire des pseudo-étiquettes alignées RWT à partir des données sources en utilisant l'estimation actuelle de la valeur cible $V_{h+1}$.
   • Ajuster un estimateur de base $Q^{base}_{n,h}$ en utilisant ces pseudo-étiquettes. Cela exploite l'abondance des données sources pour réduire la variance d'estimation tout en maintenant la cohérence Bellman avec la tâche cible jusqu'à la différence de récompense.
2. Étape II : Correction Basée sur la Cible (Correction de Biais)
   • Calculer des étiquettes résiduelles à l'aide des données cibles : $z_{i,h} = y^{(0)}_{i,h} - Q^{base}_{n,h}(s_{i,h}, a_{i,h})$.
   • Estimer un terme de correction $\delta_{n,h}$ pour capturer la différence de récompense structurée en une étape $\Delta^{(m)}_r$.
   • L'estimation finale de transfert est $Q^{trans}_{n,h} = Q^{base}_{n,h} + \delta_{n,h}$.
3. Exploration :
   • Une prime d'exploration $b_{n,h}$ est ajoutée à $Q^{trans}_{n,h}$ pour former une estimation optimiste $Q^{ucb}_{n,h}$, tenant compte de l'incertitude provenant à la fois de la base source (incluant l'estimation du rapport de densité) et de la correction cible.

2.3 Instance Théorique (Espace de Hilbert à Noyau Reproductible - RKHS)

Le cadre est mis en œuvre sous l'approximation fonctionnelle par Espace de Hilbert à Noyau Reproductible (RKHS) :

• Le backup Bellman cible est supposé appartenir à un RKHS de haute complexité $\mathcal{K}$.
• Le décalage de tâche (la différence de récompense $\Delta^{(m)}_r$) est supposé appartenir à un RKHS de complexité inférieure $\tilde{\mathcal{K}} \subseteq \mathcal{K}$.
• La régression par noyau ridge est utilisée pour les étapes de base et de correction.
• Les primes d'exploration sont dérivées en fonction du gain d'information et des nombres de recouvrement des noyaux respectifs.

3. Contributions Clés

1. Conceptuelle : Identification de l'alignement Bellman en une étape comme l'abstraction correcte pour le transfert en ligne. L'article démontre que la réutilisation naïve de Bellman est structurellement biaisée en raison de la dépendance à la valeur de continuation, la rendant incompatible avec les garanties de regret.
2. Algorithmique : Proposition du Ciblage Pondéré (RWT), une correction au niveau de l'opérateur permettant une réutilisation statistiquement solide des données sources. Cela génère un cadre de Q-learning en deux étapes qui découple la réduction de variance (source) de la correction de biais (cible).
3. Théorique : Établissement de bornes de regret sous approximation RKHS qui évoluent avec la complexité du décalage de tâche (la différence de récompense) plutôt qu'avec la complexité du MDP cible complet. Cela offre des améliorations strictes par rapport à l'apprentissage mono-tâche lorsque le décalage est structuré.
4. Empirique : Démonstration d'améliorations constantes par rapport à l'apprentissage mono-tâche et au regroupement naïf dans des contextes tabulaires et de réseaux de neurones, validant la nécessité théorique de l'alignement Bellman.

4. Résultats

Résultats Théoriques

Sous l'hypothèse que le décalage de tâche appartient à un RKHS de complexité inférieure $\tilde{\mathcal{K}}$, la borne de regret pour l'algorithme OFU-RWT est :
$$\text{Regret}(N) \lesssim H \sqrt{N \beta_1} \left( N^{\beta_1+1} + N^{\alpha_1+1} \right) + \text{Termes Source}$$

• Le terme dominant dépend de la complexité du décalage de tâche ($\tilde{\mathcal{K}}$), et non du MDP cible ambiant ($\mathcal{K}$).
• Lorsque le décalage est plus simple que le problème ambiant (par exemple, $\alpha_1 \leq \beta_1$), le regret est strictement inférieur au taux $O(H N^{1/2+\beta_0})$ de l'apprentissage mono-tâche.
• Le terme d'estimation source diminue à mesure que le ratio d'échantillonnage source-cible $\kappa$ augmente.

Résultats Empiriques

Des expériences ont été menées sur RandomRewardGridEnv, où la récompense cible est un tableau Q fixe et la récompense source est une version perturbée ($R_{source} = R_{target} + \Delta$).

• Regroupement Naïf : Dégradation constante des performances par rapport à l'apprentissage uniquement sur la cible, confirmant le biais structurel prédit par la théorie.
• RWT-Q : A surpassé à la fois le regroupement naïf et les bases uniquement cibles dans les contextes tabulaires et de réseaux de neurones profonds (DQN).
• Efficacité Échantillonnale : RWT-Q a montré des gains significatifs en efficacité échantillonnale, en particulier lorsque le décalage de récompense était structuré mais non trivial.

5. Importance et Revendications

L'article revendique que l'alignement Bellman est un principe de transfert indépendant du modèle, essentiel pour le RL en ligne.

• Structurel vs Statistique : L'échec du transfert naïf est identifié comme un problème structurel (désalignement de l'opérateur) plutôt que statistique (données insuffisantes).
• Décomposition : En réduisant le décalage des tâches à une correction fixe en une étape, RWT permet de séparer l'apprentissage en une phase de réduction de variance pilotée par la source et une phase de correction de biais pilotée par la cible.
• Garanties de Regret : Contrairement aux méthodes de transfert précédentes reposant sur des représentations partagées ou des hypothèses hors ligne, ce travail fournit un transfert en ligne démontrablement efficace avec des bornes de regret qui s'adaptent à la complexité du décalage plutôt que de la tâche.
• Généralité : Le mécanisme est indépendant de la stratégie d'exploration spécifique (compatible avec $\epsilon$-greedy ou UCB) et de l'approximateur fonctionnel (tabulaire ou neuronal), en faisant un principe général pour le transfert en RL en ligne.