Résumé Technique : Apprentissage par renforcement Q à n-étapes par l'expectile supérieur (Upper-Expectile Multi-Step Q-Learning)

Énoncé du Problème

L'apprentissage de la valeur hors-politique (off-policy) par renforcement vise à apprendre des politiques améliorées à partir d'expériences enregistrées, collectées par des politiques antérieures ou des opérateurs humains. Bien que les retours multi-étapes (n-step TD) accélèrent la propagation des récompenses en raccourcissant la chaîne de bootstrap effective, ils introduisent un défi majeur dans les contextes hors-politique : le biais pessimiste.

Dans le TD n-étapes standard, la cible pour une paire état-action $(s_t, a_t)$ incorpore les récompenses des actions suivantes enregistrées $a_{t+1:t+n-1}$, qui sont générées par une politique de comportement $\pi_\beta$ plutôt que par la politique cible en cours d'apprentissage. Cela couple l'évaluation de la décision initiale aux continuations sous-optimales qui suivent. Sur des données hors-ligne hétérogènes, cela induit un biais pessimiste systématique qui croît avec l'horizon $n$, pouvant dégrader les performances sur de longs horizons.

Les remèdes existants présentent des limites :

• Variantes d'échantillonnage d'importance (IS) (ex: Retrace, V-trace) : Nécessitent les vraisemblances des actions, qui sont souvent indisponibles ou coûteuses à calculer pour des politiques génératives expressives (ex: modèles de diffusion ou de flow-matching).
• Long-Horizon Q-learning (LQL) : Utilise des inégalités d'optimalité au niveau de la trajectoire pour contraindre les estimations de valeur. Bien qu'efficace, cela nécessite d'évaluer les critiques à plusieurs positions au sein d'une trajectoire et de construire des contraintes par paires, ce qui augmente la charge de calcul.

Les auteurs posent la question suivante : Peut-on conserver la propagation rapide des backups n-étapes tout en réduisant le biais hors-politique, en utilisant uniquement les deux évaluations de critique effectuées par une mise à jour n-étapes standard ?

Méthodologie : Q-learning n-étapes par l'expectile (ENQ)

Le papier propose l'apprentissage Q n-étapes par l'expectile (ENQ), une modification du TD n-étapes standard qui remplace la perte d'erreur quadratique symétrique par une perte d'expectile asymétrique.

Mécanisme Central

Au lieu de minimiser l'erreur quadratique du résidu TD, l'ENQ minimise la perte d'expectile asymétrique $\ell_\tau$ sur l'erreur de valeur d'action :
$$\ell_\tau(u) \triangleq |\tau - \mathbb{I}(u < 0)| u^2$$
où $\tau \in (0, 1)$ est le niveau d'expectile.

• Construction de la Cible : Pour un segment de longueur $n$, la cible $Y_{t,n}$ est construite comme la somme du retour partiel $G_{t:t+n}$ et de la valeur de bootstrap à $s_{t+n}$ :
  $$Y_{t,n} = G_{t:t+n} + \gamma^n \bar{Q}^\rho_\theta(s_{t+n}, a^*(s_{t+n}))$$
  où $\bar{Q}^\rho_\theta$ est une moyenne d'ensemble conservatrice des critiques cibles.
• Fonction de Perte : Le critique $Q_\theta$ est entraîné pour s'ajuster à l'expectile $\tau$ de la distribution de ces cibles n-étapes conditionnées par $(s_t, a_t)$.
  $$L_{ENQ}(\theta) = \mathbb{E}_D \left[ v_t \cdot \frac{1}{K} \sum_{i=1}^K \ell_\tau(\delta_i) \right]$$
  où $\delta_i = \text{sg}[Y_{t,n}] - Q_{\theta,i}(s_t, a_t)$.

Choix de Conception Clés

1. Pondération Asymétrique : Pour $\tau > 0.5$, les résidus positifs (sous-estimation) reçoivent un poids $\tau$, tandis que les résidus négatifs (surestimation) reçoivent un poids $1-\tau$. Cela force le critique à suivre la queue supérieure de la distribution des cibles n-étapes enregistrées, ignorant efficacement les continuations médiocres causées par des actions de comportement sous-optimales tout en conservant le signal de récompense multi-étapes.
2. Surcharge Minimale : Contra\à LQL, l'ENQ évalue le critique uniquement à la paire initiale $(s_t, a_t)$ et à l'état de bootstrap final $s_{t+n}$. Il ne nécessite aucune évaluation intermédiaire, aucune vraisemblance d'action, ni aucune pénalité de paire au niveau de la trajectoire.
3. Hyperparamètres : La méthode introduit un seul hyperparamètre spécifique à la méthode, le niveau d'expectile $\tau$, en plus de l'horizon de backup standard $n$.

Contributions Théoriques

Le papier fournit une analyse théorique rigoureuse de l'opérateur ENQ $T^n_\tau$ :

1. Propriété de Contraction : L'opérateur ENQ est prouvé être une $\gamma^n$-contraction pour tout $\tau \in (0, 1]$, garantissant l'existence d'un point fixe unique borné $Q^n_\tau$ atteignable par itération.
2. Analyse de la Dynamique Déterministe :
   • Décomposition du Biais : Sous une dynamique déterministe, le pessimisme du TD n-étapes standard (à $\tau=0.5$) est exactement décomposé en une somme de gaps de sous-optimalité actualisés des actions enregistrées intermédiaires.
   • Optimalité à $\tau=1$ : À $\tau=1$, le biais de l'opérateur disparaît sur les paires couvertes (où la politique de comportement place une probabilité positive sur les continuations optimales). Le point fixe $Q^n_1$ satisfait l'inégalité de borne inférieure utilisée par LQL par construction aux séparations $n, 2n, \dots$.
   • Monotonie : Le point fixe $Q^n_\tau$ est non-décroissant par rapport à $\tau$ et est borné au-dessus par la fonction de valeur optimale $Q^*$.
3. Analyse de la Dynamique Stochastique :
   • Le biais de l'opérateur admet des bornes bilatérales avec des constantes de bruit indépendantes de l'horizon. Le biais est borné inférieurement par la dérive comportementale (pessimisme) et supérieurement par un terme dépendant de la variance des retours et du niveau d'expectile $\tau$.
   • Un seuil "sûr" $\tau_{safe}$ est dérivé pour garantir que le biais de l'opérateur reste non-positif (pessimiste) sous une dynamique stochastique.

Résultats Expérimentaux

Les auteurs ont évalué l'ENQ sur 27 instances de tâches issues de OGBench et RoboMimic, couvrant les domaines de la manipulation et de la navigation.

Configuration

• Baselines : Comparaison avec le TD 1-étape, le TD n-étapes standard et le Long-Horizon Q-learning (LQL).
• Configuration : Utilisation d'un $\tau = 0.8$ et $n=4$ fixes pour toutes les tâches sans réglage spécifique à la tâche.
• Extraction de Politique : Évalué avec Flow Q-Learning (FQL) et des variantes à chunks d'actions.

Principaux Résultats

1. Performance : L'ENQ a obtenu le taux de succès moyen agrégé le plus élevé dans 4 comparaisons sur 5 contre LQL. Des gains notables ont été observés sur des domaines complexes comme cube-triple, humanoid-md, et antmaze-giant.
2. Débit (Throughput) : Dans une étude de profilage contrôlée avec horizons et tailles de batch identiques, l'ENQ a démontré un débit d'entraînement 1,27x à 1,77x plus élevé que LQL. Ceci est attribué au fait que l'ENQ nécessite moins d'évaluations du critique par mise à jour (uniquement les états de début et de fin vs plusieurs points dans une trajectoire).
3. Mise à l'échelle de l'Ensemble : Dans une expérience de mise à l'échelle augmentant la taille de l'ensemble du critique de $K=2$ à $K=10$, l'ENQ a bénéficié plus significativement que LQL, atteignant un taux de succès de 78,0 % contre 59,1 % pour LQL sur cube-triple.
4. Ablations :
   • Niveau d'Expectile : Les expectiles supérieurs ($\tau > 0.5$) ont généralement surpassé la baseline symétrique ($\tau=0.5$). L' $\tau$ optimal avait tendance à augmenter avec l'horizon $n$.
   • Placement : Appliquer directement la perte d'expectile à l'erreur de valeur d'action (ENQ) a nettement surpassé une baseline de type n-étape IQL qui faisait passer l'asymétrie par une fonction de valeur d'état auxiliaire.
   • Robustesse : Sous un bruit stochastique élevé ($\sigma=0.25$), l'ENQ a maintenu une performance supérieure (succès de 59,0 %) comparé à LQL (5,4 %) et au TD n-étapes standard (48,4 %).

Signification et Revendications

Le papier affirme que l'ENQ offre une alternative simple, flexible et efficace sur le plan computationnel aux méthodes n-étapes hors-politique existantes. Sa signification réside dans :

• Réduction du Pessimisme sans Vraisemblances : Il atténue le biais induit par les actions enregistrées sous-optimales sans nécessiter de vraisemblances d'actions ou de poids d'importance, ce qui le rend compatible avec les classes de politiques génératives modernes.
• Efficacité Computationnelle : En évitant les contraintes au niveau de la trajectoire et les évaluations intermédiaires du critique, il atteint un débit d'entraînement plus élevé que les méthodes basées sur des contraintes comme LQL.
• Fondement Théorique : Il fournit un lien théorique clair entre le niveau d'expectile $\tau$ et la réduction du biais pessimiste, montrant que le point fixe $\tau=1$ satisfait les inégalités d'optimalité similaires à celles imposées par LQL, mais via un opérateur plus simple.

Les auteurs concluent que l'ENQ est un remplacement direct et compétitif pour le TD n-étapes symétrique, qui équilibre efficacement la vitesse de propagation des récompenses et la réduction du biais dans l'apprentissage par renforcement hors-politique.