Résumé Technique : Apprentissage Q à Long Horizon (LQL)

Énoncé du Problème

L'apprentissage par renforcement (RL) basé sur la valeur et hors politique, en particulier l'apprentissage Q, est théoriquement attrayant car il peut apprendre à partir d'expériences arbitraires, y compris des données collectées par des politiques plus anciennes ou d'autres agents. Cependant, dans la pratique, l'apprentissage à long horizon via l'auto-apprentissage (bootstrapping) est fragile. Les erreurs d'estimation aux états ultérieurs se propagent en arrière à travers les mises à jour de différence temporelle (TD), s'accumulant au fil du temps et déstabilisant l'apprentissage.

Une stratégie d'atténuation courante implique des cibles multi-étapes (par exemple, les retours à $n$ étapes ou les retours $\lambda$), qui réduisent la dépendance à l'auto-apprentissage à une seule étape en intégrant les récompenses observées sur un horizon plus long. Cependant, dans des contextes hors politique, les cibles à $n$ étapes introduisent une nouvelle tension : elles supposent implicitement que l'agent continuera à suivre la politique de comportement (qui a généré la trajectoire enregistrée) pour les $n$ étapes suivantes. Si les actions enregistrées sont sous-optimales, la sauvegarde résultante peut être pessimiste ou biaisée, ne parvenant pas à capturer le potentiel de la politique en cours d'apprentissage. Ce biais hors politique entraîne souvent une dégradation des performances des TD à $n$ étapes à mesure que $n$ augmente, en particulier dans les tâches à récompenses rares et à long horizon.

Méthodologie : Apprentissage Q à Long Horizon (LQL)

Les auteurs proposent l'Apprentissage Q à Long Horizon (LQL), une méthode conçue pour fournir un "filet de sécurité" fondé sur des principes contre les erreurs TD composées, sans introduire le biais hors politique inhérent aux cibles standard à $n$ étapes.

Insight Central : Inégalités d'Optimalité

Le LQL repose sur une propriété fondamentale des fonctions de valeur optimales : toute séquence réalisée d'actions fournit une borne inférieure de ce que la politique optimale peut atteindre en espérance à partir du même état de départ. Plus précisément, agir de manière optimale immédiatement ne devrait pas être pire (en termes de retour espéré) que de s'engager dans une séquence arbitraire d'actions observées pendant une durée donnée, puis de se comporter de manière optimale par la suite.

Les auteurs formalisent cela sous forme d'inégalités d'optimalité sur les trajectoires. Pour un segment de trajectoire allant de l'état $s_i$ à l'état $s_j$ (où $j > i$) :

1. Borne Inférieure : La valeur de l'action observée à $s_i$ devrait être au moins égale à la somme des récompenses observées de $i$ à $j$ plus la valeur actualisée de l'action optimale à $s_j$.
2. Borne Supérieure : La valeur de l'action optimale à un état antérieur $s_i$ devrait être au moins égale à la somme des récompenses observées de $i$ à $j$ plus la valeur actualisée de l'action observée à $s_j$.

Implémentation Algorithmique

Le LQL enrichit la perte TD standard à 1 étape par des pénalités de charnière asymétriques dérivées de ces inégalités.

• Pénalités de Borne Inférieure (LB) : Si l'estimation actuelle $Q_\theta(s_k, a_k)$ est inférieure au retour réalisé du segment de trajectoire $G_{k:\ell}$ plus la valeur auto-apprise à un état futur $s_\ell$, une pénalité est appliquée pour pousser $Q_\theta(s_k, a_k)$ vers le haut.
• Pénalités de Borne Supérieure (UB) : Si la combinaison de l'estimation actuelle $Q_\theta(s_k, a_k)$ avec les récompenses précédentes implique un retour supérieur à ce qui pourrait être obtenu en agissant de manière optimale à un état antérieur $s_i$, une pénalité est appliquée pour pousser $Q_\theta(s_k, a_k)$ vers le bas.

Caractéristique d'Efficacité Clé : Crucialement, le LQL calcule ces pénalités en utilisant uniquement les sorties du réseau déjà générées lors d'une mise à jour TD standard (c'est-à-dire $Q_\theta(s, a)$ et les valeurs du réseau cible $Q_{\bar{\theta}}(s, a^*)$). Il ne nécessite aucun réseau auxiliaire et aucun passage avant supplémentaire par rapport à l'apprentissage Q standard. La méthode échantillonne des trajectoires depuis le tampon de replay et agrège ces pertes de charnière sur toute la trajectoire.

Contributions Clés

1. Filet de Sécurité Fondé sur des Principes : Le LQL introduit un mécanisme pour détecter et corriger les incohérences de valeur entre des états temporellement distants, répondant directement au problème d'erreur composée dans l'apprentissage hors politique.
2. Efficacité Computationnelle : Contrairement aux méthodes antérieures qui reposent sur des inégalités d'optimalité (par exemple, Optimality Tightening), le LQL évite la surcharge computationnelle de passages avant supplémentaires ou de réseaux auxiliaires en réutilisant les sorties existantes du réseau TD.
3. Évolutivité avec la Longueur de Trajectoire : La méthode traite la longueur de la trajectoire comme un axe d'évolutivité. Contrairement à l'évolutivité de la taille de lot dans le TD, qui peut entraîner un surapprentissage et une dégradation des performances, l'augmentation de la longueur de la trajectoire dans le LQL améliore constamment les performances.
4. Compatibilité : Le LQL est agnostique au mécanisme d'extraction de politique et peut être combiné avec diverses architectures d'acteur (Gaussienne, basée sur les flux, par blocs d'actions).

Résultats Expérimentaux

Les auteurs ont évalué le LQL sur une gamme de benchmarks en ligne et d'offline-to-online, notamment OGBench (navigation et manipulation robotiques à long horizon) et RoboMimic (manipulation humanoïde).

• Performances par rapport aux Baselines : Sur quatre familles différentes d'extraction de politique (Best-of-N, Flow Q-Learning, Gaussienne, et Action Chunking), le LQL a constamment surpassé à la fois le TD à 1 étape et le TD à $n$ étapes de longueur équivalente.
• Succès à Long Horizon : Dans la tâche la plus difficile, humanoidmaze-giant (récompenses rares, milliers d'étapes), le TD à 1 étape a échoué à résoudre aucune tâche (0 % de succès). Le TD à $n$ étapes standard a montré une amélioration partielle mais s'est dégradé de manière significative lorsque $n$ dépassait 4. En revanche, le LQL avec une longueur de trajectoire de $L=64$ a atteint un taux de succès moyen de 75,7 %, résolvant deux tâches avec un succès quasi parfait (>97 %).
• Stabilité : Le LQL a démontré une stabilité supérieure dans l'estimation de la valeur. Alors que le TD à 1 étape souffrait souvent d'une surestimation "hors de contrôle" (les valeurs Q divergeant vers des magnitudes extrêmes), le LQL a maintenu les valeurs Q dans des plages analytiquement valides, empêchant la divergence.
• Robustesse : Le LQL a maintenu ses performances dans des environnements stochastiques où des biais théoriques issus d'inégalités en espérance auraient pu causer des problèmes.
• Surcharge : La méthode a entraîné un coût d'exécution négligeable (ralentissement moyen de 4,7 % par mise à jour) par rapport au TD standard.

Importance et Revendications

L'article affirme que le LQL offre une solution pratique au "triade mortelle" de l'apprentissage hors politique, de l'auto-apprentissage et de l'approximation de fonction en fournissant un contrôle de cohérence à long horizon qui n'hérite pas du biais hors politique des cibles multi-étapes.

Les auteurs soulignent deux implications plus larges :

1. Absorption d'Information : Le LQL offre un moyen d'absorber l'information de trajectoires très longues sans le biais hors politique qui limite les cibles à $n$ étapes.
2. Axe d'Évolutivité : La longueur de la trajectoire émerge comme un axe d'évolutivité viable pour le RL profond basé sur la valeur, évitant la dégradation pathologique observée lors de l'augmentation des tailles de lot dans l'apprentissage TD standard.

L'ouvrage est modeste concernant les limitations théoriques, reconnaissant que les inégalités d'optimalité sont des énoncés en espérance, ce qui introduit un biais théorique dans les environnements stochastiques lorsqu'ils sont approximés via des échantillons uniques. Cependant, les résultats empiriques et les bornes théoriques suggèrent que ce biais est borné et ne nuit pas matériellement aux performances dans la pratique.