Résumé Technique : RankQ - Apprentissage par Renforcement du Hors-ligne vers l'En-ligne via le Classement Autonome des Actions

Énoncé du Problème

L'apprentissage par renforcement (RL) du hors-ligne vers l'en-ligne vise à améliorer l'efficacité de l'échantillonnage en exploitant des données précollectées avant d'engager une interaction en ligne. Un défi majeur dans ce paradigme est l'apprentissage d'un critique (fonction de valeur) précis dans de grands espaces d'états et d'actions où la couverture des données est limitée. Les méthodes existantes abordent souvent la surestimation de la valeur pour les actions hors distribution (OOD) en imposant un pessimisme, réduisant efficacement le poids des actions OOD par rapport aux actions du jeu de données (par exemple, Conservative Q-Learning [3] et Calibrated Q-Learning [2]).

Bien que le pessimisme stabilise l'entraînement, l'article soutient qu'il agit comme une « ancre de clonage de comportement ». En pénalisant uniformément les actions non vues, ces méthodes biaisent la politique vers la distribution du jeu de données. Cela devient problématique lorsque le jeu de données hors-ligne contient des trajectoires sous-optimales ou d'échec ; la contrainte pessimiste peut entraver l'amélioration de la politique en ligne en aval en empêchant l'agent d'explorer des actions potentiellement supérieures qui n'étaient pas présentes dans les données. La question centrale abordée est de savoir comment façonner les fonctions de valeur au-delà du jeu de données pour permettre une amélioration en ligne efficace sans recourir à un pessimisme uniforme.

Méthodologie : RankQ

Les auteurs proposent RankQ, un objectif d'apprentissage Q hors-ligne vers en-ligne qui enrichit l'apprentissage par différence temporelle (TD) standard avec une fonction de perte de classement multi-terme autonome. Au lieu de pénaliser uniformément les actions OOD, RankQ modélise explicitement la qualité relative des actions pour imposer un ordre structuré dans le paysage des valeurs Q.

Mécanisme Central

La méthode partitionne le jeu de données $D$ en trajectoires de succès ($D_{success}$) et d'échec ($D_{failure}$). Elle construit des classes spécifiques d'actions sous-optimales pour créer des contraintes de classement par paires :

1. Actions bruitées ($a_\epsilon$) : $a + \epsilon$, où $\epsilon \sim \mathcal{N}(0, \sigma)$.
2. Actions très bruitées ($a_{2\epsilon}$) : $a + 2\epsilon$.
3. Actions aléatoires ($a_r$) : Actions échantillonnées uniformément.
4. Actions permutées ($a_p$) : Actions échantillonnées à partir d'états non liés.

La perte RankQ impose l'ordre structuré suivant :

• Préférence pour le Succès : Pour les transitions réussies, la valeur Q de l'action optimale doit être supérieure à toutes les variantes sous-optimales : $Q(s, a) > Q(s, a')$ pour $a' \in \{a_\epsilon, a_{2\epsilon}, a_r, a_p\}$.
• Qualité Relative parmi les Actions Sous-optimales : La méthode impose une hiérarchie basée sur la proximité avec l'action optimale : $Q(s, a_\epsilon) > Q(s, a_{2\epsilon}) > Q(s, a_r)$. Cela garantit que les gradients du paysage Q ($\partial Q/\partial a$) pointent vers des régions de plus haute qualité plutôt que simplement loin du jeu de données.
• Supervision par l'Échec : Pour les trajectoires d'échec, la méthode impose que l'action du jeu de données reste préférable aux actions aléatoires ($Q(s, a) > Q(s, a_r)$), mais évite d'imposer des contraintes de classement plus fortes en raison de l'absence de notion significative de qualité relative parmi les échecs.

L'objectif final combine ces pertes de classement avec la perte TD standard :
$$L_{RankQ}^Q(\theta) = \alpha_0 (L_{succ}^Q(\theta) + L_{neg}^Q(\theta)) + \alpha_1 L_{fail}^Q(\theta) + L_{TD}(\theta)$$

Contributions Clés

1. Performance sur les Benchmarks : RankQ atteint des performances compétitives ou supérieures à sept méthodes antérieures (y compris CQL, Cal-QL et Hybrid RL) sur quatre environnements antmaze et trois environnements adroit à récompense sparse dans le benchmark D4RL.
2. Affinement VLA à Faible Volume de Données : Dans un régime difficile à faible volume de données (200 déroulements hors-ligne, 8 déroulements en ligne par mise à jour), RankQ est la seule méthode à améliorer significativement le modèle de base Vision-Language-Action (VLA). Il atteint un taux de succès moyen 42,7 % plus élevé que la deuxième meilleure méthode sur trois tâches de manipulation (carotte-sur-assiette, empilement de cubes, cuillère-dans-bol).
3. Performance à Haut Volume de Données et Transfert Sim-to-Réal : Dans un cadre à haut volume de données avec une randomisation de domaine extensive, RankQ améliore les taux de succès en simulation de 13,7 % et la vitesse d'achèvement des tâches de 25,7 % par rapport à la deuxième meilleure méthode. Crucialement, il démontre un transfert sim-to-réal réussi, augmentant le succès de l'empilement de cubes dans le monde réel de 43,1 % à 84,7 % par rapport aux performances VLA initiales.
4. Analyse du Paysage Q : Les auteurs fournissent une analyse extensive montrant que RankQ façonne le paysage des valeurs Q de telle sorte que les gradients d'action sont dirigés vers des comportements de plus haute qualité, évitant le pessimisme illimité et les pics de gradient excessifs observés dans CQL et Cal-QL.

Résultats Expérimentaux

• Benchmarks D4RL : RankQ égale les meilleures lignes de base sur les tâches plus faciles (par exemple, antmaze-medium, adroit-pen) et surpasse toutes les lignes de base sur des tâches difficiles à horizon long comme antmaze-large et adroit-relocate, où d'autres méthodes échouent souvent à apprendre des politiques significatives.
• VLA à Faible Volume de Données : Avec seulement 800 déroulements en ligne au total, RankQ repousse constamment la politique au-delà de sa ligne de base d'imitation, tandis que d'autres méthodes (CQL, Cal-QL, SAC+OFF) plafonnent largement près de leurs performances initiales.
• VLA à Haut Volume de Données et Transfert Sim-to-Réal : Les politiques entraînées avec RankQ atteignent non seulement des taux de succès plus élevés mais exécutent également les tâches plus rapidement (environ 8 secondes contre 10,5–12,5 secondes pour les lignes de base). Dans des essais réels, la politique RankQ a amélioré le taux de succès de l'empilement de cubes de 43,1 % à 84,7 % sur 144 essais, tout en réduisant la variance du temps d'exécution.

Importance et Revendications

L'article revendique que modéliser explicitement l'ordre relatif des actions fournit une alternative efficace au pessimisme uniforme utilisé dans les méthodes état-de-l'art du hors-ligne vers l'en-ligne. En façonnant la fonction Q pour guider les gradients d'action vers des comportements de plus haute qualité plutôt que de simplement supprimer les actions non vues, RankQ permet une amélioration de politique plus efficace à la fois lors du pré-entraînement hors-ligne et du réglage fin en ligne.

Les auteurs suggèrent que cette approche est particulièrement précieuse dans les contextes à récompense sparse et à faible volume de données, où les méthodes pessimistes peuvent devenir trop restrictives et échouer à extraire des signaux d'apprentissage des données d'échec abondantes. Le transfert sim-to-réal réussi de la politique RankQ démontre que le façonnage structuré de la valeur peut faciliter le RL évolutif du hors-ligne vers l'en-ligne et l'apprentissage robotique dans le monde réel, même lorsque le jeu de données initial est dominé par des trajectoires sous-optimales ou d'échec.