🤖 machine learning

Conservative Query and Adaptive Regularization for Offline RL Under Uncertainty Estimation

Cet article propose un cadre léger appelé Conservative Query and Adaptive Regularization under Uncertainty Estimation, qui exploite un réseau de Morse pour estimer l'incertitude des actions afin de guider les requêtes de préférence informatives et d'ajuster dynamiquement les contraintes au niveau des données, améliorant ainsi les performances de l'apprentissage par renforcement hors ligne sur le benchmark D4RL.

Auteurs originaux : Li-Rong Zhou, Qin-Wen Luo, Sheng-Jun Huang

Publié 2026-07-22

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Li-Rong Zhou, Qin-Wen Luo, Sheng-Jun Huang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot à marcher, mais que vous ne pouvez pas le laisser s'entraîner dans le monde réel. Peut-être est-ce trop coûteux, trop dangereux, ou peut-être que le robot pourrait casser quelque chose. Au lieu de cela, vous donnez au robot une immense bibliothèque vidéo de quelqu'un d'autre en train de marcher. C'est le monde de l'Apprentissage par Renforcement Hors Ligne (Offline Reinforcement Learning). Le robot doit apprendre une stratégie simplement en regardant ces vieilles vidéos, sans jamais faire un pas de son propre chef. La partie délicate est que le robot pourrait essayer de copier un mouvement vu dans la vidéo, mais s'il essaie de faire quelque chose d'un peu différent qui n'était pas dans la bibliothèque, il pourrait être confus ou tomber. C'est ce qu'on appelle le problème du « décalage de distribution » (distribution shift) : le robot devine des choses qu'il n'a pas vues auparavant.

Pour rendre le robot plus intelligent, les scientifiques lui permettent parfois de demander de l'aide à un expert humain. Imaginez que le robot dise : « Dois-je faire un pas à gauche ou à droite ? » et que l'expert réponde : « La gauche est meilleure. » C'est ce qu'on appelle une requête de préférence d'action (action preference query). C'est comme obtenir un indice sans avoir à sortir réellement pour essayer le mouvement vous-même. Cependant, il y a un piège : si le robot pose une question sur un mouvement qui est trop étrange ou trop éloigné de ce qu'il a vu dans la vidéo, les conseils de l'expert pourraient en réalité confondre le calcul interne du robot, le faisant apprendre la mauvaise chose. La grande question est : comment demander le bon type d'aide sans mettre le robot en difficulté ?

Ce document présente un nouveau système ingénieux appelé CQ2L (Conservative Query Q-Learning) pour résoudre précisément ce problème. Les auteurs, Li-Rong Zhou, Qin-Wen Luo et Sheng-Jun Huang de l'Université de l'Aéronautique et de l'Astronautique de Nanjing, ont réalisé que les méthodes précédentes étaient un peu trop téméraires. Elles demandaient des conseils sur n'importe quel mouvement auquel le robot pensait, même si ce mouvement était totalement étranger aux vidéos d'entraînement. Cela menait souvent le robot à être « ivre » de mauvais conseils et à trébucher.

Les auteurs proposent un filet de sécurité en deux parties pour corriger cela. Premièrement, ils utilisent un outil spécial appelé un réseau de neurones Morse. Considérez cela comme un « détecteur de bizarrerie ». Avant que le robot ne demande de l'aide, ce détecteur vérifie : « Ce nouveau mouvement est-il quelque chose que nous avons déjà vu, ou est-il totalement étranger ? » Si le mouvement est trop étranger (hors distribution), le système dit : « Non, ne pose pas de question sur celui-là ; c'est trop risqué. » Il ne permet au robot de poser des questions que sur des mouvements proches de ceux de la bibliothèque vidéo. C'est la Requête Conservatrice (Conservative Query).

Deuxièmement, même lorsque le robot reçoit de bons conseils, le système doit savoir à quel point il doit l'écouter. Les auteurs ont créé un système de Régularisation Adaptative. Imaginez que le robot possède un bouton de volume pour les conseils de l'expert. Si le robot fait quelque chose de très familier (sûr), le volume est baissé car le robot peut très bien apprendre uniquement à partir des données vidéo. Mais si le robot essaie quelque chose d'un peu nouveau mais toujours sûr, le volume est augmenté pour laisser les conseils de l'expert le guider. Si le robot tente quelque chose de dangereux, le système augmente le volume au maximum pour le forcer à revenir à la sécurité. Cet ajustement dynamique empêche le robot d'être trop têtu ou trop facilement influençable.

Les chercheurs ont testé cette idée sur un benchmark célèbre appelé D4RL, qui comprend des tâches comme faire courir un guépard virtuel ou faire naviguer une fourmi dans un labyrinthe. Ils ont comparé leur méthode à d'autres algorithmes de pointe. Les résultats ont montré que leur approche de « questionnement intelligent » fonctionnait mieux que l'apprentissage hors ligne standard. En fait, elle est aussi performante, voire parfois plus, que les méthodes qui sont autorisées à s'entraîner dans le monde réel pendant longtemps, mais elles le font avec beaucoup moins de « questions » (seulement 90 000 requêtes de préférence contre 250 000 étapes de pratique réelle pour d'autres méthodes).

Le document argumente explicitement contre l'ancienne méthode consistant à simplement demander des conseils sur n'importe quel mouvement aléatoire, montant que cela conduit à un apprentissage instable et à de mauvais résultats. Ils suggèrent qu'en étant prudent sur ce que vous demandez et sur comment vous écoutez, vous pouvez obtenir le meilleur des deux mondes : la sécurité de l'apprentissage à partir d'une bibliothèque statique et l'élan du guidage par un expert, sans le risque de faire planter le robot. Leurs expériences sur le benchmark D4RL suggèrent que cette approche est une façon solide et fiable de rendre l'apprentissage hors ligne plus intelligent et plus sûr.

Résumé Technique : Requête Conservatrice et Régularisation Adaptative pour l'Apprentissage par Renforcement Hors Ligne sous Estimation de l'Incertitude

1. Énoncé du Problème

L'apprentissage par renforcement (RL) hors ligne vise à apprendre des politiques efficaces à partir de jeux de données statiques sans interaction supplémentaire avec l'environnement. Cependant, la performance est fondamentalement limitée par la couverture du jeu de données. Un défi majeur est le décalage de distribution (distribution shift), où la politique apprise sélectionne des actions hors distribution (OOD), entraînant des estimations de valeur inexactes et une propagation d'erreurs.

Bien que les mécanismes de requête de préférence d'action (action preference query) offrent un moyen d'améliorer les politiques en utilisant les retours d'un expert (comparaison de paires d'actions) sans interaction en ligne, les méthodes existantes (par exemple, OAP [41]) font face à deux limitations critiques :

Décalage de Requête (Query Shift) : Les stratégies existantes sélectionnent les actions requêtées en se basant uniquement sur la distance euclidienne par rapport au jeu de données. Cela peut entraîner la sélection d'actions situées bien au-delà de la distribution du jeu de données (OOD). Dans les méthodes de régularisation de valeur, cela induit une estimation de valeur inexacte et des mises à jour de politique instables, car le terme de régularisation peut élever erronément les valeurs Q des actions OOD.
Exploitation Inefficace : Les approches actuelles traitent les préférences requêtées comme des contraintes statiques tout au long de l'entraînement. Elles ne parviennent pas à ajuster dynamiquement la dépendance à ces préférences à mesure que la politique s'améliore, appliquant souvent des contraintes inutiles à des actions fiables ou échouant à exploiter le potentiel optimiste des mises à jour de Bellman pour les actions dans la distribution.

2. Méthodologie

Les auteurs proposent un cadre léger intégrant une Requête Conservatrice et une Régularisation Adaptative sous Estimation de l'Incertitude. Les composants clés sont :

A. Estimation de l'Incertitude via les Réseaux de Neurones Morse
La méthode utilise un Réseau de Neurones Morse [10, 4, 45, 33] comme estimateur d'incertitude pré-entraîné.

Entraînement : Le réseau est entraîné sur le jeu de données hors ligne $D$ pour produire un « score Morse » $M_\phi(s, a) \in [0, 1]$ . Un score de 1 indique que l'action se situe sur la sous-variété de mode de la distribution des données, tandis que des scores plus faibles indiquent un écart (degré d'incertitude/OOD plus élevé).
Mécanisme : Le réseau minimise la divergence KL entre la distribution des données et la sortie du réseau, quantifiant ainsi la certitude qu'une paire état-action provient du jeu de données hors ligne.

B. Requête Conservatrice Pilotée par l'Incertitude
Pour prévenir le décalage de requête, le cadre filtre les actions candidates avant de requêter un oracle (par exemple, la fonction Q d'une politique plus forte).

Stratégie de Sélection : Au lieu d'une simple sélection basée sur la distance, la méthode classe les actions candidates selon leur divergence par rapport au jeu de données mais les filtre en utilisant un seuil sensible aux données $\delta = \mu - n\sigma$ (où $\mu$ et $\sigma$ sont la moyenne et l'écart-type des scores Morse sur le jeu de données).
Contrainte : Seules les actions ayant un $M_\phi(s, \hat{a}) > \delta$ sont conservées pour la requête de préférence. Cela garantit que les actions requêtées restent proches de la distribution du jeu de données, préservant la stabilité des mises à jour de Bellman et empêvant la surestimation des valeurs OOD.

C. Régularisation Adaptative Sensible à l'Incertitude
Pour utiliser efficacement l'information de préférence, la méthode remplace les coefficients de régularisation fixes par des coefficients dépendants des données.

Modulation Dynamique : La force de régularisation $\alpha(s, a)$ $α (s, a)$ est ajustée dynamiquement en fonction du score Morse de l'action de la politique actuelle.
- Haute Confiance dans la Distribution : Si une action est proche du jeu de données (score Morse élevé), la force de régularisation est réduite (tendant vers 0), permettant à la politique de bénéficier pleinement des mises à jour de Bellman optimistes.
- Faible Confiance dans la Distribution : Si une action est OOD (score Morse faible), une régularisation plus forte est appliquée pour guider la politique vers le jeu de données.
Mise à l'Échelle Non Linéaire : Pour assurer un pouvoir discriminatif (car une mise à l'échelle linéaire entraîne souvent des contraintes faibles), une fonction de mise à l'échelle non linéaire est introduite pour moduler la force de régularisation en fonction de la distribution des scores Morse.

D. Intégration avec CQL
Le cadre est intégré à CQL (Conservative Q-Learning), un algorithme représentatif de régularisation de valeur. L'algorithme résultant, CQ2L (Conservative Query Q-Learning), modifie l'objectif CQL pour inclure le terme de régularisation adaptative et met à jour les actions préférées $\tilde{a}$ basées sur le mécanisme de requête conservatrice.

3. Principales Contributions

Estimation de l'Incertitude basée sur Morse : L'introduction des réseaux de neurones Morse pour quantifier le degré OOD des actions candidates par rapport au jeu de données hors ligne, servant de fondement tant pour la requête que pour la régularisation.
Requête Conservatrice Pilotée par l'Incertitude : Un mécanisme qui filtre les candidats de requête pour garantir qu'ils restent dans la distribution du jeu de données, atténuant le décalage de requête et stabilisant l'estimation de la valeur dans les cadres de régularisation de valeur.
Régularisation Adaptative Sensible à l'Incertitude : Un mécanisme de contrainte dynamique qui équilibre la régularisation pessimiste et les mises à jour de Bellman optimistes en fonction de la fiabilité des actions de la politique actuelle, évitant des contraintes inefficaces sur les actions dans la distribution.
Extension à la Régularisation de Valeur : Extension réussie du paradigme de requête de préférence d'action des méthodes de contrainte de politique vers les méthodes de régularisation de valeur (spécifiquement CQL), un domaine où les méthodes de requête précédentes éprouvaient des difficultés.

4. Résultats Expérimentaux

La méthode a été évaluée sur le benchmark D4RL, couvrant les tâches de locomotion MuJoCo et de navigation AntMaze.

Performance Hors Ligne : CQ2L a obtenu des performances supérieures ou compétitives par rapport aux bases de référence de l'apprentissage par renforcement hors ligne de pointe (incluant AWAC, IQL, CQL, TD3+BC) et à la précédente méthode de requête de préférence d'action (OAP). Notamment, il a atteint un score normalisé moyen de 91,4 sur les tâches MuJoCo et 75,8 sur les tâches AntMaze, surpassant OAP (respectivement 89,9 et 69,3 dans le schéma hors ligne).
Efficacité Hors Ligne-vers-En Ligne (O2O) : Dans le cadre O2O, CQ2L n'a utilisé que 90 000 requêtes de préférence (significativement moins que les 250 000 étapes d'interaction en ligne utilisées par les bases de référence de fine-tuning et moins que les 100 000 requêtes d'OAP). Malgré cela, il a surpassé la plupart des bases de référence ayant subi un fine-tuning intensif en ligne et a obtenu des résultats comparables ou supérieurs à un CQL fine-tuné.
Études d'Ablation : Les expériences ont confirmé que les composants de Requête Conservatrice (CQ) et de Régularisation Adaptative (AR) sont essentiels.
- Dans les tâches à récompense dense et faible dimension (MuJoCo), la Régularisation Adaptative était cruciale pour exploiter les mises à jour de Bellman.
- Dans les tâches à récompense éparse et haute dimension (AntMaze), la Requête Conservatrice était vitale pour prévenir la surestimation des actions OOD et faciliter le « chaînage de trajectoires » (trajectory stitching) au sein de la variété des données.

5. Signification et Revendications

L'article affirme que le cadre proposé résout l'instabilité fondamentale de l'intégration des requêtes de préférence d'action dans les méthodes de régularisation de valeur. En exploitant l'estimation de l'incertitude, la méthode :

Atténue le Décalage de Requête : Garantit que les requêtes de préférence ne déstabilisent pas la fonction de valeur en restreignant les requêtes à la région de la distribution.
Optimise l'Utilisation de l'Information : Équilibre dynamiquement le compromis entre la contrainte conservatrice et la nature optimiste des mises à jour de Bellman, garantissant que l'information de préférence est utilisée efficacement sans entraver l'apprentissage sur les actions fiables.
Élargit l'Applicabilité : Démontre que les requêtes de préférence d'action peuvent être adaptées avec succès aux algorithmes de régularisation de valeur, offrant une nouvelle direction pour améliorer les performances du RL hors ligne sans les coûts et les risques de l'interaction en ligne.

Les auteurs concluent que leur méthode fournit une solution robuste et légère qui atteint des performances supérieures à travers diverses tâches, validant l'efficacité de la combinaison de la requête pilotée par l'incertitude et de la régularisation adaptative.