UNIQ: Conformal Calibration for Adaptive Conservatism in Offline Reinforcement Learning

Résumé Technique : UNIQ – Étalonnage Conforme pour un Conservatisme Adaptatif en Apprentissage par Renforcement Hors Ligne

1. Énoncé du Problème

L'apprentissage par renforcement (RL) hors ligne fait face au défi critique du décalage de distribution (distribution shift) : une politique apprise peut interroger des paires état-action qui sont rares ou absentes dans le jeu de données hors ligne fixe. Les méthodes classiques de différence temporelle (TD) extrapolent de manière aberrante dans ces régions hors distribution (OOD), entraînant une surestimation catastrophique et un effondrement de la politique.

Les solutions existantes se classent généralement en trois catégories : les contraintes de clonage comportemental, l'apprentissage de valeur conservateur (ex: CQL, IQL) et l'incertitude basée sur des ensembles (ensembles). Bien que l'Implicit Q-Learning (IQL) offre une base de référence légère et stable grâce à un paramètre d'expectile $\tau$ fixe pour supprimer la surestimation OOD, il souffre d'une limitation structurelle : il applique un niveau de conservatisme unique et fixe uniformément à tous les états.

• Dans les régions à couverture dense, ce conservatisme fixe est inutilement restrictif, laissant passer des gains de performance potentiels.
• Dans les régions à couverture faible, un $\tau$ fixe peut encore être insuffisant pour empêcher la surestimation.

Le papier postule qu'un mécanisme est nécessaire pour adapter le conservatisme par état, en le renforçant là où la couverture des données est faible et en l'assouplissant là où la couverture est riche, sans encourir les coûts computationnels massifs des méthodes à grands ensembles comme EDAC.

2. Méthodologie : UNIQ

UNIQ (Uncertainty-Informed Quantile) étend la structure d'IQL en remplaçant l'expectile fixe $\tau$ par un $\tau(s)$ adaptatif à l'état, piloté par une incertitude calibrée de manière conforme. La méthode se compose de trois composantes clés :

A. Ensemble de Valeurs Multi-Expectiles
Au lieu d'entraîner un seul réseau de valeur, UNIQ entraîne un ensemble de $N_v$ réseaux de valeur, chacun ajusté à trois niveaux d'expectiles fixes : $\bar{\tau} \in \{0.5, 0.7, 0.9\}$. Cela produit $3N_v$ têtes de valeur. Cet ajustement multi-résolution extrait deux signaux d'incertitude complémentaires :

1. Incertitude Épistémique ($\sigma_{ens}$) : l'écart-type des prédictions de l'ensemble au niveau $\tau=0.7$, capturant le désaccord entre les critiques.
2. Écart Aléatoire ($\Delta_\tau$) : la différence entre les prédictions moyennes à $\tau=0.9$ et $\tau=0.5$, capturant la stochasticité inhérente des rendements.

B. Étalonnage Conforme Scindé (Split Conformal Calibration)
Le désaccord brut de l'ensemble $\sigma_{ens}(s)$ dépend de la tâche et de l'échelle. Pour normaliser cela en un score d'incertitude indépendant de la distribution, UNIQ utilise la prédiction conforme scindée :

• Un échantillon de calibration $D_{cal}$ est extrait des données d'entraînement.
• Un score de non-conformité $\alpha_i$ est calculé pour chaque transition de calibration, mesurant le résidu de Bellman de la fonction de valeur $\tau=0.7$ de l'ensemble.
• Le quantile $(1-\delta)$ de ces scores $\hat{q}$ est calculé, fournissant un seuil piloté par les données avec des garanties de couverture à échantillon fini.
• L'incertitude normalisée $u(s)$ est calculée comme suit :
  $$u(s) = \frac{\sigma_{ens}(s)}{\hat{q} + \epsilon}$$
  Ici, $u(s) > 1$ indique qu'un état est mal couvert (le désaccord dépasse le seuil calibré), tandis que $u(s) < 1$ indique une bonne couverture.

C. Conservatisme Adaptatif à l'État
L'incertitude normalisée $u(s)$ est projetée sur un expectile adaptatif $\tau(s)$ via un programme sigmoïde :
$$\tau(s) = \tau_{min} + (\tau_{max} - \tau_{min}) \cdot \sigma_{sig}(-\beta_\tau(u(s) - 1))$$

• Incertitude Élevée ($u(s) \gg 1$) : $\tau(s) \to \tau_{min}$, imposant une estimation de valeur plus conservatrice (plus basse).
• Faible Incertitude ($u(s) \ll 1$) : $\tau(s) \to \tau_{max}$, permettant une estimation de valeur plus optimiste.

De plus, UNIQ utilise une cible de valeur pessimiste globale $V_{pess}(s) = \bar{V}(0.7)(s) - \kappa \sigma_{ens}(s)$ pour les mises à jour de la fonction Q, où $\kappa$ est ajusté par tâche.

3. Contributions Clés

• Innovation de Mécanisme : UNIQ introduit la première méthode model-free rendant le paramètre d'expectile d'IQL dépendant de l'état de manière non paramétrique, en utilisant le calibrage conforme pour mettre à l'échelle les estimations d'incertitude.
• Efficacité : Contrairement aux méthodes lourdes en ensembles (ex: EDAC, SAC-N) qui passent à l'échelle linéairement avec le nombre de critiques et nécessitent une VRAM massive, UNIQ fonctionne avec des coûts de mémoire proches de ceux d'IQL. Il y parvient en utilisant des têtes de valeur à rang faible partagées et une étape de calibrage conforme légère.
• Transparence : Les auteurs rapportent explicitement les cas de sous-performance et positionnent leur travail comme une contribution de mécanisme pratique sur la frontière performance-efficacité, plutôt que comme une prétention de dominance absolue de l'état de l'art (SOTA) sur toutes les méthodes.

4. Résultats Expérimentaux

Les expériences ont été menées sur le benchmark D4RL MuJoCo (9 tâches sur HalfCheetah, Hopper et Walker2d).

• Performance vs IQL : UNIQ surpasse IQL sur les neuf tâches, atteignant un score moyen normalisé de 85.2 contre 81.6 pour IQL.
  • Gains : Les améliorations sont plus prononcées dans les tâches Hopper et Walker2d, particulièrement sur les jeux de données à replay moyen (ex: +7.2 sur Walker2d-medium-replay, +4.2 sur Hopper-medium-replay).
  • HalfCheetah : Les gains sont modestes (+0.1 à +1.5), ce qui est cohérent avec l'hypothèse selon laquelle les dynamiques fluides et bien couvertes bénéficient moins d'un conservatisme adaptatif.
• Performance vs Ensembles Lourds :
  • UNIQ (85.2 moy.) est en retrait par rapport à EDAC (92.9 moy.) et ReBRAC (89.7 moy.) en score agrégé.
  • Cependant, UNIQ atteint cela avec un coût computationnel nettement inférieur.
• Efficacité :
  • VRAM : UNIQ culmine à ~250 Mo, comparé à ~530 Mo pour IQL, ~2500 Mo pour EDAC et ~1200 Mo pour ReBRAC.
  • Calcul : UNIQ est environ 4,6× plus rapide par étape que EDAC (N=50) et seulement 1,1× plus lent que IQL.

5. Signification et Revendications

Le papier positionne UNIQ non pas comme une solution SOTA universelle supplantant les méthodes d'ensembles lourdes, mais comme un mécanisme pratique qui traite le goulot d'étranglement structurel du conservatisme global fixe dans les méthodes de type IQL.

• Amélioration Ciblée : La méthode est particulièrement efficace dans les environnements à couverture hétérogène (ex: jeux de données à replay massif où les modes de comportement varient brusquement). Dans ces scénarios, la capacité de UNIQ à assouplir le conservatisme dans les régions bien couvertes tout en le maintenant dans les régions éparses génère des gains significatifs.
• Accessibilité des Ressources : En opérant à des coûts de mémoire proches de ceux d'IQL, UNIQ offre une voie viable aux praticiens disposant de ressources de calcul limitées (ex: instance GPU unique ou MIG) pour obtenir des améliorations de performance par rapport à IQL sans l'overhead prohibitif des grands ensembles.
• Directions Futures : Les auteurs identifient la nécessité d'une sélection automatique et dépendante de l'état du coefficient de pessimisme $\kappa(s)$ et d'un démarrage anticipé du calibrage conforme comme prochaines étapes clés.

En résumé, UNIQ démontre que le conservatisme adaptatif, guidé par un étalonnage d'incertitude indépendant de la distribution, offre un compromis à haute valeur ajoutée entre performance et efficacité, rendant le RL hors ligne plus robuste dans des régimes de données complexes et hétérogènes sans nécessiter une montée en charge computationnelle massive.