Résumé Technique : STITCH-OPE

Énoncé du Problème

L'évaluation hors-politique (Off-Policy Evaluation ou OPE) vise à estimer la performance d'une politique cible ($\pi$) en utilisant des données collectées à partir d'une politique de comportement différente ($\beta$). Cela est crucial dans des domaines comme la robotique et la santé où l'interaction en ligne est coûteuse ou dangereuse. Cependant, les méthodes d'OPE existantes peinent face aux problèmes de haute dimension et de long horizon en raison de deux modes de défaillance principaux :

1. Échantillonnage préférentiel (Importance Sampling - IS) : Souffre de la « malédiction de l'horizon », où la variance croît exponentiellement avec l'horizon d'évaluation.
2. Méthodes basées sur des modèles (Model-Based) : Bien qu'efficaces en termes d'échantillonnage, elles souffrent d'erreurs de composition lors de l'apprentissage de modèles de dynamique pour de longues trajectoires, ce qui conduit à des estimations de valeur inexactes.
3. Décalage de distribution (Distribution Shift) : Les différences entre $\beta$ et $\pi$ entraînent des estimations inexactes, rendant difficile la confiance dans la sélection de la politique avant le déploiement.

Des tentatives récentes utilisant l'estimation de rapport de densité sans modèle (model-free) ont montré de faibles performances empiriques lorsque les politiques de comportement et cibles diffèrent considérablement.

Méthodologie : STITCH-OPE

Les auteurs proposent STITCH-OPE (Sub-Trajectory Importance-Weighted Trajectory Composition for Long-Horizon OPE), un cadre génératif basé sur des modèles qui exploite les modèles de diffusion de débruitage. L'innovation centrale réside dans la génération de trajectoires synthétiques pour la politique cible en guidant un modèle de diffusion entraîné sur les données de comportement, tout en évitant les erreurs de composition de la génération de trajectoires complètes.

1. Diffusion Guidée pour la Correction du Décalage de Distribution

Au lieu de réentraîner un modèle pour chaque nouvelle politique cible, STITCH-OPE pré-entraîne un modèle de diffusion sur l'ensemble de données de comportement ($D_\beta$) pour apprendre la distribution des trajectoires de comportement $p_\beta(\tau)$. Lors de l'inférence, il génère des trajectoires de la politique cible ($p_\pi$) en guidant le processus de débruitage.

La fonction de guidage $g(\tau)$ est dérivée du rapport de vraisemblance entre les politiques cible et de comportement. En interprétant le rapport de vraisemblance comme une densité de classification dans le guidage de diffusion, les auteurs formulent le guidage comme la différence entre les fonctions de score :
$$g(\tau) = \nabla_\tau \sum_{t=0}^{T-1} \log \pi(a_t|s_t) - \nabla_\tau \sum_{t=0}^{T-1} \log \beta(a_t|s_t)$$
Cela permet au modèle de déplacer la distribution d'échantillonnage de $p_\beta$ vers $p_\pi$ sans réentraînement.

2. Guidage de Comportement Négatif

Une contribution technique clé est l'inclusion du terme de score de comportement négatif ($-\nabla_\tau \log \beta$).

• Problème : L'utilisation du seul score de la politique cible ($\nabla_\tau \log \pi$) peut provoquer l'effondrement de la distribution d'échantillonnage guidée vers les régions de haute densité de la politique de comportement, même si ces régions sont peu probables sous la politique cible (sur-régularisation).
• Solution : Soustraire le score de comportement empêche cet effondrement, garantissant que le modèle généralise au-delà des données et traite correctement le décalage de distribution. Les auteurs généralisent cela avec des coefficients $\alpha$ et $\lambda$ (où typiquement $\lambda < \alpha$) pour contrôler l'importance relative des politiques.

3. Assemblage de Trajectoires avec Diffusion Conditionnelle

Pour répondre à l'erreur de composition de la génération à long horizon, STITCH-OPE ne génère pas de trajectoires complètes en une seule passe. Au lieu de cela :

• Génération de Sous-Trajectoires : Le modèle de diffusion est entraîné sur de courtes sous-trajectoires de longueur $w \ll T$.
• Échantillonnage Conditionnel : La génération est effectuée de manière semi-autorégressive. Le modèle génère une sous- trajectoire conditionnée par l'état final de la sous-trajectoire précédemment générée.
• Assemblage (Stitching) : Ces déroulements partiels sont assemblés bout à bout pour former une trajectoire de pleine longueur.

Cette approche traite la distribution des trajectoires de comportement comme un mélange de sous-trajectoires. En se conditionnant uniquement sur l'état précédent immédiat (plutôt que sur l'historique complet), le modèle maintient une entropie plus élevée et une couverture plus large des modes des données de comportement, améliorant considérablement la compositionnalité et la généralisation à de nouveaux états initiaux.

Garanties Théoriques

L'article fournit une borne sur l'erreur quadratique moyenne (MSE) de l'estimateur STITCH-OPE (Théorème 3.3).

• Sous des hypothèses modérées (rapport de vraisemblance borné et erreur bornée dans le modèle de comportement appris), la MSE est bornée.
• Crucialement, la borne dépend de la longueur de la sous-trajectoire $w$ plutôt que de l'horizon total $T$.
• Cela se traduit par une réduction exponentielle de la variance par rapport à l'échantillonnage préférentiel standard (qui évolue en $O(\exp(T))$) et une dépendance polynomiale plus favorable ($O(T^2)$) par rapport aux méthodes de diffusion de trajectoire complète.

Résultats Empiriques

Les auteurs ont évalué STITCH-OPE sur le benchmark D4RL (Hopper, Walker2d, HalfCheetah) et OpenAI Gym (Pendulum, Acrobot).

• Performance : STITCH-OPE a surpassé les bases de comparaison de l'état de l'art (incluant Fitted Q-Evaluation, Doubly Robust, Importance Sampling et Policy-Guided Diffusion) dans 11 cas sur 15 à travers diverses métriques :
  • Log RMSE : Réduction significative de l'erreur.
  • Corrélation de Rang : Capacité améliorée à classer correctement les politiques cibles.
  • Regret@1 : Regret plus faible dans la sélection de la meilleure politique.
• Politiques de Diffusion : La méthode a réussi à évaluer des politiques cibles complexes définies comme des modèles de diffusion, une tâche où d'autres estimateurs peinent en raison de l'absence de distributions de probabilité explicites.
• Ablation : Les expériences ont confirmé que la performance optimale se produit avec une petite taille de fenêtre ($w=8$) et une configuration de guidage où le terme de comportement négatif est présent ($0 < \lambda < \alpha$).

Signification et Revendications

L'article affirme que STITCH-OPE est le premier travail à démontrer une évaluation hors-politique robuste dans des tâches de haute dimension et à long horizon. Sa signification réside dans :

1. Combler le fossé : Il réussit à combler l'écart entre l'OPE basée sur des modèles (efficacité d'échantillonnage) et la diffusion hors-ligne de trajectoire complète (capacité générative) en atténuant les erreurs de composition grâce à l'assemblage de trajectoires.
2. Scalabilité : Il démontre que les modèles de diffusion peuvent être appliqués à l'OPE dans des espaces de haute dimension sans souffrir de l'explosion exponentielle de la variance typique des méthodes IS.
3. Généralisation : La combinaison de la diffusion conditionnelle et du guidage de comportement négatif permet une évaluation robuste de politiques cibles qui s'écartent significativement de la politique de comportement, y compris celles ayant des états initiaux ou des distributions d'actions différents.

Les auteurs restent modestes quant aux limites, notant que la méthode repose sur l'hypothèse que les données de comportement couvrent le support de la politique cible (Hypothèse 3.1) et que l'évaluation de la fidélité des trajectoires dans des états complexes et partiellement observables reste un défi. Ils notent également que l'applicabilité à des problèmes spécifiques au domaine en dehors de la robotique reste une question ouverte.