Résumé Technique : Trust Region Q-Adjoint Matching (TRQAM)

Énoncé du Problème

L'article aborde le défi du réglage fin hors politique (off-policy fine-tuning) pour les politiques de flux préentraînées. Bien que les politiques d'appariement de flux offrent des distributions d'actions riches et multi-modales supérieures aux politiques gaussiennes unimodales conventionnelles, leur définition implicite via des processus de débruitage multi-étapes rend l'amélioration de la politique par gradient instable. La rétropropagation directe à travers la chaîne d'échantillonnage est coûteuse en calcul et sujette à l'instabilité.

Les solutions existantes tentent de contourner ce problème soit en apprenant des résidus additifs (en ignorant la dynamique multi-étapes), soit en opérant dans l'espace du bruit (limité par l'expressivité de la politique figée). Une approche récente, l'apprentissage Q avec appariement adjoint (QAM), reformule le réglage fin comme un problème de Contrôle Optimal Stochastique (SOC) sans mémoire, utilisant un critique appris pour guider le processus d'échantillonnage via l'appariement adjoint. Cependant, les auteurs identifient une fragilité fondamentale dans QAM : dans les configurations hors politique, le critique appris est inévitablement imparfait. De petites erreurs d'approximation dans le critique sont exponentiellement amplifiées lorsque la mise à jour de la politique repose sur une "température" fixe (ou inverse de température $\beta$), entraînant une dérive destructrice par rapport au prior préentraîné et un effondrement final du modèle. Cette instabilité persiste même avec le découpage des gradients (gradient clipping).

Méthodologie : Trust Region Q-Adjoint Matching (TRQAM)

TRQAM propose un algorithme stable de réglage fin hors politique qui intègre un mécanisme de région de confiance directement dans la dynamique d'échantillonnage du SOC. L'innovation centrale est le contrôle adaptatif de la divergence de Kullback-Leibler (KL) dans l'espace des chemins entre la politique affinée et le prior préentraîné.

Principales Insights Théoriques

1. Amplification Exponentielle des Erreurs : Les auteurs formalisent (Lemme 1) que l'appariement adjoint à température fixe souffre d'une amplification exponentielle des erreurs du critique. Un $\beta$ fixe ne peut pas simultanément exploiter un critique fiable et se protéger contre un critique non fiable.
2. $\lambda$ comme Paramètre de Région de Confiance : TRQAM introduit un paramètre scalaire $\lambda$ qui met à l'échelle le coefficient de diffusion dans l'EDS SOC par $\sqrt{\lambda}$.
3. Identité KL Exacte (Théorème 1) : En utilisant le théorème de Girsanov, les auteurs prouvent que la mise à l'échelle de la diffusion par $\sqrt{\lambda}$ rend la divergence KL dans l'espace des chemins une fonction exacte et fermée de $\lambda$ :
   $$D_{KL}(P_u \parallel P_{base}) = \mathbb{E}_{X \sim P_u} \left[ \frac{1}{2\lambda} \int_0^1 \|u(X_\tau, \tau)\|^2 d\tau \right]$$
   Cela établit un lien structurel direct entre le paramètre $\lambda$ et l'écart par rapport à la politique de base.
4. Bornes KL Terminales (Proposition 1) : La divergence KL dans l'espace des chemins borne supérieurement la divergence KL de la distribution d'actions terminale, garantissant que le contrôle de la divergence KL dans l'espace des chemins contraint efficacement l'écart final de la politique.

Cadre Algorithmique

Au lieu d'ajouter un terme KL comme pénalité de perte externe (qui peut être annulé par de forts gradients du critique), TRQAM internalise $\lambda$ au sein de la dynamique d'échantillonnage :

• Échantillonnage : L'EDS contrôlée utilise un coefficient de diffusion $\sqrt{\lambda}\sigma(\tau)$. L'ajustement de $\lambda$ remodèle l'EDS elle-même, rapprochant ou éloignant la dynamique contrôlée de la dynamique de base.
• Adaptation : L'algorithme emploie une descente duale projetée pour adapter $\lambda$ dynamiquement. Il estime la divergence KL réalisée dans l'espace des chemins ($\hat{D}_n$) via un substitut de Monte Carlo dérivé de l'échantillonneur sans mémoire OT discrétisé.
• Règle de Mise à Jour : $\lambda$ est mis à jour pour imposer un budget KL cible $\epsilon_{KL}$ :
  $$\lambda_{n+1} \leftarrow \max\{0, \lambda_n + \eta_\lambda (D_n - \epsilon_{KL})\}$$
  Si la divergence KL réalisée dépasse le budget, $\lambda$ augmente, rendant la dynamique plus conservative ; si elle est inférieure, $\lambda$ diminue, permettant une amélioration plus agressive.

Contributions Clés

1. Identification de la Fragilité : L'article identifie et formalise l'amplification exponentielle des erreurs du critique dans l'appariement adjoint à température fixe, démontrant sa tendance à provoquer un effondrement du modèle sur des benchmarks comme Robomimic.
2. Lien Théorique : Il prouve que la mise à l'échelle du coefficient de diffusion par $\sqrt{\lambda}$ crée une identité exacte entre le coût de contrôle et la divergence KL dans l'espace des chemins, transformant $\lambda$ en un paramètre de région de confiance fondé sur des principes.
3. Conception Algorithmique : TRQAM est proposé comme une méthode qui internalise le paramètre de région de confiance dans la dynamique SOC et l'adapte par descente duale, imposant la borne KL au niveau de l'échantillonnage plutôt que comme une pénalité de perte souple.
4. Supériorité Empirique : Des expériences extensives démontrent que TRQAM atteint une convergence stable là où les méthodes précédentes échouent et surpasse les références de l'état de l'art.

Résultats Expérimentaux

Les auteurs évaluent TRQAM sur 50 tâches issues du benchmark OGBench et du benchmark de manipulation Robomimic.

• Performance RL Hors Ligne : Sur OGBench, TRQAM atteint un taux de réussite global de 68%, surpassant nettement la meilleure référence (DSRL à 46%) et les méthodes d'appariement adjoint précédentes (QAM à 35%, QAM-E à 45%). Les gains sont particulièrement marqués dans les tâches à horizon long et combinatoires.
• Stabilité : Sur Robomimic, les méthodes à température fixe (QAM, QAM-E) présentent des pertes adjointes explosives (jusqu'à $10^{20}$) et des taux de réussite s'effondrant vers zéro à travers divers réglages d'hyperparamètres. En revanche, TRQAM reste stable sur tous les budgets testés.
• Validation du Mécanisme : Des études d'ablation confirment que :
  • L'adaptation est nécessaire : Les budgets KL adaptatifs surpassent les budgets fixes.
  • L'internalisation est nécessaire : Internaliser $\lambda$ dans l'EDS (TRQAM) suit étroitement le budget KL, alors que la régularisation KL externe permet à la divergence KL réalisée de dériver bien au-delà de l'objectif, entraînant une dégradation des performances.
• Sensibilité : Le budget KL cible $\epsilon_{KL}$ agit comme un bouton de contrôle prévisible ; des budgets plus stricts donnent généralement de meilleures performances, bien que la valeur optimale varie systématiquement avec la structure de la tâche (par exemple, des budgets plus larges sont bénéfiques pour des tâches avec de grands espaces d'états comme puzzle-4x4).

Signification et Revendications

L'article revendique que TRQAM fournit une alternative fondée sur des principes et stable aux méthodes existantes de réglage fin hors politique pour les politiques de flux. En internalisant la contrainte de région de confiance dans la dynamique d'échantillonnage via le théorème de Girsanov, TRQAM évite la "dérive destructrice" causée par des critiques imparfaits dans des méthodes comme QAM.

Les auteurs positionnent TRQAM comme l'analogue hors politique de l'optimisation de politique par région de confiance (TRPO) et de l'optimisation de politique proximale (PPO) pour le RL en ligne. Ils soutiennent que pour les politiques de flux préentraînées, qui servent de priors comportementaux précieux, maintenir un écart contrôlé via une identité KL exacte est crucial pour prévenir l'oubli catastrophique et l'effondrement du modèle. La méthode est présentée comme une solution robuste pour le RL hors ligne et la transition vers le réglage fin en ligne, offrant un mécanisme fiable pour exploiter les compétences préentraînées sans sacrifier la stabilité.