Résumé Technique : Mise à jour des cibles par moyenne géométrique pour le Q-learning linéaire

Énoncé du problème

Dans le Q-learning profond moderne, les mises à jour périodiques de la cible « dure » (copie du réseau en ligne vers un réseau cible toutes les $m$ étapes) constituent un mécanisme de stabilisation standard. Bien qu'empiriquement robuste, la dynamique théorique précise de ces mises à jour en présence d'approximation de fonctions reste un domaine d'étude actif. Plus précisément, la littérature existante n'a pas pleinement caractérisé la dynamique exacte des frontières des mises à jour de cibles périodiques dans le cadre tractable du Q-learning linéaire.

Le défi central est que, bien que différentes stratégies de mise à jour de cible (par exemple, les mises à jour périodiques standard versus l'itération de valeurs Q projetée) puissent partager la même équation de point fixe (l'équation de Bellman projetée), leurs propriétés de convergence et leurs certificats de stabilité diffèrent considérablement. L'article cherche à combler le fossé entre le Q-learning déterministe linéaire (DLQL) à période un et l'itération de valeurs Q projetée (PQVI) en introduisant une paramétrisation continue du mécanisme de mise à jour de la cible.

Méthodologie

1. Cadre théorique : Systèmes commutés et JSR

L'article analyse le Q-learning linéaire en utilisant un modèle de système linéaire commuté. Dans ce cadre :

• L'opérateur de maximum de Bellman est représenté comme un signal de commutation qui sélectionne parmi un ensemble fini de politiques gourmandes déterministes (modes).
• La stabilité est certifiée à l'aide du rayon spectral conjoint (JSR) de la famille de matrices générées par ces modes de commutation. Un JSR strictement inférieur à un ($\rho < 1$) garantit une décroissance exponentielle uniforme de l'erreur sous une commutation arbitraire.
• L'analyse repose sur le modèle de système commuté développé par Lee et Lim (2026) et l'analyse de mise à jour de cible de Lee (2026a).

2. Le mécanisme de mise à jour de cible $\lambda$

L'article introduit le $\lambda$-DLQL, une méthode qui remplace le choix d'un unique entier pour la période de la cible $m$ par une moyenne géométrique sur toutes les périodes de cible dure possibles.

• Définition : La carte de mise à jour est définie comme une somme pondérée des cartes de frontière $A_{\mu, m}^{\text{DLQL}}$ de période $m$ avec des poids géométriques $(1-\lambda)\lambda^{m-1}$, où $\lambda \in [0, 1]$.
• Extrémités :
  • $\lambda = 0$ : Recouvre le DLQL standard de période un (mise à jour en une étape).
  • $\lambda \uparrow 1$ : Recouvre l'itération de valeurs Q projetée (PQVI), correspondant effectivement à une période de cible infinie.
• Interpolation : Le paramètre $\lambda$ interpole continûment entre les mises à jour à horizon court (DLQL) et à horizon long (PQVI), de manière analogue à l'esprit de TD($\lambda$) mais appliqué aux cartes de frontière de cible dure plutôt qu'aux traces d'éligibilité ou aux retours multi-étapes.

3. Stratégies d'implémentation

Pour rendre la moyenne géométrique calculablement faisable sans simuler des périodes infinies, l'article propose trois implémentations équivalentes :

1. Solveur récursif (forme inverse) : Dérive une équation de correction linéaire en forme fermée :
   $$\bar{\theta}_{n+1} = \bar{\theta}_n + \alpha \left[ (1-\lambda)I + \lambda \alpha \Phi^\top D \Phi \right]^{-1} \Phi^\top D (R + \gamma P \Pi_{\pi_n} \Phi \bar{\theta}_n - \Phi \bar{\theta}_n)$$
   Cela nécessite de résoudre un système linéaire de taille $m \times m$ (dimension des caractéristiques) à chaque frontière.
2. Récursion sans inverse : Utilise une variable auxiliaire $w_n$ et une itération de Richardson pour suivre le terme de correction, évitant ainsi l'inversion explicite de matrice. Cela se traduit par une récursion à deux lignes avec un espace d'état augmenté.
3. Implémentation échantillonnée de période $M$ : Au lieu de faire la moyenne, l'algorithme échantillonne une période $M$ selon une distribution géométrique $P(M=m) = (1-\lambda)\lambda^{m-1}$ et effectue exactement $M$ mises à jour en ligne avant la prochaine copie de la cible.

Contributions clés

1. Moyenne géométrique des cibles dures : L'article construit une famille continue de cartes de mise à jour de cible ($\lambda$-DLQL) qui relie les extrémités discrètes (DLQL et PQVI) sans modifier l'équation de point fixe sous-jacente (l'équation de Bellman projetée).
2. Analyse de stabilité via le JSR : Les auteurs fournissent une analyse de stabilité rigoureuse montrant que la convergence du $\lambda$-DLQL est déterminée par le JSR de la famille commutée résultante $A_{\lambda}^{\text{DLQL}}$.
   • Ils prouvent que lorsque $\lambda \to 0$, le JSR converge vers celui de la famille DLQL.
   • Lorsque $\lambda \to 1$, le JSR converge vers celui de la famille PQVI.
   • L'article établit que la stabilité à une extrémité ne garantit pas la stabilité à l'autre, et que les valeurs intermédiaires de $\lambda$ peuvent potentiellement offrir des certificats de stabilité là où les extrémités échouent.
3. Équivalence algorithmique : L'article démontre que la récursion de forme inverse, la récursion auxiliaire sans inverse et l'implémentation échantillonnée de période $m$ convergent toutes vers le même point fixe de Bellman projeté (en supposant l'unicité) et partagent les mêmes propriétés de stabilité théorique sous certaines conditions (par exemple, de petits pas pour la version sans inverse).
4. Caractérisation théorique des extrémités : L'article clarifie que bien que le DLQL et la PQVI résolvent la même équation de Bellman projetée, leur dynamique d'erreur est gouvernée par des familles commutées différentes ($A^{\text{DLQL}}$ vs $A^{\text{PQVI}}$), nécessitant des certificats de stabilité distincts.

Résultats

• Convergence : Sous la condition que le pas $\alpha$ satisfasse $0 < \alpha < 2/\lambda_{\max}(\Phi^\top D \Phi)$, l'article prouve que si le JSR de la famille commutée pertinente (soit $A_{\lambda}^{\text{DLQL}}$ pour $\lambda < 1$, soit $A_{\text{PQVI}}$ pour $\lambda=1$) est strictement inférieur à un, les erreurs de frontière convergent uniformément et exponentiellement vers zéro.
• Comportement des extrémités : Le Théorème 7.1 détaille quatre scénarios basés sur les valeurs de JSR des extrémités DLQL et PQVI :
  • Si les deux sont stables, les petites et grandes valeurs de $\lambda$ sont stables.
  • Si seule la PQVI est stable, les grandes valeurs de $\lambda$ sont stables tandis que les petites sont instables.
  • Si seul le DLQL est stable, les petites valeurs de $\lambda$ sont stables tandis que les grandes sont instables.
  • Si les deux sont instables, les extrémités sont instables, bien qu'une valeur intermédiaire de $\lambda$ puisse théoriquement améliorer le JSR (bien que l'article note que ce n'est pas garanti).
• Validité de l'implémentation : Les implémentations récursive et sans inverse sont montrées comme étant mathématiquement équivalentes à la définition de la moyenne géométrique en termes de point fixe et de la dynamique d'erreur induite (pour la forme inverse) ou d'un système augmenté (pour la version sans inverse).

Signification et affirmations

L'article prétend fournir un cadre théorique unifié pour comprendre les mises à jour de cibles dures dans le Q-learning linéaire. Sa principale importance réside dans :

• Le pont jeté : Il relie le mécanisme discret de copie périodique (courant dans le RL profond) avec l'itération de valeur projetée continue (un standard théorique de référence) via un paramètre $\lambda$ unique.
• La précision : Il dépasse les observations empiriques pour fournir des dynamiques de frontière exactes et des certificats de stabilité basés sur le JSR pour l'approximation de fonctions linéaires.
• La flexibilité : Il offre un mécanisme pour ajuster continuellement la « période effective » des mises à jour de cible, permettant potentiellement aux praticiens de sélectionner un $\lambda$ qui optimise la stabilité lorsque les extrémités standards (période-1 ou période infinie) sont sous-optimales.
• L'implémentation : Il fournit des algorithmes pratiques et implémentables (récursifs et sans inverse) qui réalisent ce mécanisme théorique sans nécessiter la simulation d'horizons infinis.

Les auteurs déclarent explicitement que cette formulation est destinée à une version déterministe du Q-learning linéaire, tout en notant que la formulation s'étend aux contextes de renforcement stochastique. Le travail ne prétend pas résoudre directement le cas du RL non linéaire mais vise à clarifier les dynamiques fondamentales des mises à jour de cible dans le régime linéaire.