Résumé technique : Représentations catégorielles quotient pour l'apprentissage par renforcement distributionnel à récompense moyenne compatible avec Bellman

1. Énoncé du problème

L'apprentissage par renforcement distributionnel (DRL) a connu un succès significatif dans les processus de décision markoviens (MDP) à récompense escomptée, où la géométrie de contraction de l'opérateur de Bellman facilite l'analyse et la conception d'algorithmes. Cependant, le cadre à récompense moyenne présente un défi structurel fondamental pour la modélisation distributionnelle.

Dans les MDP à récompense moyenne, l'évaluation repose sur deux objets : le gain (récompense moyenne à long terme) et le biais (fonction de valeur relative). Le biais satisfait l'équation de Poisson, qui est l'analogue à récompense moyenne de l'équation de Bellman. Une propriété critique de l'équation de Poisson est que ses solutions sont uniques à une constante additive près. Cette invariance par translation crée une obstruction pour la modélisation distributionnelle standard : une famille de lois de probabilité indexée par les états sur $\mathbb{R}$ ne peut pas être définie directement avec une origine fixe, car traduire la distribution de biais de chaque état d'une même constante ne devrait pas altérer l'objet appris.

Les travaux existants sur le DRL à récompense moyenne se concentrent souvent sur l'affinement du critère de récompense lui-même ou utilisent des représentations scalaires. Cet article comble le vide dans la construction d'un analogue distributionnel compatible avec Bellman du biais qui respecte la symétrie de la constante additive, permettant ainsi la programmation dynamique distributionnelle et l'apprentissage par différence temporelle (TD) dans le régime à récompense moyenne.

2. Méthodologie

2.1 Formulation par espace quotient

Les auteurs proposent de modéliser les lois de biais indexées par les états modulo les translations communes.

• Espace quotient : Soit $\mathcal{F}_S$ l'ensemble des collections de lois de probabilité sur $\mathbb{R}$ indexées par les états. Une relation d'équivalence $\approx$ est définie de telle sorte que $\eta \approx \zeta$ si $\zeta$ est une translation commune de $\eta$. L'espace résultant $\mathcal{F}_S / \approx$ préserve la symétrie de la constante additive de l'équation de Poisson.
• Opérateur distributionnel : L'opérateur distributionnel à récompense moyenne $T$ est défini sur $\mathcal{F}_S$. L'article démontre que $T$ commute avec les translations communes, induisant ainsi un opérateur bien défini sur l'espace quotient $\mathcal{F}_S / \approx$.

2.2 Paramétrisation catégorielle

Pour rendre l'espace quotient calculable, les auteurs introduisent une représentation catégorielle quotient :

• Représentation : La loi de biais de chaque état est représentée par une distribution catégorielle sur une grille fixe $\Theta = \{\theta_1, \dots, \theta_d\}$.
• Équivariance par translation : Une famille représentative est définie comme $\eta_{p,c} = \sum p_k \delta_{\theta_k + c}$, où $c$ est un décalage arbitraire. Le vecteur de coefficients $p$ caractérise de manière unique la classe quotient $[\eta_{p,c}]$, indépendamment de $c$.
• Projection : Une projection catégorielle équivariante par translation $\Pi_{\Theta_c}^C$ est définie. L'article établit que projeter une loi traduite sur une grille traduite produit le même vecteur de coefficients que projeter la loi originale sur la grille originale.

2.3 Opérateur projeté et non-expansivité

Les auteurs définissent un opérateur projeté $G_g$ sur les coefficients catégoriels, qui correspond à l'application de l'opérateur distributionnel et à la projection de retour sur la grille catégorielle.

• Métrique : La convergence est analysée en utilisant la métrique de Cramér coordonnée ($\ell_{\Theta, C, \infty}$), qui coïncide avec la métrique de Cramér standard sur les lois représentatives.
• Propriété clé : Contrairement aux opérateurs DRL à récompense escomptée qui sont contractifs, l'opérateur projeté $G_g$ dans le cadre à récompense moyenne est non expansif. L'article démontre que $G_g$ est bien défini, non expansif dans la métrique de Cramér coordonnée, et admet des points fixes (via le théorème du point fixe de Brouwer).

2.4 Récurrences d'approximation stochastique (SA)

Puisque l'opérateur est non expansif plutôt que contractif, les arguments de contraction standards ne s'appliquent pas. Les auteurs analysent les récurrences échantillonnées comme des relaxations asynchrones de l'opérateur projeté :

1. Récurrence centrée : En supposant que le gain $\bar{r}^\pi$ est connu, ils définissent une mise à jour TD à un état (itération stochastique de Krasnosel'skiĭ–Mann) utilisant des récompenses centrées $B = R - \bar{r}^\pi$. Il est démontré que l'application de champ moyen de cette récurrence est non expansive et partage les points fixes avec $G$.
2. Récurrence couplée (Gain inconnu) : Lorsque le gain est inconnu, la récurrence est augmentée d'un estimateur de gain en ligne $g_k$. Les auteurs définissent une métrique produit $d_\lambda$ combinant le résidu catégoriel et l'erreur de gain. Ils démontrent que l'application de mise à jour couplée est non expansive dans cette métrique produit et que ses points fixes correspondent aux lois de biais catégorielles quotient correctes et au gain réel.

3. Contributions clés

1. Fondation par espace quotient : L'article établit que l'espace quotient des familles de lois indexées par les états par translation commune est le domaine naturel pour un analogue distributionnel du biais scalaire.
2. Opérateur projeté bien défini : Il définit un opérateur exact sur l'espace quotient et un algorithme de projection catégorielle quotient, démontrant que l'opérateur projeté est bien défini, non expansif et possède des points fixes.
3. Garanties de convergence :
   • Pour des récompenses centrées (gain connu), l'article prouve la convergence presque sûre (p.s.) et des bornes de résidu à itération finie pour la récurrence TD sous des échantillonnages i.i.d. et markoviens.
   • Pour des gains inconnus, il introduit une récurrence couplée avec un estimateur de gain en ligne, démontrant la non-expansivité et la convergence markovienne du schéma conjoint.
4. Insight structurel : Le travail met en évidence un contraste structurel entre les distributions quotient idéales (où les constantes de centrage induisent uniquement des translations communes) et les représentations catégorielles pratiques sur grille fixe (où la projection peut altérer les coefficients, nécessitant un centrage correct).

4. Résultats expérimentaux

L'article valide ses affirmations théoriques à travers deux expériences :

• MDP à cinq états : Une expérience tabulaire comparant les itérations KM exactes, les SKM i.i.d. centrées, les SKM markoviennes centrées et les SKM couplées avec estimation de gain.
  • Les résultats confirment que les récurrences exactes et stochastiques convergent vers les mêmes points fixes.
  • La récurrence couplée apprend avec succès à la fois la distribution de biais et le gain.
  • Une étude d'ablation démontre que l'utilisation d'une constante de centrage incorrecte ($g=0$ au lieu de $\bar{r}^\pi$) conduit à une convergence vers une solution dégénérée, validant la nécessité d'un centrage correct dans les représentations sur grille fixe.
• Pendulum-v1 à état continu : Une preuve de concept utilisant l'approximation de fonction par réseaux de neurones.
  • Le critique catégoriel quotient centré sur le gain proposé surpasse significativement un critique naïf à récompense brute en termes de résidus d'opérateur projeté.
  • La récurrence couplée à gain en ligne décompose avec succès l'erreur en composantes catégorielles et de gain, conformément aux bornes théoriques.

5. Signification et affirmations

L'article affirme poser l'estimation distributionnelle du biais à récompense moyenne sur des fondations solides. Sa signification principale réside dans :

• La résolution de l'ambiguïté de la constante additive du biais scalaire en introduisant une formulation catégorielle quotient.
• La fourniture du premier analogue distributionnel compatible avec Bellman du biais adapté aux arguments de programmation dynamique et d'apprentissage TD dans le cadre à récompense moyenne.
• L'établissement de garanties de convergence pour les applications non expansives dans le contexte du RL distributionnel, comblant le fossé entre les méthodes de points fixes théoriques pour les opérateurs non expansifs et les algorithmes TD pratiques.

Les auteurs notent que leur objectif est complémentaire aux travaux antérieurs visant à affiner le critère à récompense moyenne lui-même ; au lieu de cela, ils affinent le biais en tant qu'objet d'apprentissage. La théorie se concentre actuellement sur l'évaluation de politiques fixes à états finis avec des supports catégoriels fixes, l'approximation de fonction plus riche et les contextes de contrôle étant identifiés comme les prochaines étapes naturelles.