Résumé Technique : Apprentissage par Renforcement en Flux avec Observabilité Partielle et Apprentissage Récurrent en Temps Réel

Énoncé du Problème

L'apprentissage par renforcement (RL) en flux est un paradigme d'apprentissage en ligne où un agent met à jour sa politique ou sa fonction de valeur à partir de chaque échantillon entrant immédiatement, sans maintenir de mémoire de rejeu (replay buffer) ni utiliser de mises à jour par lots. Bien que des travaux récents aient réussi à mettre à l'échelle le RL en flux vers l'approximation de fonctions profondes dans des environnements entièrement observables en utilisant des traces d'éligibilité, l'extension de cette approche à des environnements partiellement observables (POMDP) est restée un défi ouvert.

Dans des environnements partiellement observables, les agents doivent s'appuyer sur des architectures récurrentes pour maintenir un état caché capturant le contexte historique. Cependant, les méthodes d'apprentissage récurrent standard font face à un compromis dans le contexte du flux :

1. Rétropropagation tronquée dans le temps (TBPTT) : Dans un contexte de mise à jour par échantillon unique, la TBPTT se réduit à un horizon d'un seul pas (TBPTT(1)). Cela fournit uniquement un gradient à un pas, ce qui est insuffisant pour l'assignation de crédit sur de longues dépendances temporelles.
2. Apprentissage Récurrent en Temps Réel (RTRL) : Le RTRL maintient des gradients en mode avant de manière incrémentale, ce qui le rend théoriquement idéal pour le flux. Cependant, pour les architectures récurrentes générales (comme les GRU ou les LSTM), le RTRL présente une complexité computationnelle prohibitive, évoluant de manière quartique ($O(n^4)$) avec la dimension cachée $n$.

L'article comble le fossé entre le besoin d'assignation de crédit à long horizon dans les POMDP et les contraintes computationnelles des mises à jour en flux.

Méthodologie

La méthode proposée intègre des Unités de Trace Récurrente (RTU) avec un RTRL exact dans des algorithmes de RL en flux existants.

Architecture de Base : Unités de Trace Récurrente (RTU)

Les RTU sont une architecture récurrente diagonale à valeurs complexes. Contrairement aux unités récurrentes générales, une couche RTU est définie par :
$$h_t = \Lambda h_{t-1} + W x_t$$
où $\Lambda$ est une matrice diagonale avec des entrées complexes $\lambda_k = r_k(\cos \Omega_k + i \sin \Omega_k)$. Parce que chaque unité cachée ne se connecte qu'à elle-même (récurrence diagonale), le calcul du gradient se simplifie considérablement. Cette structure permet de calculer un RTRL exact avec une complexité temporelle et mémoire linéaire par rapport au nombre de paramètres, évitant ainsi le goulot d'étranglement $O(n^4)$ du RTRL standard.

Intégration avec le RL en Flux

Les auteurs insèrent une seule couche RTU entre l'encodeur d'observation et la tête feedforward (valeur ou politique) des algorithmes de flux standards (spécifiquement QRC($\lambda$) pour le contrôle basé sur la valeur et stream AC($\lambda$) pour le contrôle basé sur la politique).

Le mécanisme de mise à jour implique deux traces distinctes qui se composent naturellement :

1. Traces d'Éligibilité : Traces standards d'assignation de crédit temporel ($z_t$) utilisées dans le RL en flux pour accumuler les gradients dans le temps ($z_t = \gamma\lambda z_{t-1} + g_t$).
2. Traces RTRL : Matrices de sensibilité en mode avant ($S_t = \partial h_t / \partial \psi$) maintenues par la couche RTU pour propager les gradients à travers l'état récurrent.

Stratégie de Calcul du Gradient :

• Paramètres Récurrents ($\psi$) : Les gradients sont calculés en utilisant la trace RTRL exacte $S_t$, mise à jour vers l'avant à chaque pas.
• Paramètres de la Tête ($w$) : La rétropropagation standard est utilisée car il n'y a pas de dépendance temporelle.
• Paramètres de l'Encodeur ($\theta$) : Pour éviter le coût prohibitif de maintenir des traces exactes à travers un encodeur profond, les auteurs utilisent une approximation à un pas. L'encodeur est crédité uniquement pour son effet immédiat sur l'état caché actuel, en ignorant son influence à travers les états passés. C'est une approximation nécessaire pour les encodeurs profonds dans le régime du flux.

Analyse et Correction de la Rétroactivité (Staleness)

L'article reconnaît que sous des mises à jour en flux, les paramètres $\psi$ changent à chaque pas. Par conséquent, la matrice de sensibilité RTRL $S_t$ accumule des jacobiens évalués sur des paramètres obsolètes, conduisant à une « rétroactivité » (staleness).

• Les auteurs dérivent une borne théorique sur cette erreur de rétroactivité, montrant qu'elle évolue linéairement avec la taille du pas et l'horizon d'assignation de crédit.
• Ils proposent une correction de Taylor du premier ordre pour la mise à jour de la sensibilité. En approximating le changement du jacobien immédiat basé sur la mise à jour des paramètres $\Delta \psi$, ils réduisent l'erreur de rétroactivité de $O(\eta)$ à $O(\eta^2)$.

Contributions Clés

1. Algorithme : Un algorithme de RL profond en flux pour des environnements partiellement observables utilisant des RTU entraînées avec un RTRL exact. Il ne nécessite ni mémoire de rejeu ni mises à jour par lots.
2. Validation Diagnostique : Une expérience MemoryChain démontrant que cette combinaison maintient l'assignation de crédit sur des longueurs de chaîne (jusqu'à 64 pas) où les bases de référence en flux utilisant des réseaux feedforward, des GRU ou des RTU avec TBPTT(1) s'effondrent.
3. Performance Empirique : Preuves sur cinq tâches de mémoire POPGym et des tâches de contrôle continu MuJoCo partiellement observables montrant que l'approche en flux est compétitive avec le PPO par lots, résolvant toutes les tâches POPGym et récupérant une fraction substantielle des performances par lots sur MuJoCo.
4. Analyse de la Rétroactivité : Une analyse quantitative de la rétroactivité de la sensibilité RTRL sous mises à jour en flux, fournissant une borne d'erreur à l'état stationnaire et démontrant l'efficacité d'une correction de Taylor du premier ordre pour resserrer cette borne.

Résultats Expérimentaux

MemoryChain (Horizon d'Assignation de Crédit)

Sur une tâche diagnostique exigeant que l'agent rappelle un indice binaire après $L$ pas :

• Bases de référence : Les réseaux feedforward, les GRU avec TBPTT(1) et les RTU avec TBPTT(1) se sont tous effondrés vers des rendements proches de zéro pour des longueurs de chaîne $L > 16$.
• Méthode Proposée : La RTU avec RTRL exact a maintenu une haute performance jusqu'à $L=48$ et est restée compétitive jusqu'à $L=64$. Cela confirme que la méthode de gradient (RTRL), et non seulement l'architecture, est le facteur critique pour l'assignation de crédit à long horizon en flux.

POPGym (Tâches de Mémoire Discrètes)

Évalué sur cinq tâches (Autoencode, Concentration, CountRecall, HigherLower, RepeatFirst) :

• Deux variantes en flux (QRC($\lambda$)-RTU et stream AC($\lambda$)-RTU) ont été comparées à une base de référence PPO-RTU par lots.
• Les deux méthodes en flux étaient complémentaires : stream AC($\lambda$)-RTU a réussi sur trois tâches où QRC($\lambda$)-RTU a échoué, et vice versa.
• Résultat : Ensemble, les méthodes en flux ont résolu les cinq tâches, égalant les performances du PPO par lots sans stocker les trajectoires passées.

MuJoCo Masqué (Contrôle Continu)

Évalué sur des tâches de locomotion (Ant, HalfCheetah, Hopper, Walker2d) avec des vitesses ou des positions masquées :

• La méthode en flux (stream AC($\lambda$)-RTU) était compétitive avec le PPO-RTU par lots sur plusieurs tâches (par exemple, égalant sur HalfCheetah-P, surpassant sur Walker2d-V).
• Bien qu'elle ait pris du retard sur le PPO par lots sur certaines tâches (par exemple, Walker2d-P), elle a récupéré une fraction substantielle des performances par lots, démontrant la faisabilité du contrôle continu sous observabilité partielle sans mémoire de rejeu.

KMemoryChain (Quantification de la Rétroactivité)

Une variante de MemoryChain conçue pour exercer continuellement la trace RTRL :

• La rétroactivité a été mesurée comme la distance $\ell_2$ entre la matrice de sensibilité en ligne et une référence recalculée avec les paramètres actuels.
• La rétroactivité a augmenté avec l'horizon de mémoire $K$, conformément aux bornes théoriques.
• La correction de Taylor a considérablement réduit la rétroactivité, en particulier à des horizons plus longs ($K=16$), et correspondait à un apprentissage plus rapide et à des courbes d'entraînement plus stables dans le régime de forte rétroactivité.

Signification et Revendications

Les auteurs déclarent explicitement de la modestie concernant leurs revendications :

• Pas de Revendication d'État de l'Art (SOTA) : Ils ne prétendent pas atteindre les performances absolues les meilleures sur n'importe quelle seule référence par rapport aux méthodes par lots non contraintes.
• Contribution Principale : La signification réside dans la fermeture de l'écart entre le RL en flux et l'observabilité partielle. Ils démontrent qu'il est possible d'effectuer un RL profond dans des POMDP avec les contraintes strictes du flux (pas de mémoire de rejeu, mises à jour par échantillon unique) en combinant des RTU avec un RTRL exact.
• Applicabilité : La méthode est positionnée pour des scénarios où les contraintes de ressources sont réelles, telles que l'apprentissage sur appareil, le contrôle en temps réel et l'apprentissage tout au long de la vie, où le stockage des trajectoires passées est peu pratique.

L'article conclut que bien que l'écart avec les performances par lots subsiste dans certaines tâches de contrôle continu, la méthode proposée étend avec succès le paradigme du flux à des environnements complexes et partiellement observables, validant la viabilité du RTRL exact avec une complexité linéaire dans le RL profond.