Résumé Technique : Investigation des Encodages d'Action dans les Réseaux de Neurones Récurrents en Apprentissage par Renforcement

Énoncé du Problème

Le déploiement d'agents d'apprentissage par renforcement (RL) dans des environnements réels, partiellement observables, nécessite la capacité de construire et de maintenir une représentation d'état servant de statistique suffisante du passé. Bien que les réseaux de neurones récurrents (RNN) soient un outil standard pour modéliser les dépendances temporelles, leur application en RL implique des choix de conception critiques souvent négligés dans la littérature. Plus précisément, l'article traite de la stratégie utilisée pour intégrer l'information d'action dans la fonction de mise à jour de l'état du RNN. Les auteurs notent que, bien que l'action joue un rôle fondamental dans la perception et la construction de l'état (citant Noë, 2004 ; Prinz, 1990 ; Clark, 2013), de nombreuses implémentations existantes en RL omettent soit les entrées d'action, soit les intègrent par une simple concaténation sans analyse rigoureuse des ramifications. Le problème central consiste à déterminer comment le mécanisme d'encodage de l'action (additif vs multiplicatif) impacte la capacité d'un agent à prédire les fonctions de valeur et à apprendre des politiques de contrôle dans les Processus de Décision Markoviens Partiellement Observables (POMDP).

Méthodologie

Les auteurs formalisent l'interaction agent-environnement comme un POMDP et évaluent diverses architectures RNN conçues pour mettre à jour l'état caché $s_t$ en fonction de l'observation $o_t$, de l'action précédente $a_{t-1}$ et de l'état précédent $s_{t-1}$. L'étude se concentre sur deux catégories principales d'intégration d'action :

1. Encodages Additifs :

   • Additif Standard : L'embedding d'action est concaténé avec le vecteur d'observation avant d'être traité par la cellule récurrente (par exemple, $s_t = \sigma(W_x x_t + W_a a_{t-1} + b)$).
   • Additif Profond : L'action est passée à travers un réseau de neurones feed-forward ($f_a$) pour créer un embedding avant concaténation avec l'observation.

2. Encodages Multiplicatifs :

   • Multiplicatif (Second Ordre) : Inspiré des RNN d'ordre supérieur, cette approche utilise un produit tensoriel pour intégrer l'observation, l'état et l'action. La règle de mise à jour implique un tenseur de poids $W$ et des produits n-mode : $s_t = \sigma(W \times_2 x_t \times_3 a_{t-1})$.
   • Multiplicatif Factorisé : Pour atténuer le nombre élevé de paramètres des mises à jour multiplicatives de rang complet, les auteurs emploient une approximation de bas rang utilisant la décomposition Canonique Polyadique (CP). Cela factorise le tenseur en une somme de composantes de rang 1, réduisant les paramètres tout en tentant de conserver les avantages de l'interaction multiplicative.

Les expériences utilisent à la fois des RNN standards et des Unités Récurrentes à Portes (GRU). Les auteurs utilisent la semi-pente hors politique TD(0) pour la prédiction (en utilisant des Fonctions de Valeur Générales) et l'apprentissage Q avec une exploration $\epsilon$-greedy pour le contrôle. Pour améliorer l'efficacité de l'échantillonnage, ils intègrent la Mémoire de Replay (ER), stockant les états cachés dans le tampon de replay pour initialiser les séquences lors de l'échantillonnage.

Configuration Expérimentale

Les auteurs évaluent ces architectures sur plusieurs domaines illustratifs présentant différents types d'observations et dynamiques :

• Monde en Anneau (Ring World) : Un environnement cyclique où l'agent doit suivre la distance par rapport à un bit actif. Utilisé pour tester les capacités de prédiction et la sensibilité aux longueurs de troncature.
• TMaze : Un environnement classique de couloir avec une intersection en T. Utilisé pour tester les capacités de contrôle où la pertinence de l'action est faible (seules les actions Est/Ouest affectent significativement la position).
• TMaze Directionnel : Un TMaze modifié où l'orientation de l'agent fait partie de l'état, rendant l'action cruciale pour interpréter les observations.
• TMaze Directionnel par Image : Une extension utilisant des observations basées sur des pixels (chiffres MNIST) pour tester les performances avec des extracteurs de caractéristiques profonds.
• Lunar Lander : Une version partiellement observable de l'environnement OpenAI Gym pour tester les performances dans un cadre de contrôle continu avec du bruit de capteur.

Résultats Clés

L'évaluation empirique produit plusieurs découvertes distinctes concernant l'efficacité des encodages d'action :

• Supériorité des Mises à Jour Multiplicatives : Dans les domaines où les actions influencent de manière critique la dynamique sous-jacente de l'état (par exemple, Monde en Anneau, TMaze Directionnel, Lunar Lander), la mise à jour multiplicative surpasse constamment les variantes additives et sans action. L'architecture multiplicative atteint une erreur de valeur quadratique moyenne racine (RMSVE) plus faible dans les tâches de prédiction et des taux de réussite plus élevés dans les tâches de contrôle, nécessitant souvent des longueurs de troncature ($\tau$) plus courtes pour apprendre efficacement.
• Performance Dépendante du Contexte : Dans le TMaze standard, où la pertinence de l'action est limitée à des transitions spécifiques, la variante multiplicative ne surpasse pas strictement les autres méthodes ; dans certains cas, les GRU standards sans entrées d'action ont performé de manière comparable ou supérieure. Cela suggère que l'avantage d'un encodage d'action complexe est lié à la dépendance spécifique entre les actions et les transitions d'état.
• Efficacité des Paramètres : Bien que les mises à jour multiplicatives de rang complet aient significativement plus de paramètres que les additives, les variantes multiplicatives factorisées (bas rang) atteignent souvent des performances comparables avec moins de paramètres, bien qu'elles surperforment généralement la version multiplicative de rang complet.
• Analyse de la Représentation d'État : Les visualisations T-SNE des états cachés appris révèlent que les cellules multiplicatives regroupent les états cachés selon l'état de l'environnement sous-jacent plus efficacement que les cellules additives. Les cellules additives tendent à sur-ségréguer les états en fonction de l'action précédente, tandis que les cellules multiplicatives maintiennent une représentation plus cohérente de l'état de l'environnement malgré les variations d'action.
• Limites de l'Additif Profond : La variante « Additif Profond », qui apprend un embedding d'action, a généralement performé de manière similaire ou pire que l'approche additive standard, suggérant que l'apprentissage de l'embedding à partir de zéro n'a pas permis de surmonter les limitations structurelles de la mise à jour additive.

Importance et Revendications

L'article affirme que le choix de la manière d'intégrer l'action dans la fonction de mise à jour de l'état est une décision de conception critique, souvent négligée, qui impacte significativement les performances des agents RL. Les auteurs soutiennent que :

1. Les Hypothèses d'Apprentissage Supervisé Ne Transfèrent Pas Nécessairement : Les architectures et choix de conception réussis en apprentissage supervisé (comme la simple concaténation) peuvent ne pas être optimaux pour le cadre RL, où l'agent doit modéliser sa propre agency sur le flux de données.
2. Les Interactions Multiplicatives Sont Bénéfiques : Pour les tâches nécessitant que l'agent suive comment les actions modifient l'état (fréquentes dans le contrôle partiellement observable), les mises à jour multiplicatives fournissent un biais inductif structurel qui facilite une meilleure construction d'état et un apprentissage plus rapide.
3. Besoin d'Architectures RL Spécialisées : Les résultats mettent en évidence un écart dans la recherche RL actuelle, suggérant que les RNN « tout faits » issus des domaines supervisés sont insuffisants. L'article appelle à des travaux futurs visant à développer des cellules récurrentes spécifiquement conçues pour les défis uniques de la collecte de données en ligne et active en RL, tels que la gestion des dépendances temporelles longues sans se fier uniquement à la rétropropagation à travers le temps tronquée (BPTT).

Les auteurs concluent que, bien que les mises à jour multiplicatives semblent être le « gagnant clair » dans les domaines testés, l'architecture optimale dépend du domaine, et les systèmes futurs pourraient bénéficier de mécanismes capables d'apprendre ou de sélectionner dynamiquement le biais structurel approprié.