Résumé Technique : Une Taxonomie Unifiée de l'Origine Causale des Décalages de Distribution en Apprentissage par Renforcement

1. Énoncé du Problème

Les systèmes d'apprentissage par renforcement (RL) se dégradent fréquemment lorsque les conditions opérationnelles divergent des environnements d'entraînement, un phénomène connu sous le nom de décalage de distribution (distributional shift). Bien qu'une littérature abondante traite des manifestations spécifiques de ce problème — telles que la généralisation hors distribution (OOD), les environnements non stationnaires et les déséquilibres entre l'apprentissage hors ligne et en ligne — il manque un compte rendu structurel unifié. Les travaux existants traitent souvent le décalage de distribution comme un déséquilibre générique ou se concentrent uniquement sur les stratégies d'atténuation sans identifier explicitement l'origine causale du décalage au sein du processus d'interaction agent-environnement.

En apprentissage supervisé, le décalage de distribution est bien compris à travers la factorisation des distributions conjointes (par exemple, le décalage de covariables vs la dérive de concept). Cependant, en RL, les données sont générées par une interaction en boucle fermée et séquentielle régie par un Processus de Décision Markovien Partiellement Observable (POMDP). Les définitions actuelles en RL reposent souvent sur des divergences observables (par exemple, la divergence de trajectoire ou les écarts de visite d'état) plutôt que de décomposer le décalage en composantes génératives spécifiques (état, observation, politique, transition, récompense). Cela occulte la distinction entre les changements induits par l'environnement et les changements induits par l'agent, compliquant le diagnostic et la sélection des stratégies d'adaptation appropriées.

2. Méthodologie

Les auteurs proposent une Taxonomie Unifiée de l'Origine Causale qui reformule le décalage de distribution en RL en transférant les principes du décalage de données de l'apprentissage supervisé vers le processus d'interaction génératif du RL.

2.1 Décomposition Générative

La méthodologie commence par modéliser l'interaction agent-environnement dans un cadre POMDP. La distribution jointe d'une étape d'interaction unique est factorisée en cinq composantes interdépendantes :

1. Distribution d'état : $p(s)$
2. Correspondance d'observation : $p(o|s)$
3. Politique : $\pi(a|o)$
4. Dynamiques de transition : $p(s'|s, a)$
5. Mécanisme de récompense : $p(r|s, a, s')$

Les auteurs établissent un pont structurel avec l'apprentissage supervisé en regroupant ces variables en une entrée $X = (s, o)$ et une sortie $Y = (a, s', r)$, permettant ainsi l'application de la décomposition causale.

2.2 La Taxonomie Bidimensionnelle

La taxonomie proposée caractérise les décalages de distribution selon deux dimensions complémentaires :

A. Aspect de la Composante MDP (Origine du Décalage)
Cette dimension localise le décalage dans des composantes spécifiques du processus génératif, distinguant :

• Décalages Externes (induits par l'Environnement) : Changements dans $p(s)$, $p(s'|s, a)$, ou $p(r|s, a, s')$. Ceux-ci proviennent de changements dans les dynamiques de l'environnement, les états initiaux ou les structures de récompense.
• Décalages Internes (induits par l'Agent) : Changements dans $p(o|s)$ (correspondance d'observation) ou $\pi(a|o)$ (politique). Ceux-ci proviennent de changements dans la perception, la représentation ou les mécanismes de décision de l'agent.

B. Aspect de la Frontière de Décalage (Manifestation Temporelle)
Cette dimension caractérise la manière dont le décalage se manifeste à travers le temps, défini par la « frontière temporelle de décalage » :

• Frontière Explicite : Une séparation claire entre l'entraînement et l'évaluation (par exemple, politique gelée). Les décalages surviennent lorsque l'environnement d'évaluation diffère de l'environnement d'entraînement (généralisation ID/OOD).
• Frontière Implicite : Apprentissage continu où le processus génératif de l'environnement change au fil du temps sans politique gelée (non-stationnarité).
• Frontière Hybride : Un cadre avec une séparation définie entre entraînement et évaluation où des décalages surviennent également de manière implicite pendant l'interaction.

2.3 Extension à l'Apprentissage par Renforcement Multi-Agent (MARL)

Le cadre s'étend au MARL décentralisé en classant l'évolution des politiques des autres agents comme des décalages externes. Du point de vue d'un agent unique, les changements de comportement des coéquipiers modifient les dynamiques de transition effectives et les structures de récompense, constituant un changement induit par l'environnement même si le monde physique reste statique.

2.4 Cadre d'Évaluation

Pour quantifier l'impact de ces décalages, les auteurs introduisent un cadre d'évaluation comprenant cinq métriques :

1. Impact Immédiat du Décalage : La chute de performance instantanée.
2. Dégradation de Cas Limite : La perte de performance maximale observée.
3. Vitesse de Récupération : Le nombre de pas de temps nécessaires pour regagner une fraction de la performance pré-décalage.
4. Qualité de la Récupération : Le ratio de la performance moyenne post-décalage par rapport à la référence pré-décalage.
5. Efficacité de l'Adaptation : Une métrique composite équilibrant la qualité et la vitesse de récupération.

3. Contributions Clés

1. Formulation Structurelle Unifiée : L'article fournit une formulation rigoureuse qui relie le fondement probabiliste du décalage de données en apprentissage supervisé au processus d'interaction génératif en RL, démontrant que les deux admettent une décomposition commune par la règle de la chaîne.
2. Taxonomie de l'Origine Causale : Il dérive une taxonomie distinguant les décalages selon leur origine (Interne vs Externe) et leur frontière temporelle (Explicite, Implicite, Hybride). Cela explique comment les configurations standards de RL (ID/OOD, non-stationnarité) découlent de changements spécifiques dans le processus génératif.
3. Cadre Analytique pour les Méthodes Existantes : La taxonomie sert de prisme pour catégoriser la littérature existante (par exemple, la randomisation de domaine, le meta-RL, le RL hors ligne), révélant que la plupart des méthodes ciblent les décalages externes, tandis que les décalages internes (induits par la politique) sont moins explicitement abordés.
4. Métriques d'Évaluation : L'introduction d'un cadre pour quantifier l'impact du décalage et l'adaptation de l'agent au-delà de la performance globale, en distinguant la robustesse, la dynamique de récupération et la performance soutenue.

4. Résultats

Les auteurs ont mené une étude empirique contrôlée utilisant un Deep Q-Network (DQN) dans un environnement de type gridworld pour valider la taxonomie. Ils ont introduit cinq décalages spécifiques :

• Externe : Décalage de la distribution d'état ($p(s)$), décalage des dynamiques de transition ($p(s'|s, a)$), et décalage du mécanisme de récompense ($p(r|s, a, s')$).
• Interne : Décalage de la correspondance d'observation ($p(o|s)$) et décalage induit par la politique ($\pi(a|o)$).

Résultats :

• Modèles de Dégradation Distincts : Sous une configuration à frontière explicite (politique gelée), tous les décalages ont provoqué un effondrement des performances, mais la nature de l'échec variait. Par exemple, les décalages de distribution d'état ont entraîné un échec immédiat dû à des régions de départ inconnues, tandis que les décalages d'observation ont brisé la cartographie perception-action apprise.
• Variabilité de l'Adaptation : Sous une configuration à frontière implicite (apprentissage continu), les agents ont montré des profils de récupération différents. Les décalages externes comme les changements de dynamiques de transition ont causé des fluctuations instables, tandis que les décalages internes (spécifiquement la correspondance d'observation et la quantification de la politique) ont conduit à une dégradation sévère et souvent irrécupérable.
• Sensibilité des Métriques : Les métriques d'évaluation proposées ont réussi à différencier les décalages causant un effondrement immédiat de ceux permettant une récupération partielle, ainsi que les décalages récupérables de ceux dégradant les performances de façon permanente.

Les résultats démontrent que traiter le décalage de distribution comme un phénomène monolithique occulte les causes spécifiques de l'échec. Différentes origines causales produisent des signatures de dégradation et de récupération distinctes, validant la nécessité d'une analyse au niveau des composantes.

5. Signification et Revendications

L'article affirme fournir un fondement rigoureux pour analyser la robustesse face au décalage de distribution en RL. Sa signification réside dans :

• Unification : Il unifie l'analyse du décalage au niveau des composantes de l'apprentissage supervisé avec le processus d'interaction génératif du RL.
• Clarté Diagnostique : En ancrant le décalage dans une structure d'origine causale, il sépare la source du déséquilibre de ses effets observables, permettant un diagnostic plus précis de la raison pour laquelle un agent échoue.
• Alignement Stratégique : Il suggère que les stratégies d'adaptation doivent être alignées sur le type spécifique de décalage (par exemple, un décalage induit par l'agent nécessite une atténuation différente d'un décalage induit par l'environnement).
• Base Systématique : Il établit une base systématique pour comparer les méthodes existantes et concevoir de futures stratégies de robustesse, allant au-delà des évaluations basées sur des benchmarks pour atteindre une compréhension structurelle du problème.

Les auteurs positionnent ce travail non pas comme un nouvel algorithme ou une nouvelle suite de benchmarks, mais comme un cadre conceptuel qui clarifie le « pourquoi » et le « où » du décalage de distribution, permettant ainsi des solutions plus ciblées et plus efficaces à l'avenir.