🤖 machine learning

Integrating Causal DAGs in Deep RL: Activating Minimal Markovian States with Multi-Order Exposure

Ce papier aborde le défi de la construction d'états prouvés markoviens à partir de graphes causaux longitudinaux en apprentissage par renforcement profond en introduisant MOSE (Exposition d'État Multi-Ordre), une méthode qui injecte des constructions d'états historiques d'ordre multiple dans la fonction Q pour démontrer qu'une redondance contrôlée, plutôt que la suffisance minimale seule, est essentielle pour débloquer les avantages de performance des informations d'état causal.

Auteurs originaux : Jiamin Xu, Jacqueline Maasch, Kyra Gan

Publié 2026-05-11

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jiamin Xu, Jacqueline Maasch, Kyra Gan

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un robot à jouer à un jeu vidéo ou à naviguer dans un labyrinthe. Pour prendre de bonnes décisions, le robot doit connaître son « état » actuel. Dans un monde parfait, le robot n'aurait besoin que de regarder l'instant précis du moment présent pour savoir quoi faire ensuite. C'est ce qu'on appelle la propriété de Markov.

Cependant, dans le monde réel, les choses sont désordonnées. Les capteurs du robot (comme les caméras) lui fournissent des données brutes, mais ces données ne racontent souvent pas toute l'histoire. Par exemple, si un robot voit une balle, il ne sait pas si la balle roule vers lui ou s'éloigne de lui, à moins de se souvenir où se trouvait la balle une seconde auparavant.

Voici le problème : si le robot oublie le passé, il fait de mauvaises suppositions. S'il se souvient de tout (chaque pixel des 100 dernières secondes), il est submergé et apprend trop lentement.

Cet article, « Integrating Causal DAGs in Deep RL », propose une solution ingénieuse à ce problème « Boucle d'Or » : trouver la juste quantité d'histoire à se souvenir.

L'idée centrale : Le « Minimal » vs Le « Redondant »

Les auteurs abordent cela en deux étapes, en utilisant un mélange de logique (causalité) et un peu de « chaos contrôlé » (redondance).

1. L'État « Minimal » (La Valise Parfaitement Remplie)

D'abord, les auteurs utilisent un Graphique Causal (une carte montrant quelles variables en causent d'autres) pour déterminer la quantité absolue minimale d'informations nécessaire pour prendre une décision parfaite.

L'analogie : Imaginez que vous faites vos bagages pour un voyage. Vous voulez emporter la quantité absolue minimale de vêtements pour survivre. Vous calculez exactement ce dont vous avez besoin : une chemise, un pantalon et des chaussettes. Vous laissez tout le reste derrière vous.
Le résultat : Théoriquement, cette « valise minimale » est parfaite. Elle ne contient aucun superflu.
Le hic : Lorsque les auteurs ont essayé de fournir cette « valise minimale » à une IA moderne (un réseau de neurones profond), cela a échoué. L'IA s'est perdue. Il s'avère que les réseaux d'IA sont comme des étudiants qui apprennent mieux lorsqu'ils ont un peu de contexte supplémentaire, pas seulement les faits bruts. L'état « minimal » était trop clairsemé, rendant difficile pour l'IA d'apprendre les motifs.

2. La Solution : MOSE (Exposition d'État Multi-Ordre)

Pour corriger cela, les auteurs ont inventé MOSE (Exposition d'État Multi-Ordre).

L'analogie : Au lieu de donner à l'étudiant uniquement la « valise minimale », MOSE lui donne une série de valises de différentes tailles.
- Valise A : Juste le moment présent.
- Valise B : Le moment présent + les 1 dernières secondes.
- Valise C : Le moment présent + les 2 dernières secondes.
- ... et ainsi de suite.
Comment cela fonctionne : L'IA examine toutes ces différentes valises en même temps. Elle voit la version « minimale », mais elle voit aussi des versions avec un historique supplémentaire.
Pourquoi cela aide : Cela agit comme des roues d'entraînement. L'IA peut commencer avec un historique court et simple, puis apprendre progressivement à utiliser un historique plus long lorsque cela aide. C'est comme donner à un étudiant un indice, puis un indice plus grand, puis la réponse complète, le tout en même temps, afin qu'il puisse déterminer quelles indices sont réellement importants.

3. Le « Meilleur des Deux Mondes » (Causal-MOSE)

Les auteurs ont également essayé une approche hybride appelée Causal-MOSE. Cela combine la « valise minimale parfaitement remplie » (dérivée de la carte causale) avec l'approche des « multiples valises ».

Le résultat : C'était souvent le gagnant. Cela donnait à l'IA le « noyau parfait » d'informations (garanti par les mathématiques) mais lui permettait d'ajouter des informations « redondantes » supplémentaires si cela aidait le processus d'apprentissage.

Ce que les expériences ont montré

L'équipe a testé cela sur :

Jeux Synthétiques : Des mondes inventés où ils connaissaient les règles exactes (le graphe causal).
Jeux Réels : Spécifiquement, un jeu Atari appelé GOPHER.

Les constats :

Méthode Standard (Empilement d'Images) : C'est la norme industrielle actuelle, où l'on empile simplement les 4 dernières trames vidéo. Cela fonctionne à peu près, mais c'est comme porter une valise pleine de trucs dont vous n'avez pas besoin.
État Minimal : L'utilisation d'un historique minimal mathématiquement parfait a en fait fait performer l'IA moins bien que la méthode standard.
MOSE : La nouvelle méthode a constamment battu à la fois la méthode standard et la méthode minimale.
La Grande Leçon : L'article conclut que « la suffisance minimale ne suffit pas ». Le fait qu'un état ait la quantité minimale d'informations pour être théoriquement correct ne signifie pas qu'il est le meilleur pour qu'un réseau de neurones apprenne. Vous avez besoin d'une redondance contrôlée (un peu d'histoire supplémentaire et désordonnée) pour aider l'IA à apprendre plus vite et mieux.

Résumé en une phrase

L'article nous enseigne que pour entraîner une IA intelligente, vous ne devriez pas lui donner uniquement les faits bruts (ce qui la confond) ; au lieu de cela, vous devriez lui donner un mélange d'histoires courtes et longues afin qu'elle puisse déterminer exactement ce dont elle a besoin de se souvenir pour gagner.

Résumé Technique : Intégration des DAG Causaux dans l'Apprentissage par Renforcement Profond avec MOSE

Énoncé du Problème

Les algorithmes d'apprentissage par renforcement (AR) en ligne reposent fondamentalement sur la propriété de Markov, qui postule que le futur est conditionnellement indépendant du passé étant donné l'état présent. Cependant, dans les applications réelles impliquant des observations brutes (par exemple, des flux de capteurs, des trames vidéo), les variables observées ne forment souvent pas intrinsèquement un état markovien, car la dynamique du système peut dépendre d'une quantité inconnue de contexte historique.

Bien que la littérature existante sur l'AR causal utilise des Graphes Acycliques Dirigés (DAG) causaux pour accélérer l'apprentissage ou concevoir des récompenses robustes, ces méthodes supposent généralement qu'une représentation d'état markovienne valide et pré-spécifiée est déjà disponible. Un écart critique subsiste : étant donné un graphe causal longitudinal sur des variables observées, il n'existe aucune procédure établie pour construire une représentation d'état qui satisfasse prouvablement la propriété de Markov. De plus, dans le contexte de l'AR profond, la simple construction d'un état markovien théoriquement « minimal » échoue souvent à améliorer les performances empiriques, car les réseaux de neurones peuvent avoir du mal à généraliser à partir de telles représentations parcimonieuses en raison du surapprentissage et de l'absence de caractéristiques redondantes qui aident l'approximation de fonction.

Méthodologie

L'article propose une approche à double facette : une procédure théorique pour construire des états minimaux à partir de graphes causaux connus, et une méthode heuristique (MOSE) pour l'AR profond lorsque le graphe est inconnu ou pour améliorer la stabilité de l'apprentissage.

1. Construction d'un État Markovien Minimal à partir de DAG Causaux

Les auteurs établissent un lien formel entre les DAG causaux de séries temporelles et les Processus de Décision Markoviens (MDP).

Cadre Théorique : En utilisant des Modèles Causaux Structurels (MCS) étendus aux séries temporelles, l'article définit un « Graphique de Temps Complet » où les nœuds représentent des variables à des pas de temps spécifiques et les arêtes représentent des dépendances causales avec des retards temporels.
Critère Graphique : Le théorème 4.1 fournit quatre conditions nécessaires et suffisantes pour qu'une séquence d'ensembles de variables $\{S_t\}$ ${S_{t}}$ constitue un espace d'états valide :
1. Inclusion des Parents de la Récompense : Tous les parents de la variable de récompense $R_t$ doivent être inclus dans $S_t$ .
2. Inclusion Étendue des Parents de l'État Suivant : Tous les parents (aux temps $\le t$ ) de l'« ensemble d'état suivant étendu » (la fermeture de $S_{t+1}$ sous les parents au même instant) doivent être inclus dans $S_t$ .
3. Pas de Réentrée Ancestrale : Une fois qu'une variable est retirée de la construction de l'état, ses ancêtres ne peuvent pas réintégrer l'état à un moment ultérieur.
4. Persistance : Si une variable apparaît dans l'état à deux moments différents, elle doit apparaître dans tous les états intermédiaires.
Algorithme F.1 : Un algorithme de construction inverse est proposé pour générer une séquence d'états prouvablement minimale satisfaisant les critères ci-dessus. En partant de la fin de l'horizon, il sélectionne itérativement les parents nécessaires de la récompense et de l'état suivant, garantissant qu'aucune variable redondante n'est incluse tout en préservant la propriété de Markov et la valeur optimale.

2. Exposition d'État Multi-Ordre (MOSE)

Reconnaissant que les représentations minimales peuvent entraîner une mauvaise généralisation en AR profond (en raison de minima aigus et d'un manque de marge statistique), les auteurs proposent MOSE.

Mécanisme : Au lieu de fournir une unique représentation d'état minimale ou une fenêtre fixe d'historique à la fonction Q, MOSE fournit plusieurs ordres de constructions d'états historiques simultanément. Plus précisément, pour une longueur de fenêtre $W$ , l'algorithme met à jour itérativement la fonction de valeur en utilisant des entrées allant de l'observation actuelle ( $l=0$ ) jusqu'à la fenêtre complète ( $l=W$ ).
Raison d'être : Les entrées d'ordre inférieur, non markoviennes, agissent comme un bruit structuré qui remodelle le paysage de perte. Cela fournit un gradient progressif et informatif, allant des représentations sous-optimales aux optimales, agissant comme un régularisateur similaire à l'augmentation de données ou à l'apprentissage multi-vues.
Causal-MOSE : Une extension où l'état markovien minimal (dérivé du DAG causal) est inclus aux côtés des entrées multi-ordres. Cela combine la garantie théorique du noyau minimal avec les avantages empiriques de la redondance.

Contributions Clés

Construction d'État Markovien Minimal : L'article fournit un critère graphique et un algorithme constructif inverse (Algorithme F.1) pour dériver un espace d'états prouvablement minimal à partir d'un DAG causal longitudinal connu. Cela comble le fossé entre la découverte causale et la définition d'états MDP.
Exposition d'État Multi-Ordre (MOSE) : Une méthode heuristique de construction d'état qui ne nécessite pas de connaissance préalable du DAG causal. Elle démontre que l'exposition des agents d'AR profond à plusieurs fenêtres temporelles d'historique améliore les performances par rapport à l'empilement de trames naïf et aux représentations causales minimales.
Causal-MOSE : Une approche hybride montrant que la combinaison de l'état markovien minimal avec l'exposition multi-ordre produit des performances égales ou supérieures à MOSE seul, validant l'utilité de la structure causale lorsqu'elle est disponible.

Résultats Expérimentaux

Les auteurs ont évalué leurs méthodes sur trois Processus de Génération de Données (PGD) synthétiques et le jeu Atari GOPHER.

PGD Synthétiques : En utilisant des Modèles à Bruit Additif Linéaire (ANM) et des modèles Post-Non-Linéaires (PNL) avec des ordres MDP variables ( $W=2, 5, 10$ $W = 2, 5, 10$ ), MOSE a constamment surpassé :
- Politique Fenêtre : Empilement standard de trames (concaténation de $W$ trames fixes).
- Parents de Récompense : Utilisation uniquement des parents de la récompense comme état.
- État-DAG : L'état minimal construit par l'Algorithme F.1.
- Résultat Clé : L'état minimal (État-DAG) seul n'a pas amélioré les performances par rapport aux politiques de fenêtre et les a parfois dégradées, confirmant que la minimalité théorique ne correspond pas à l'optimalité empirique en AR profond.
Performance de Causal-MOSE : Dans les environnements ANM linéaires, Causal-MOSE (état minimal + MOSE) a constamment surpassé MOSE seul, suggérant que l'état minimal fournit un noyau fiable sur lequel le réseau peut se construire.
Atari (GOPHER) : MOSE a surpassé l'algorithme Rainbow standard (qui utilise un empilement de 4 trames) sur 1 million d'étapes d'entraînement. Cela indique que dans les environnements à haute dimension de pixels, toutes les trames empilées ne contribuent pas également au contrôle, et que la sélection adaptative d'états améliore l'efficacité de l'échantillonnage.
Ablations : Les expériences ont confirmé que les gains n'étaient pas dus à une augmentation du nombre d'étapes de gradient par lot (artefacts d'optimisation) mais plutôt aux représentations d'état plus riches fournies par MOSE.

Signification et Revendications

L'article établit un principe fondamental pour l'AR causal profond : la suffisance minimale ne suffit pas, et une redondance contrôlée est nécessaire pour débloquer le bénéfice de l'information d'état causale.

Les auteurs soutiennent que, bien que les graphes causaux fournissent une manière principielle d'identifier les variables minimales requises pour la propriété de Markov, les réseaux de neurones profonds bénéficient de la « marge statistique » fournie par des entrées redondantes et non markoviennes. Ces entrées redondantes aident le réseau à éviter le surapprentissage aux corrélations fallacieuses et facilitent une meilleure généralisation.

Ce travail contribue à une fondation théorique pour construire des états MDP valides à partir de graphes causaux et à une heuristique pratique (MOSE) qui rend ces insights causaux utilisables dans l'AR profond moderne. Les auteurs notent que leur approche suppose l'accès à un graphe causal longitudinal de vérité terrain ; apprendre de tels graphes à partir de données de haute dimension et non stationnaires reste un défi ouvert pour les travaux futurs.