CRRL: A Causality-Based Reinforcement Learning Framework for Autonomous System Recovery

Résumé Technique : CRRL : Un cadre d'apprentissage par renforcement basé sur la causalité pour la récupération de systèmes autonomes

Énoncé du Problème
Les politiques d'apprentissage par renforcement (RL) traditionnelles pour les systèmes autonomes manquent souvent de compréhension causale, ce qui entraîne une faible généralisation face à de nouveaux scénarios de défaillance. Une limitation critique identifiée dans l'article est que les politiques de RL standard, lorsqu'elles sont entraînées sans conscience des mécanismes de récupération externes, ne parviennent pas à coopérer efficacement avec eux. En pratique, l'ajout de modules de récupération heuristiques à des politiques pré-entraînées dégrade souvent les performances car la politique ne peut ni anticiper ni s'adapter aux interventions imprévues. Par conséquent, les agents peuvent rester bloqués dans des états de défaillance pendant jusqu'à 70 % d'un épisode, et la récupération basée sur des règles est insuffisante pour les environnements complexes et imprévisibles. Le défi central n'est pas l'absence de mécanismes de récupération, mais l'absence de politiques entraînées pour collaborer avec eux.

Méthodologie : Cadre CRRL
Les auteurs proposent le CRRL (Causal Recovery Reinforcement Learning), un cadre hybride qui intègre l'apprentissage par renforcement guidé par la causalité avec un module de récupération basé sur des règles. Le système suit l'architecture de boucle de rétroaction MAPE-K (Monitor, Analyze, Plan, Execute, Knowledge) :

1. Monitor (Collecte des données capteurs) : Le système opère dans le simulateur CARLA, collectant des trajectoires de conduite en séries temporelles issues d'interactions multi-véhicules. Les données incluent la télémétrie du véhicule (vitesse, position, rotation), les entrées de capteurs (images de caméras traitées via un auto-encodeur variationnel) et les événements de sécurité (collisions, écarts de voie).
2. Analyze (Construction du modèle causal) : Un graphe acyclique dirigé (DAG) est construit à partir des journaux de conduite en utilisant la bibliothèque CausalNex. Ce réseau bayésien modélise les relations causales entre les actions (accélération, direction), les états (vitesse, accélération) et les résultats (collisions, sorties de route). Le modèle est utilisé pour estimer les probabilités conditionnelles, spécifiquement $P(\text{collision} \mid \text{action}, \text{état})$, afin de quantifier l'effet causal des actions sur les risques de défaillance.
3. Plan/Execute (Entraînement de la politique RL hybride) : Un agent PPO (Proximal Policy Optimization) est entraîné pour gérer la conduite vers l'avant et l'évitement d'obstacles. Le cadre introduit deux intégrations causales clés durant l'entraînement :
   • Causal Reward Shaping (Façonnage de la récompense causale) : Lors des phases de récupération, le signal de récompense est augmenté d'un bonus causal inversement proportionnel au risque de collision prédit ($1 - P(\text{défaillance} \mid \text{action}, \text{état})$). Cela fournit un feedback dense pour guider la politique vers des manœuvres plus sûres.
   • Action Blending (Fusion d'actions) : Lorsqu'un état de défaillance est détecté (par exemple, vitesse de stagnation < 0,5 km/h), un module de récupération basé sur des règles s'active. Pour les actions de récupération vers l'avant, l'action exécutée est une fusion pondérée de la sélection classée par risque du modèle causal (80 %) et de la sortie de la politique PPO (20 %). Pour les manœuvres de recul (pour lesquelles la politique PPO manque d'expérience), l'action basée sur la règle est appliquée directement.

Le pipeline d'entraînement implique un processus en deux étapes : d'abord, l'ajustement du réseau bayésien causal sur des journaux de conduite discrétisés ; ensuite, l'ajustement fin (fine-tuning) de la politique PPO en ligne en utilisant le signal de récompense causal et les mécanismes de fusion d'actions.

Contributions Clés

• Cadre CRRL : Une architecture hybride où les modèles causaux appris à partir de journaux de conduite réels façonnent le signal d'entraînement du RL, enseignant explicitement à la politique à collaborer avec les modules de récupération basés sur des règles.
• Pipeline en trois étapes : Une méthodologie couplant la modélisation causale par réseau bayésien avec PPO, où le guidage causal influence les paramètres de la politique au moment de l'entraînement plutôt que de simplement corriger le comportement au moment de l'exécution.
• Validation Empirique : Une évaluation contrôlée à travers trois scénarios de conduite (route droite, rond-point, intersection en T) utilisant une étude d'ablation à quatre conditions pour isoler les contributions de l'entraînement causal et des mécanismes de récupération.
• Package de Réplication : Mise à disposition des données brutes et des scripts d'analyse pour soutenir la reproductibilité.

Résultats
L'évaluation a impliqué 20 épisodes par condition à travers trois scénarios. Les conclusions clés incluent :

• Limitations de la base de référence : Sans récupération, la politique PPO classique est restée stagnante pendant 26 à 67 % des épisodes, le scénario de l'intersection en T présentant le taux de défaillance le plus élevé (67,45 % de temps de stagnation).
• Efficacité du système hybride : Le système hybride entraîné par la causalité (Condition C) a nettement surpassé la base de référence vanilla (Condition A) dans les scénarios complexes. Dans l'intersection en T, la récompense a augmenté de 91,1 %, le temps de stagnation a diminué de 51,8 % et le temps hors route a chuté de 43,7 %.
• Impact de l'entraînement causal (RQ4) : La conclusion la plus significative est que l'entraînement guidé par la causalité améliore intrinsèquement la qualité de la politique. Dans les épisodes de "zéro récupération" (où le module de récupération n'a jamais été déclenché), la politique entraînée par la causalité a parcouru 83 % de distance supplémentaire et a obtenu une récompense 257 % plus élevée que la base de référence. Cela confirme que la politique a appris des comportements d'évitement proactifs plutôt que de compter uniquement sur l'intervention externe.
• Stratégie de récupération : La sélection classée par risque causal (Condition D) a surpassé le cycle heuristique (Condition B) en réduisant les tentatives de récupération de 28 à 39 % et en augmentant les taux de réussite dans les scénarios de route droite et de rond-point.
• Compromis : Bien que les manœuvres de récupération aient augmenté le nombre de collisions (jusqu'à 606 % dans certaines comparaisons), la récompense nette est restée positive dans la comparaison complète du système (Condition D vs B) à travers tous les scénarios, indiquant que les gains en progression vers l'avant et en vitesse l'emportent sur les risques de collision.

Signification et Revendications
L'article affirme que la principale source d'amélioration de la récupération des systèmes autonomes est l'entraînement guidé par la causalité, et non simplement la présence d'un module de récupération. L'étude démontre que les politiques de RL standard, entraînées sans contexte causal, ne peuvent pas collaborer efficacement avec les interventions basées sur des règles, menant souvent à des boucles contre-productives. En intégrant la structure causale dans le signal d'entraînement, le CRRL permet aux politiques d'anticiper les états de stagnation et d'ajuster les actions pour faciliter la récupération.

Les auteurs positionnent le CRRL comme une étape vers la réduction de l'écart entre le raisonnement causal théorique et les systèmes d'auto-guérison pratiques. Ils soulignent que si l'implémentation actuelle repose sur des déclencheurs conçus à la main et montre des limites concernant le transfert sim-to-real (notamment concernant les taux de collision), le cadre prouve avec succès que les modèles causaux peuvent être utilisés pour façonner les politiques de RL pour un comportement coopératif avec des composants critiques pour la sécurité. Ce travail met en évidence la nécessité d'entraîner les politiques à « travailler avec » les mécanismes de récupération plutôt que de s'attendre à ce qu'ils fonctionnent de manière isolée.