Interpretable Failure Analysis in Multi-Agent Reinforcement Learning Systems

1. Problématique

L'apprentissage par renforcement multi-agents (MARL) est de plus en plus déployé dans des domaines critiques pour la sécurité (flottes de robots, réseaux électriques, systèmes de transport). Cependant, la détection et l'attribution des défaillances dans ces systèmes restent sous-développées, en particulier en ce qui concerne l'interprétabilité.

Le défi central réside dans la complexité des couplages dynamiques : dans un système MARL étroitement couplé, le premier agent à montrer des signes d'instabilité détectable n'est pas nécessairement la source réelle de la défaillance (le "Patient-0").

• L'effet domino : Un agent en amont (la source réelle) peut subir une déviation mineure qui est amplifiée par la sensibilité d'un agent en aval. Ce dernier peut alors s'effondrer de manière spectaculaire et être détecté en premier, masquant la cause racine.
• Limites des approches actuelles : Les métriques globales (comme la récompense de l'équipe) masquent l'instabilité des politiques individuelles. Les méthodes existantes d'explication (xMARL) se concentrent souvent sur l'attribution de crédit (Shapley) ou la vérification de tâches, mais ne parviennent pas à reconstruire la dynamique de propagation des défaillances ni à identifier le point d'entrée initial.

L'objectif est de répondre à trois questions clés :

1. Qui est le vrai "Patient-0" (le premier agent entrant dans un état non robuste) ?
2. Pourquoi un agent non attaqué peut-il être signalé en premier ?
3. Comment la défaillance se propage-t-elle à travers les voies de coordination apprises ?

2. Méthodologie : Un cadre à deux étapes basé sur le gradient

Les auteurs proposent une méthode de "forensique" (analyse médico-légale) basée sur le gradient, divisée en deux étapes, pour diagnostiquer les défaillances en cascade.

Étape 1 : Détection locale de l'instabilité de la politique (Recherche du candidat Patient-0)

Cette étape vise à identifier le premier agent dont la politique devient instable.

• Analyse de la dérivée de Taylor : Pour chaque agent $i$, on définit un coût de "commitment" d'action basé sur sa politique $\pi_i$. On utilise le théorème de Taylor pour analyser la sensibilité de ce coût face à de petites perturbations des observations locales ($o_i$).
• Statistique du reste de Taylor : On calcule le terme d'erreur de Taylor (le reste), qui approxime la courbure locale de la fonction de coût dans l'espace des observations.
  $$L_i^t(\eta_i) \approx \frac{1}{2} \eta_i^\top \nabla^2_{o_i} J_i(o_i, \tau_i) \eta_i$$
• Détection : Si cette erreur de Taylor dépasse un seuil de stabilité établi (basé sur des épisodes sans faute), l'agent est signalé. Le premier agent à franchir ce seuil devient le candidat initial au Patient-0.
• Avantage : Cette méthode est agnostique à la politique et ne nécessite pas d'accès aux politiques des autres agents, car les interactions sont encodées implicitement dans les observations locales via la dynamique de l'environnement.

Étape 2 : Validation et identification de la source par courbure directionnelle

Cette étape corrige les faux positifs de l'étape 1 (cas "aval en premier") en analysant les dérivées du critique (critic).

• Analyse des dérivées du Critique : Pour les algorithmes utilisant un critique d'action-valeur (ex: MADDPG) ou une fonction de valeur d'état (ex: HATRPO), on calcule :
  • La sensibilité du premier ordre ($G_{ij}$) : Comment l'action de l'agent $j$ affecte la valeur de l'agent $i$.
  • La courbure directionnelle du second ordre ($D_{ij}$) : Mesure de l'amplification ou de l'amortissement de la perturbation.
    $$D_{ij}^t = g_{ij}^{t\top} H_{ij}^t g_{ij}^t$$
• Distinction Amplification vs Amortissement :
  • Si $D_{ij}^t > 0$ (courbure positive) : L'influence est accélératrice (amplification). Une petite déviation chez $j$ provoque une grande instabilité chez $i$.
  • Si $D_{ij}^t < 0$ : L'influence est amortissante.
• Algorithme de Remontée (Traceback) : En partant de l'agent signalé par l'étape 1, l'algorithme remonte le temps dans une fenêtre causale, en suivant uniquement les liens où la courbure est accélératrice ($D > 0$) et la sensibilité est forte. Il identifie ainsi la source en amont qui a initié la cascade, même si elle n'a pas été détectée en premier.

Sortie : Graphes de Contagion Interprétables

La méthode génère des graphes dirigés qui visualisent :

• Direction : Qui influence qui.
• Force : L'intensité de l'influence (score d'influence cumulé).
• Géométrie : La fréquence des états d'amplification (taux critique).
• Temps : La période de propagation et l'occupation d'instabilité (durée pendant laquelle un agent reste instable).

3. Contributions Clés

1. Détection du Patient-0 à deux étapes : Une méthode combinant la détection locale d'instabilité (Taylor) et la validation par remontée de source (dérivées du critique).
2. Explication géométrique des anomalies : L'analyse de courbure du second ordre explique pourquoi des agents en aval peuvent être signalés avant les sources réelles (phénomène d'amplification).
3. Graphes de contagion interprétables : Une représentation visuelle quantitative des voies de propagation, de la force d'influence et de la chronologie des défaillances.
4. Évaluation complète : Validation sur deux environnements (Simple Spread et StarCraft II) et deux algorithmes (MADDPG et HATRPO).

4. Résultats Expérimentaux

Les expériences ont été menées sur 500 épisodes pour Simple Spread (3 et 5 agents) et 100 épisodes pour StarCraft II (3s vs 3z), avec des interventions de type "attaque par action pire".

• Précision de détection du Patient-0 :

  • L'approche globale atteint une précision de 88,2 % à 99,4 % pour identifier le vrai Patient-0.
  • HATRPO surpasse systématiquement MADDPG (ex: 98,9 % vs 88,1 % sur Simple Spread-5), car les paysages de gradient plus lisses de HATRPO fournissent des signaux d'erreur de Taylor plus propres.
  • L'étape 2 (remontée) corrige efficacement les erreurs de l'étape 1, particulièrement dans les environnements fortement couplés comme StarCraft II (taux de correction de ~70 %).

• Validation de l'influence (Métrique d'Occupation d'Instabilité - IO) :

  • La métrique IO (basée sur la géométrie du gradient) surpasse largement les métriques traditionnelles basées sur la récompense ou la valeur Q (AUC) pour détecter les vulnérabilités.
  • Exemple : Sur Simple Spread-3 (MADDPG), l'IO atteint 77,7 % contre ~50 % pour les métriques de performance. Cela prouve que la géométrie du gradient capture des signaux de vulnérabilité invisibles aux approches basées sur la performance globale.

• Cas d'étude :

  • Cas "Haute Influence" : Une perturbation sur un état critique ($G$ élevé, $D>0$) génère une instabilité forte et persistante, correctement tracée jusqu'à la source.
  • Cas "Faux Patient-0" (Downstream-first) : Dans un scénario où l'agent 1 est signalé avant l'agent 3 (la vraie source), l'étape 2 identifie correctement l'agent 3 comme source en remontant les liens d'amplification, corrigeant ainsi l'erreur initiale.

5. Signification et Conclusion

Ce travail représente une avancée majeure vers la sécurité et la confiance dans les systèmes MARL critiques.

• Dépassement de la "Boîte Noire" : Au lieu de se fier uniquement à la détection d'anomalies globales, la méthode offre une forensique au niveau du gradient, rendant les causes et les voies de propagation des défaillances lisibles.
• Utilité Pratique : Elle permet aux praticiens de comprendre non seulement qui a échoué, mais pourquoi et comment l'échec s'est propagé, facilitant le débogage, les tests et le déploiement sécurisé.
• Limites et Perspectives : La méthode suppose actuellement une source de défaillance unique et nécessite des critiques différentiables. Les travaux futurs visent à gérer des défaillances multiples, à réduire la charge computationnelle et à adapter la méthode à des déploiements en temps réel à grande échelle.

En résumé, ce cadre transforme l'analyse des défaillances MARL d'un problème d'observation de symptômes en un processus d'investigation causale rigoureux et interprétable.