Résumé Technique : Apprentissage par Renforcement Multi-Agents avec Graphe de Contrat de Sécurité pour la Réponse Autonome à la Sécurité des Réseaux

1. Énoncé du Problème

Le papier traite de l'écart critique entre la performance de sécurité théorique et la déployabilité opérationnelle des systèmes de réponse autonome à la sécurité des réseaux. Bien que les agents d'apprentissage par renforcement multi-agents (MARL) puissent optimiser les récompenses de sécurité en simulation (par exemple, le défi CAGE 4), ils échouent souvent à respecter les contraintes opérationnelles d'un Centre de Sécurité Opérationnelle (SOC).

Dans les environnements réels de SOC, les actions de réponse entraînent des coûts spécifiques :

• Temps d'arrêt/MTTR : Restaurer un hôte compromis le rend indisponible, consommant un budget de « Temps Moyen de Récupération » (Mean Time to Recover).
• Faux Positifs : Restaurer des hôtes sans preuve manifeste de malveillance surcharge les analystes et érode la confiance.
• Perturbation du Pare-feu : Modifier les zones de trafic nécessite une approbation de gestion du changement et crée des pistes d'audit.

Le problème central est que les agents MARL standards, basés uniquement sur la récompense, lorsqu'ils sont entraînés pour maximiser les scores de sécurité, épuisent systématiquement ces budgets opérationnels. Dans l'évaluation du défi CAGE 4, les agents non contraints ont violé le budget de temps d'arrêt dans 100 % des épisodes, consommant 6 à 9 fois le budget autorisé par épisode. Le papier pose comme postulat qu'un système de réponse autonome n'est pas déployable s'il ne peut pas opérer dans des cadres de gouvernance explicites du SOC, quel que soit son score de sécurité.

2. Méthodologie

Les auteurs proposent un cadre de MARL par Graphe de Contrat de Sécurité, instancié principalement par deux architectures : C-MAPPO-GAT et ACD3-GAT. L'approche traite le problème comme un Processus de Décision Markovien Partiellement Observable Décentralisé (Dec-POMDP) contraint.

2.1. Composants du Cadre Central

• Budgets Opérationnels : Trois compteurs de budget explicites sont définis par épisode :
  • $B_{down} = 50$ (Actions de restauration).
  • $B_{fp} = 10$ (Actions de restauration liées à des faux positifs).
  • $B_{fw} = 20$ (Actions de modification de pare-feu).
  • Un épisode n'est considéré comme « sûr » que si le coût cumulé pour chaque contrainte reste dans son budget.
• Encodage d'Observation par Graphe : Les agents observent des vecteurs binaires représentant les états du réseau. Ceux-ci sont analysés en graphes hôte-sous-réseau. Un encodeur de Réseau d'Attention sur Graphe (GAT) traite ces graphes pour capturer les dépendances topologiques, remplaçant les encodeurs MLP standards.
• Optimisation Contrainte Lagrangienne : Le cadre utilise une approche de relaxation lagrangienne. Une variable duale (multiplicateur $\lambda_k$) est mise à jour après chaque lot pour pénaliser les politiques qui dépassent des budgets spécifiques. La fonction d'avantage est modifiée pour soustraire les pénalités de coût :
  $$\hat{A}^{Lag}_t = \hat{A}^r_t - \sum_k \lambda_k \hat{A}^{c_k}_t$$
• Écran de Contre-factuel d'Action (Blindage) : Avant qu'une action ne soit exécutée, un « bouclier » évalue les actions candidates.
  • Garde Rigide (Hard Guard) : Les actions qui épuiseraient immédiatement un budget restant sont bloquées.
  • Propagation de Risque Contre-factuelle sur Graphe (G-CRP) : Un modèle déterministe propage le risque à travers le graphe du réseau pour estimer la probabilité de compromission post-action. Les actions sont classées par un score de sécurité $Q_{safe}$, qui combine le risque prédit, le coût et les contraintes de budget.
• Blindage de Graphe de Contrat Temporel (TCGS) : Une extension diagnostique qui utilise un modèle récurrent appris pour prédire la probabilité de violations de budget futures basées sur l'historique de la trajectoire, agissant comme un filtre temporel pour les propositions d'actions.

2.2. Architectures Évaluées

1. C-MAPPO-GAT : Une base contrainte combinant le MAPPO (Multi-Agent PPO) avec un encodeur GAT et un contrôle de coût lagrangien. Elle isole l'effet des contraintes explicites de coût opérationnel.
2. ACD3-GAT (Adaptive Constrained Counterfactual Decisioning with a Graph Attention Network) : Le cadre complet intégré. Il ajoute :
   • Des vecteurs de contexte de budget à l'entrée de la politique.
   • Un repondérage CVaR (Conditional Value-at-Risk) pour pénaliser le risque de queue (pire cas).
   • Une estimation de l'état de croyance de l'adversaire (via GRU).
   • Les mécanismes de blindage G-CRP et TCGS.
   • Des signaux de substitution (override) pour déclencher des retours à l'humain (ex: action SLEEP) lorsque la confiance est faible ou que les budgets sont épuisés.

3. Contributions Clés

• Contrats de Sécurité Explicites : Le papier fait passer les contraintes opérationnelles de simples effets secondaires implicites à des « contrats de sécurité » explicites et auditables, qui sont optimisés et filtrés pendant l'entraînement et l'exécution.
• Cadre ACD3-GAT : Une architecture novatrice qui intègre la perception par graphe, l'apprentissage de contraintes lagrangiennes, la gestion du risque de queue et la propagation de risque contre-factuelle dans un système MARL unique.
• Preuve Empirique de l'Échec des Récompenses Seules : L'étude démontre que le MAR de récompense seule (IPPO, MAPPO-GAT) est fondamentalement non déployable dans ce domaine, violant les budgets de temps d'arrêt dans 100 % des épisodes.
• Lignes de Base Contrôlées : L'introduction de C-MAPPO-GAT sert de base de comparaison contrôlée pour prouver que les améliorations de sécurité proviennent de la machinerie de contrainte (Lagrangien + blindage) plutôt que du simple encodeur de graphe ou de la mise en forme de la récompense.

4. Résultats

Les expériences ont été menées sur le CAGE Challenge 4 en utilisant 5 agents « Blue » coopératifs contre un adversaire « Red » sur des épisodes de 500 étapes.

4.1. Conformité de Sécurité

• Méthodes Non Contraintes : Toutes les bases de comparaison basées uniquement sur la récompense (IPPO, MAPPO-GAT, etc.) ont atteint un taux de violation du budget de temps d'arrêt de 100 %. Leurs coûts moyens de temps d'arrêt oscillaient entre 311 et 430 contre un budget de 50.
• C-MAPPO-GAT : A réduit le taux de violation du budget de temps d'arrêt à 0,3 % (2 violations en 600 épisodes) et a abaissé le coût moyen de temps d'arrêt à 15,5. Cela représente une réduction de 95 à 96 % du dommage opérationnel par rapport au MAPPO-GAT non contraint.
• ACD3-GAT : A obtenu un coût moyen de temps d'arrêt de 48,2 avec un taux de violation de 13,8 %. Bien que moins conservateur que C-MAPPO-GAT, il opère sur la « frontière du contrat de sécurité », équilibrant plus efficacement le risque et la récompense que les méthodes non contraintes.

4.2. Compromis Retour vs Sécurité

• Les méthodes contraintes ont subi une pénalité sur le retour de sécurité moyen (ex: C-MAPPO-GAT a retourné -6 992 contre -3 937 pour MAPPO-MLP non contraint).
• Cependant, le papier soutient que ce compromis est nécessaire : une politique avec un score de sécurité élevé mais une violation de budget de 100 % est opérationnellement inutile.
• Risque de Queue : Les encodeurs de graphe (GAT) ont amélioré le pire retour de queue (CVaR-10 %) par rapport aux encodeurs MLP, mais seules les méthodes contraintes ont éliminé les épisodes catastrophiques (dépassement des seuils d'alerte).

4.3. Tests de Robustesse

• Changements de Topologie : C-MAPPO-GAT a maintenu 0 % de violation de budget de temps d'arrêt sur des topologies de réseau non vues, tandis que les méthodes non contraintes sont restées à 100 % de violation.
• Processus Red Adaptatif : Testé contre un agent Red PPO adaptatif, les politiques contraintes ont montré une dégradation de performance nettement moindre dans les pires scénarios par rapport au MAPPO-GAT basé sur la récompense seule.

5. Signification et Revendications

Le papier revendique modestement que sa contribution principale est d'établir un modèle de décision de support pour les agents de SOC autonomes, plutôt que de prétendre offrir un système entièrement autonome prêt pour la production.

• Discipline Opérationnelle : La conclusion centrale est que « l'apprentissage basé uniquement sur la récompense manque de discipline opérationnelle ». Le papier démontre que sans contrats de sécurité explicites, les agents MAR apprennent des stratégies qui sont opérationnellement destructrices (ex: épuisement des budgets MTTR).
• Auditabilité : Le cadre transforme l'agent en un composant auditable où les actions peuvent être vérifiées par rapport aux budgets locaux, offrant une voie claire pour la gouvernance humaine et l'escalade.
• Positionnement sur la Frontière : Les résultats distinguent la configuration C-MAPPO-GAT (le point de conformité le plus fiable dans le benchmark) et l'architecture ACD3-GAT (le cadre général pour intégrer la sécurité, la perception par graphe et le risque).
• Limites : Les auteurs reconnaissent que les garanties de sécurité sont empiriques (basées sur les taux de violation en simulation) plutôt que des preuves mathématiques formelles pour des politiques neuronales non convexes. Le « contrat de sécurité » est une discipline d'évaluation et d'entraînement au sein du simulateur CAGE-4, et un déploiement réel nécessiterait un ajustement des budgets selon les SLA (accords de niveau de service) de l'organisation.

En conclusion, le papier soutient que pour que la sécurité réseau autonome soit viable, l'objectif d'apprentissage doit explicitement optimiser l'acceptabilité opérationnelle parallèlement aux récompenses de sécurité, en utilisant des mécanismes tels que les contraintes lagrangiennes et le blindage contre-factuel pour prévenir l'épuisement des budgets.