Résumé Technique : Apprentissage de la Politique de l'Agent Rouge à partir d'Observations pour les Agents Cybernétiques Autonomes Neurosymboliques

Énoncé du Problème

Les systèmes modernes de cyberdéfense autonome s'appuient de plus en plus sur des agents d'Apprentissage par Renforcement (RL) pour appliquer des règles de sécurité et s'adapter à l'évolution des menaces. Cependant, ces environnements sont intrinsèquement partiellement observables. Plus précisément, le défenseur (agent bleu) ne peut pas observer directement les actions ou les politiques de l'attaquant (agent rouge). Le défenseur ne perçoit que des transitions d'état partielles et les résultats indirects des attaques. Ce manque de visibilité entrave la capacité à reconstruire la dynamique réelle du système, à prédire les mouvements de l'attaquant ou à évaluer efficacement les niveaux d'intrusion.

Bien que l'apprentissage par imitation ait été appliqué pour inférer des politiques latentes dans le contrôle classique et les domaines de la vidéo, les méthodes existantes ne sont pas directement applicables aux réseaux autonomes. Cela est dû au fait que les états de réseau sont généralement discrets (instantanés des activités des hôtes/serveurs) et que les transitions d'état dépendent des actions conjointes des agents rouge et bleu. Par conséquent, il existe un besoin critique pour une technique capable d'apprendre les politiques de l'agent rouge et de prédire les actions rouges au moment de l'exécution en utilisant uniquement les observations et les actions de l'agent bleu.

Méthodologie

Les auteurs proposent une Technique d'Apprentissage de Politique basée sur l'apprentissage par imitation, conçue pour inférer les politiques de l'agent rouge ($\pi'$) et prédire les actions rouges ($r_{t-1}$) à partir d'observations bleues consécutives ($o^b_{t-1}, o^b_t$) et de l'action bleue précédente ($b_{t-1}$). L'approche est structurée en trois phases et intégrée à un cadre neurosymbolique.

1. Formulation du Problème

Le réseau est modélisé comme un Processus de Décision Markovien Partiellement Observable (POMDP) en temps discret. L'objectif est d'apprendre la politique rouge $\pi'$ étant donné une politique bleue connue $\pi$. L'entrée consiste en :

• Les observations bleues à $t-1$ et $t$.
• L'action bleue exécutée à $t-1$.
• Le but est de prédire l'action rouge exécutée à $t-1$.

2. Technique d'Apprentissage en Trois Phases

La technique utilise un modèle de dynamique multi-étapes utilisant des réseaux de neurones profonds (DNN) :

• Phase I : Génération de Données

  • Le système interagit avec l'environnement pour collecter des transitions $(o^b_{t-1}, b_{t-1} \to o^b_t)$.
  • Un jeu de données $D$ est généré pour l'entraînement.
  • Un jeu de données étiqueté $D_R$ est généré en extrayant les actions réelles de l'agent rouge ($r_{t-1}$) du système (inobservables lors de l'exécution réelle) et en les pré-traitant en composants : nom de l'action, hôte cible et sous-réseau.

• Phase II : Apprentissage de la Politique (Inférence d'Action Latente)

  • Encodage : Les actions et les cibles bleues sont encodées en "one-hot".
  • Apprentissage de l'Action Latente : Deux modèles sont entraînés conjointement :
    1. Modèle de Dynamique Inverse (IDM1) : Estime une action rouge latente ($l_{t-1}$) étant donné les observations et les actions bleues.
    2. Modèle de Dynamique Directe (FDM1) : Prédit l'observation actuelle ($\tilde{o}^b_t$) étant donné l'état précédent, l'action bleue et l'action latente inférée.
    • Ces modèles sont entraînés pour minimiser l'erreur d'observation $|\tilde{o}^b_t - o^b_t|$, forçant l'action latente à capturer la dynamique rouge manquante.
  • Imitation de la Politique : Un second Modèle de Dynamique Inverse (IDM2) est entraîné pour imiter les actions latentes apprises par l'IDM1, apprenant ainsi efficacement la politique $\pi'$.
  • Correspondance vers des Actions Discrètes : Un Modèle de Dynamique Directe (FDM2) mappe les actions latentes continues vers les composants discrets de l'action rouge (nom de l'action, hôte, sous-réseau). Ces sorties sont seuillées pour produire des encodages binaires "one-hot" pour l'action rouge prédite finale $\hat{r}_{t-1}$.

3. Intégration avec les Agents Neurosymboliques

La politique apprise est intégrée dans un Arbre de Comportement Évolutif (EBT), une architecture neurosymbolique combinant des Arbres de Comportement (BT) avec des Composants Activés par l'Apprentissage (LEC).

• De nouveaux comportements sont ajoutés à l'EBT pour effectuer la prédiction au moment de l'exécution.
• Un nœud de condition garantit qu'un historique d'observation suffisant existe avant la prédiction.
• L'EBT sélectionne la politique rouge apprise appropriée en fonction de la stratégie bleue active (par exemple, distinguer les stratégies d'attaquant "Meander" et "B line").
• Si aucune politique n'existe, le système enregistre les transitions pour une analyse hors ligne.

Contributions Clés

Le papier présente trois contributions principales :

1. Technique d'Apprentissage de Politique : Une nouvelle méthode pour apprendre les politiques de l'agent rouge et prédire les actions rouges dans des environnements de RL partiellement observables avec des états et des actions discrets, en utilisant uniquement les observations et les actions de l'agent bleu.
2. Intégration Neurosymbolique : L'intégration réussie de cette technique dans un agent de cyberdéfense autonome basé sur des arbres de comportement, permettant la prédiction en temps réel des mouvements adverses.
3. Évaluation Empirique : Une évaluation complète utilisant l'environnement CybORG CAGE Challenge 2, qui utilise les tactiques MITRE ATT&CK. L'approche démontre une grande précision à travers diverses stratégies, y compris le changement de stratégie dynamique.

Résultats Expérimentaux

Les auteurs ont évalué la technique dans l'environnement CybORG CAGE Challenge 2 en utilisant deux stratégies d'attaquant statiques (Meander et B line) et une stratégie de commutation dynamique (RedSwitch).

• Précision de Prédiction :

  • B line : A atteint la plus haute précision (99,93 % pour la prédiction de l'observation bleue, 95,28 % pour la prédiction de l'action rouge au niveau de l'hôte) en raison de sa nature déterministe et orientée vers un objectif.
  • Meander : Présente une précision plus faible (94,96 % pour l'observation, 77,71 % pour l'hôte) en raison d'une plus grande variabilité de comportement.
  • RedSwitch : La performance varie selon la stratégie active ; la précision augmente lorsque l'agent bascule vers la stratégie B line.
  • Sous-réseau vs Hôte : La précision de la prédiction au niveau du sous-réseau dépasse systématiquement celle au niveau de l'hôte pour toutes les stratégies, ce qui est attribué à la nature aléatoire de la sélection de l'hôte cible.

• Estimation du Niveau d'Intrusion :

  • Les actions prédites ont été utilisées pour calculer les scores d'intrusion basés sur les niveaux de compromission (Aucun, Niveau Utilisateur, Niveau Privilège).
  • Les résultats indiquent que l'agent EBT bleu est nettement plus efficace pour atténuer les attaques sous la stratégie Meander par rapport à B line et RedSwitch, comme en témoigne le nombre réduit de pas de temps atteignant un compromis de niveau privilège.

Signification et Revendications

Le papier affirme que la technique proposée répond efficacement au défi de l'observabilité partielle dans la défense cybernétique autonome. En inférant les politiques rouges au moment de l'exécution, le système permet :

• Une détection précoce des mouvements adverses avant une compromission profonde du réseau.
• Une estimation des niveaux d'intrusion de l'attaquant au fil du temps.
• L'affinement des stratégies d'atténuation en identifiant les faiblesses du réseau exposées par les actions rouges prédites.

Les auteurs notent que bien que l'évaluation actuelle soit basée sur un environnement simulé (CybORG CAGE Challenge 2) dérivé de MITRE ATT&CK, la technique est généralisable à tout agent RL partiellement observable avec des états et des actions discrets. Les travaux futurs consistent à valider l'approche dans des environnements émulés réalistes et à exploiter les actions rouges prédites pour entraîner des agents bleus plus robustes. Ce travail est présenté comme une étape vers des systèmes de défense autonomes plus adaptatifs et interprétables.