Network and Device Level Cyber Deception for Contested Environments Using RL and LLMs

1. Problématique et Contexte

L'article aborde le défi majeur de l'asymétrie entre attaquants et défenseurs dans le domaine de la cybersécurité, particulièrement critique dans les environnements de Technologie Opérationnelle (OT) comme les réseaux électriques intelligents (SCADA).

• Le défi : Les attaquants disposent de temps illimité pour la reconnaissance et le mouvement latéral, tandis que les défenseurs doivent réagir en quelques secondes. Les mécanismes de défense traditionnels (pare-feux, détection d'intrusion) sont souvent passifs et inefficaces contre des adversaires sophistiqués.
• Limites des approches actuelles : Les méthodes de déception existantes (honeypots statiques, randomisation d'adresses IP) sont coûteuses, nécessitent une intervention humaine importante et sont souvent détectables par des analyses de comportement ou de timing.
• Spécificité OT : Dans les systèmes OT (utilisant par exemple le protocole DNP3), la déception ne peut pas se contenter de simuler des services génériques. Elle doit respecter des contraintes strictes de temporalité, de cohérence d'état et de sémantique de commande, sous peine d'être immédiatement identifiée ou de perturber le contrôle physique réel.

2. Méthodologie Proposée

Les auteurs proposent une architecture de déception cybernétique hiérarchique et couplée, intégrant l'apprentissage par renforcement (RL) au niveau réseau et les grands modèles de langage (LLM) au niveau hôte.

A. Architecture Hybride RL-LLM

Le système fonctionne en deux couches interconnectées :

1. Couche Réseau (Agent RL) :

   • Un agent (ou une équipe d'agents dans le cas multi-agent) contrôle les routeurs pour rediriger dynamiquement le trafic suspect vers des leurres (honeypots) plutôt que vers les équipements réels (RTU).
   • Le problème est formulé comme un Processus de Décision Markovien (MDP).
   • L'objectif est d'apprendre une politique de routage qui maximise le temps d'engagement de l'attaquant avec le leurre tout en minimisant les risques de détection et les perturbations du réseau réel.
   • L'approche utilise soit un agent unique, soit un Apprentissage par Renforcement Multi-Agents (MARL) (via le framework PettingZoo) pour améliorer l'évolutivité et réduire l'espace d'action.

2. Couche Hôte (Agent LLM) :

   • Les honeypots sont pilotés par des LLM (modèles de langage) configurés pour émuler le comportement d'un RTU DNP3 réaliste.
   • Contrairement aux honeypots statiques, le LLM génère des réponses contextuelles, cohérentes avec l'historique de la session et les contraintes temporelles du protocole DNP3.
   • Injection de contexte : L'agent LLM utilise une approche RAG (Retrieval-Augmented Generation) et des fichiers de "personnalité" mis à jour pour adapter son comportement aux actions de l'attaquant et maintenir l'illusion.

B. Boucle de Rétroaction et Récompense

L'innovation clé réside dans le couplage bidirectionnel :

• LLM $\to$ RL : La qualité de la déception (réalisme des réponses LLM) est mesurée par une métrique de perplexité ($M_{perp}$), convertie en une probabilité de déception ($P_{dec}$). Cette probabilité module la fonction de récompense de l'agent RL. Si le leurre est peu réaliste, l'agent RL est pénalisé pour avoir redirigé le trafic vers lui.
• RL $\to$ LLM : Les décisions de routage influencent le type de trafic et les comportements d'attaque observés, permettant de mettre à jour la base de connaissances et le fichier de personnalité du LLM pour améliorer sa future génération de réponses.

C. Fonction de Récompense Composite

Les auteurs définissent une fonction de récompense bornée combinant :

• Récompense Cyber : Basée sur le nombre de paquets redirigés vers les honeypots vs. les RTU réels.
• Récompense Physique : Basée sur l'état du réseau électrique (ex: nombre de charges critiques restaurées après une coupure simulée).
• Objectif : Maximiser le coût pour l'attaquant tout en minimisant les dommages opérationnels réels.

3. Contributions Clés

1. Cadre RL Formel : Définition d'un cadre RL (single et multi-agent) pour la déception au niveau réseau avec une conception de récompense composite bornée pour éviter le "hacking de récompense".
2. Premier Honeypot DNP3 Piloté par LLM : Création d'un émulateur de RTU DNP3 conscient du protocole, capable de préserver la sémantique des états et les contraintes temporelles, une première pour les protocoles OT.
3. Architecture Couplée RL-LLM : Intégration coordonnée de la déception réseau (routage) et de la déception hôte (génération de réponses) dans un cycle de rétroaction continu.
4. Analyse Opérationnelle : Évaluation des coûts de calcul et des considérations de déploiement pour les environnements OT en temps réel.

4. Résultats et Analyse

Les expériences ont été menées sur un environnement simulé basé sur le réseau IEEE 123-bus avec des agents attaquants et des honeypots.

• Performance du RL (Sans LLM) :
  • Les agents PPO (Proximal Policy Optimization) et A2C (Advantage Actor-Critic) ont surpassé les agents aléatoires.
  • L'approche Multi-Agent (MARL) a montré une convergence plus rapide et plus stable que l'agent unique, réduisant la longueur des épisodes (nombre d'étapes pour atteindre l'objectif) de ~30 à ~5 étapes dans certains scénarios de congestion.
• Performance du LLM (Sans RL) :
  • Initialement, les réponses du LLM étaient peu réalistes. Après plusieurs itérations de mise à jour du fichier de personnalité et d'injection de contexte, la perplexité a chuté significativement (de 5.07 à 0.12), augmentant la probabilité de déception ($P_{dec}$) de 0.06 à 0.90.
• Approche Combinée (RL + LLM) :
  • L'intégration du LLM pour ajuster la récompense a permis d'accélérer l'apprentissage de l'agent RL.
  • Résultat majeur : La durée moyenne des épisodes a diminué (de 59.25 à 40.2 étapes) tout en augmentant la récompense globale (de 56.2 à 45.6), indiquant que l'agent RL apprend plus rapidement à rediriger le trafic vers des leurres de haute qualité.
  • Le système parvient à maintenir l'attaquant engagé plus longtemps tout en protégeant l'infrastructure physique réelle.

5. Signification et Perspectives

Cet article représente une avancée significative dans la défense des infrastructures critiques :

• Adaptabilité Dynamique : Contrairement aux honeypots statiques, le système proposé s'adapte en temps réel aux tactiques de l'attaquant, rendant la détection beaucoup plus difficile.
• Réduction de l'Asymétrie : En augmentant le coût et le temps nécessaires à l'attaquant pour réussir, le système rééquilibre la balance en faveur du défenseur.
• Validité OT : L'accent mis sur la conformité au protocole DNP3 et les contraintes temporelles rend cette solution applicable aux environnements industriels réels, là où les solutions IT génériques échouent.

Limites et Futur :
Les auteurs soulignent que le déploiement dans un environnement de haute fidélité (Cyber Range réel) est coûteux en temps de calcul. Les travaux futurs viseront à utiliser des techniques de transfert Sim-to-Real et à améliorer l'infrastructure de simulation pour réduire le temps d'entraînement, tout en explorant des espaces d'action hétérogènes pour les agents multi-agents.

En conclusion, cette étude démontre la faisabilité et l'efficacité d'une approche de déception cybernétique symbiotique, où l'IA générative (LLM) et l'apprentissage par renforcement (RL) travaillent ensemble pour protéger les systèmes de contrôle industriels contre des menaces avancées.