Résumé technique : Un cadre de red teaming pour évaluer la robustesse des systèmes SOAR assistés par l'IA

Énoncé du problème

À mesure que les entreprises adoptent de plus en plus des systèmes d'orchestration, d'automatisation et de réponse à la sécurité (SOAR) assistés par l'IA pour la détection et la réponse autonomes aux menaces, la résilience de ces systèmes face à des adversaires adaptatifs et stratégiques reste sous-étudiée. Les tests d'intrusion traditionnels et le red teaming basé sur des règles échouent à capturer la nature dynamique et multi-étapes des campagnes d'attaque réelles. Bien que les récents progrès des modèles de langage (LLM) et de l'apprentissage par renforcement (RL) offrent un potentiel pour le red teaming autonome, les deux paradigmes présentent des limitations fondamentales lorsqu'ils sont appliqués indépendamment :

• LLM : Ils peinent à assurer le suivi d'état à long terme, la cohérence des actions et l'adaptation via les retours de l'environnement. Ils échouent souvent à maintenir des campagnes d'attaque multi-étapes face à des défenseurs adaptatifs.
• RL : Il souffre d'une inefficacité d'échantillonnage, d'une interprétabilité limitée et d'une mauvaise généralisation à travers des environnements cybernétiques hétérogènes. Les agents purement RL convergent souvent vers des politiques dégénérées (par exemple, répéter des actions de reconnaissance) lorsqu'ils sont confrontés à des récompenses clairsemées et à des espaces d'états complexes.

Il existe un fossé critique dans l'évaluation de la robustesse des systèmes de défense cybernétique assistés par l'IA face à des agents capables de combiner un raisonnement stratégique de haut niveau avec une exécution tactique adaptative.

Méthodologie

Les auteurs proposent un cadre hybride hiérarchique qui intègre la planification stratégique basée sur les LLM avec l'exécution tactique basée sur le RL pour le red teaming autonome. Le système est modélisé comme un processus de décision markovien partiellement observable (POMDP) et opère dans l'environnement du défi CybORG CAGE 4, une simulation de réseau d'entreprise haute fidélité présentant une observabilité partielle et des défenseurs IA coordonnés.

Architecture

Le cadre découple l'agent en deux niveaux distincts :

1. Planificateur stratégique (LLM) : Un LLM figé opère à une résolution temporelle grossière (par exemple, toutes les 20 étapes). Il génère des « intentions » structurées basées sur les observations actuelles et une mémoire optionnelle. Ces intentions encodent des décisions de haut niveau telles que le type d'action, la tactique MITRE ATT&CK, la sélection de cible et la posture de risque. Les paramètres du LLM restent fixes pendant l'entraînement pour préserver les connaissances externes.
2. Contrôleur tactique (RL) : Un contrôleur RL entraînable (utilisant l'optimisation de la politique proximale, PPO) exécute des actions à chaque pas de temps. Il conditionne sa politique à la fois sur l'observation actuelle de l'environnement et sur l'intention générée par le LLM. Cela permet au contrôleur d'apprendre des politiques ancrées dans l'environnement tout en adhérant à une guidance stratégique de haut niveau.

Mécanismes clés

• Façonnage hiérarchique des récompenses : Pour faire face aux récompenses clairsemées et retardées, les auteurs introduisent une fonction de récompense multi-composante ($r_t = r_{env} + r_{progress} + r_{constraint} + r_{alignment}$). Celle-ci inclut des pénalités pour les actions invalides et des bonus pour la progression à travers les étapes de la chaîne de destruction (par exemple, découverte, exploitation, élévation de privilèges, impact), alignées sur MITRE ATT&CK.
• Réflexion (Mémoire) : Un mécanisme optionnel permet au planificateur LLM de générer des auto-réflexions en langage naturel à la fin de chaque épisode. Ces réflexions (résumant les succès, les échecs et les comportements des défenseurs) sont stockées dans un tampon FIFO et réinjectées dans l'entrée du planificateur pour les épisodes suivants, permettant une adaptation stratégique sans mise à jour des paramètres.
• Représentation d'état : Les observations sont transformées en un résumé textuel pour le LLM et en un vecteur de caractéristiques numérique pour le contrôleur RL. L'intention structurée du LLM est encodée dans un espace d'embedding compatible avec le réseau de politique du RL.

Contributions clés

1. Architecture hiérarchique LLM-RL : L'article présente une architecture novatrice qui découple la planification stratégique (LLM) de l'exécution tactique (RL), permettant une interaction structurée entre la génération d'intentions de haut niveau et le contrôle de bas niveau ancré dans l'environnement.
2. Cadre RL aligné sur la chaîne de destruction : Les auteurs introduisent un mécanisme de façonnage des récompenses spécifiquement conçu pour guider un comportement adversaire à long terme cohérent avec les étapes MITRE ATT&CK, stabilisant l'apprentissage dans des environnements à récompenses clairsemées.
3. Étude empirique complète : Le travail évalue un large éventail de LLM (de 0,6 à 70 milliards de paramètres), incluant des modèles à usage général (Qwen3, Llama), des spécialistes du raisonnement (DeepSeek-R1, QwQ) et des modèles de cybersécurité spécialisés (Foundation-Sec, DeepHat).
4. Étalonnage rigoureux : Le cadre est évalué face au défenseur autonome publié le plus performant pour le paramétrage CAGE 4 (politique H-MARL Expert), fournissant un test robuste des capacités de red team dans des conditions adverses réalistes.

Résultats

Les expériences ont été menées sur 200 épisodes dans l'environnement CAGE 4. La métrique principale était le taux de compromission d'épisode (ECR).

• Performance du cadre hybride : Les agents LLM+RL proposés ont atteint un succès quasi parfait.
  • Qwen3 + RL : A atteint un ECR de 100 % (200/200 épisodes).
  • Foundation-Sec + RL : A atteint un ECR de 94 %.
  • Ces agents ont progressé de manière fiable à travers plusieurs étapes d'attaque, y compris l'élévation de privilèges et l'impact.
• Limites des LLM autonomes : Les agents uniquement LLM (zero-shot) ont montré des capacités limitées de bout en bout.
  • Seuls 6 modèles sur 14 ont réussi à obtenir une compromission au-delà de la prise de pied initiale.
  • Le modèle autonome le plus performant (QwQ-32B) a réussi dans seulement 30 % des épisodes.
  • Les modèles spécialisés dans le domaine (par exemple, Foundation-Sec-8B) ont généré des volumes d'actions élevés mais n'ont pas réussi à traduire cela en une progression d'attaque significative (6,5 % d'ECR), indiquant que la connaissance du domaine seule est insuffisante sans une exécution cohérente.
• Limites du RL autonome : L'agent purement RL s'est effondré vers une politique dégénérée, sélectionnant une seule action de reconnaissance à presque tous les pas de temps et atteignant un ECR de 0 %. Il n'a pas réussi à découvrir la séquence structurée d'actions requise pour les attaques multi-étapes sous la structure de récompense donnée.
• Observations sur la mise à l'échelle : La performance au sein de la famille Qwen3 était non monotone ; les modèles plus petits (0,6B, 1,7B) ont obtenu un certain succès, tandis que les variantes plus grandes (4B+) n'ont pas tenté l'exploitation malgré une exploration efficace.

Signification et affirmations

L'article affirme que le red teaming autonome contre les systèmes SOAR assistés par l'IA nécessite un couplage étroit entre le raisonnement stratégique et l'exécution apprise. Les auteurs soutiennent que :

1. Les approches autonomes sont insuffisantes : Ni les systèmes de raisonnement uniquement (LLM) ni les systèmes d'apprentissage uniquement (RL) ne peuvent exécuter des comportements complets de chaîne de destruction face à des défenseurs adaptatifs.
2. L'intégration hybride produit une amélioration multiplicative : Combiner la planification LLM avec l'exécution RL entraîne des améliorations substantielles du succès des attaques multi-étapes et de la robustesse.
3. La planification structurée est plus critique que la spécialisation du domaine : Les modèles à usage général ont systématiquement surpassé les modèles plus grands spécialisés en cybersécurité dans le cadre hybride. Cela suggère que la fiabilité de la sortie et la contrôlabilité structurée sont des exigences clés pour les LLM dans les systèmes de décision hiérarchiques, surpassant les avantages du fine-tuning spécifique au domaine.

L'étude conclut que ce cadre hybride comble le fossé entre les capacités de raisonnement stratégique des LLM et l'exécution tactique adaptative du RL, offrant une approche fondée sur des principes pour tester la robustesse des systèmes de défense cybernétique autonomes.