🤖 AI

Trident : How to Break Deep Reinforcement Learning Cyber Defenses (Agentic)

L'article présente Trident, un cadre de red teaming pour LLM agentique qui exploite une architecture RLVR de type « Code-as-Policy » pour générer des stratégies d'attaque adaptatives, révélant que les défenses cybernétiques existantes basées sur l'apprentissage par renforcement profond sont fondamentalement fragiles et facilement surpassées par des menaces dynamiques par rapport aux bases heuristiques statiques.

Auteurs originaux : Ryozo Masukawa, Ian Bryant, Armita Kazeminajafabadi, Sanggeon Yun, Hyunwoo Oh, SungHeon Jeong, Nathaniel D. Bastian, Mahdi Imani, Mohsen Imani

Publié 2026-08-06

📖 3 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Ryozo Masukawa, Ian Bryant, Armita Kazeminajafabadi, Sanggeon Yun, Hyunwoo Oh, SungHeon Jeong, Nathaniel D. Bastian, Mahdi Imani, Mohsen Imani

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez une partie d'échecs numérique à enjeux élevés, mais au lieu de déplacer des pièces sur un plateau, deux équipes se battent pour le contrôle d'un vaste réseau d'ordinateurs invisibles. Une équipe, la « Blue Team », construit un défenseur IA qui apprend à repérer les intrus et à réparer les ordinateurs défaillants en temps réel. L'autre équipe, la « Red Team », tente de s'introduire dans le système. Pendant des années, des scientifiques ont testé ces défenseurs de la Blue Team contre des attaquants de la Red Team qui sont comme des robots suivant un script strict et immuable. Ils exécutent les mêmes mouvements encore et encore, comme un jouet mécanique. Le problème est que les vrais hackers ne sont pas des jouets mécaniques ; ils sont ingénieux, adaptables, et changent leurs tactiques dès qu'ils voient une défense. Parallèlement, un nouveau type d'IA super-intelligente, connue sous le nom de Grand Modèle de Langage (LLM), est devenue incroyablement douée pour résoudre des énigmes et écrire du code. La grande question que se posent les scientifiques est la suivante : si nous apprenons à ces IA super-intelligentes à être la Red Team, pourront-elles enfin surpasser les défenses de la Blue Team d'une manière que les anciens robots statiques n'ont jamais pu faire ?

C'est exactement ce que les chercheurs derrière un projet appelé Trident ont cherché à découvrir. Ils ont construit un nouveau terrain d'essai dynamique où un attaquant IA intelligent pouvait apprendre par la pratique, plutôt que de simplement suivre un script pré-écrit. Ils ont créé une immense bibliothèque de plus de 13 000 batailles simulées entre attaquants et défenseurs pour entraîner leur IA. Au lieu de faire choisir à l'IA un mouvement à la fois, ils lui ont appris à écrire sa propre « stratégie d'attaque » sous la forme d'un morceau de code informatique, qu'elle exécute ensuite contre le défenseur.

Les résultats ont été saisissants. L'IA Trident, entraînée sur un seul modèle de 7 milliards de paramètres (une taille relativement petite pour l'IA moderne), n'a pas seulement battu les défenseurs ; elle a provoqué une chute massive de leur efficacité. Alors que les anciens attaquants statiques faisaient à peine une brèche, Trident a réduit la performance défensive de la Blue Team de 522 % en moyenne par rapport à la référence. Cela suggère que beaucoup de nos défenses cybernétiques « intelligentes » d'aujourd'hui sont en réalité bien plus fragiles que nous ne le pensions, car elles n'ont été testées que contre des ennemis stupides et prévisibles. Trident ne s'est pas contenté de suivre des règles ; il a découvert de nouvelles astuces ingénieuses par lui-même, comme réaliser quand un défenseur tentait de le tromper avec une cible factice (un « leurre ») et apprendre à l'ignorer, ou déterminer quels ordinateurs étaient les plus précieux à pirater en premier. L'article suggère que pour construire des systèmes véritablement sûrs, nous devons cesser de les tester contre des robots statiques et commencer à les tester contre des IA adaptatives et apprenantes comme Trident.

Résumé Technique : Trident – Comment briser l'apprentissage par renforcement profond

Problématique

Les systèmes de défense cybernétique autonomes basés sur l'apprentissage par renforcement profond (DRL) sont de plus en plus déployés pour surveiller les réseaux et récupérer les hôtes compromis en temps réel. Cependant, leur robustesse face aux menaces adaptatives reste insuffisamment étudiée. Les évaluations actuelles reposent presque exclusivement sur des « agents rouges » statiques et heuristiques dotés de signatures comportementales fixes. Par conséquent, les défenseurs DRL développent des politiques implicitement conditionnées par ces modèles statiques, créant des angles morts systématiques que les méthodes d'évaluation traditionnelles ne parviennent pas à découvrir.

Simultanément, bien que l'apprentissage par renforcement avec récompenses vérifiables (RLVR) ait fait progresser le raisonnement des grands modèles de langage (LLM) dans des domaines comme les mathématiques et le génie logiciel, son intégration dans la cybersécurité est entravée par l'absence de benchmarks appropriés. Les jeux de données de cybersécurité existants proposent généralement des corpus statiques ou des défis isolés de type Capture The Flag (CTF), manquant des interactions continues et multi-étapes requises pour entraîner des agents contre des défenseurs actifs et adaptatifs. Il existe une lacune critique dans les infrastructures capables de fournir des environnements adverses stables et reproductibles avec des signaux de récompense vérifiables pour l'entraînement d'agents rouges basés sur des LLM via le RLVR.

Méthodologie

Pour combler ces lacunes, les auteurs introduisent Trident, un cadre de red teaming dynamique comprenant une infrastructure de benchmark, un jeu de données et une architecture agentique.

1. Benchmark et Jeu de Données Trident

Trident opère sur deux simulateurs haute fidélité : CybORG CAGE 4 (modélisant un réseau militaire segmenté avec des défenseurs multi-agents coopératifs) et CyberWheel (ancrant les attaques dans les techniques réelles du MITRE ATT&CK).

Infrastructure : Le cadre utilise des serveurs de bac à sable (sandbox) isolés et conteneurisés avec une architecture client-serveur. Les politiques d'attaque générées sont transmises à ces sandboxes, exécutées nativement contre des défenseurs DRL en direct, et renvoient des journaux d'exécution déterministes et vérifiables.
Jeu de données : Les auteurs ont construit un jeu de données de plus de 13 000 trajectoires d'interaction rouge-bleu de haute fidélité. Ces trajectoires sont sérialisées en journaux de langage naturel structurés, capturant les observations partielles, l'intelligence différentielle des hôtes et les résultats des actions, servant de fondement pour le post-entraînement par RLVR.

2. Architecture Agentique Trident

L'architecture Trident Agentic reformule le problème d'entraînement de l'agent rouge d'un processus de décision de Markov partiellement observable décentralisé (Dec-POMDP) en un problème de Bandit Contextuel utilisant un paradigme « Code-as-Policies ». L'architecture se compose de trois modules spécialisés :

Résumé de Logs (Log Summarizer) : Un module hybride utilisant l'analyse syntaxique par règles et un LLM gelé pour compresser les journaux d'exécution bruts. Il préserve les événements critiques (« milestones », ex: exploits réussis, escalades de privilèges) tout en échantillonnant les tentatives échouées, synthétisant ainsi un résumé sémantique dense pour le planificateur.
Planificateur ( $\pi_\theta$ ) : L'unique composant entraînable (un LLM de 7 milliards de paramètres). Il reçoit le résumé compressé comme contexte et génère une stratégie d'attaque de haut niveau en un seul passage direct (forward pass), produisant une charge utile JSON structurée. Il est optimisé via l'optimisation de politique relative de groupe (GRPO) en utilisant des récompenses vérifiables dérivées de l'exécution de la sandbox.
Codeur (Coder) : Un LLM gelé qui traduit la stratégie JSON du Planificateur en code Python exécutable. Il emploie un mécanisme de correction basé sur l'arbre de syntaxe abstraite (AST) et une boucle d'auto-réparation itérative (jusqu'à $K=3$ tentatives) pour corriger les erreurs de syntaxe avant le déploiement, garantissant que le Planificateur n'est pas pénalisé pour du bruit d'implémentation incident.

3. Conception de la Récompense

Le système utilise une fonction de récompense dense et vérifiable dérivée directement des journaux d'exécution :

Jalons Positifs ( $R^+$ ) : Récompenses pondérées pour la progression dans la chaîne d'attaque (ex: impact sur le système, escalade de privilèges) augmentées d'un coefficient d'efficacité basé sur le ratio accomplissement/étape.
Événements Négatifs ( $R^-$ ) : Pénalités pour les exploits échoués, les actions invalides et le bruit opérationnel.
Pénalités d'Exécution : Des pénalités strictes sont appliquées pour les erreurs de syntaxe, les échecs d'exécution ou les tentatives d'accès aux composants internes non observables du simulateur (ex: drapeaux de leurre), garantissant que l'agent s'appuie sur l'inférence comportementale plutôt que sur un accès privilégié à l'état.

Principales Contributions

Benchmark et Jeu de Données d'Évaluation Trident : Le premier benchmark de red teaming cross-environnement couvrant CAGE 4 et CyberWheel qui fournit une exécution en sandbox isolée pour des récompenses vérifiables contre des défenseurs DRL en direct. Il inclut un jeu de données de plus de 13 000 trajectoires spécifiquement conçu pour supporter l'entraînement RLVR.
Trident Agentic : Une architecture LLM agentique tripartite qui exploite le « Code-as-Policies » pour permettre la génération directe de stratégies d'attaque exécutables. En traitant la génération de stratégie comme un bandit contextuel, elle contourne l'intraitabilité computationnelle de la planification étape par étape d'un POMDP.
Preuve Empirique de la Fragilité du DRL : Le cadre démontre que les défenseurs autonomes actuels sont nettement plus fragiles face à des attaquants adaptatifs que ce qui était indiqué par les évaluations statiques.

Résultats Expérimentaux

Les auteurs ont évalué Trident Agentic contre des agents bleus DRL de pointe (incluant des variantes GNN, HMARL et MARL) dans CAGE 4 et CyberWheel.

Réduction de Performance : Trident Agentic a réduit la performance défensive des agents bleus de 522 % en moyenne par rapport aux bases heuristiques par défaut.
Comparaison avec les Baselines :
- Heuristiques Statiques : Les agents rouges traditionnels n'ont pas réussi à découvrir les faiblesses des politiques apprises.
- Zero-Shot/CoT : Bien que le prompting zero-shot et les approches de type Chaîne de Pensée (CoT) aient montré une certaine améliure par rapport aux baselines statiques, ils ont été largement surpassés par l'agent Trident Agentic entraîné par RLVR.
- Modèles Frontière : Un modèle de 7 milliards de paramètres entraîné via RLVR (Trident Agentic) a surpassé les performances des modèles à grande échelle (ex: GPT-4o) utilisés en capacité zero-shot, soulignant l'efficacité de l'entraînement RLVR spécifique à la tâche par rapport à la simple échelle du modèle.
Comportements Émergents : Les agents entraînés ont découvert de manière autonome de nouveaux vecteurs d'attaque que les heuristiques statiques ne pouvaient pas représenter, notamment :
- Évitement de Leurre (Decoy Avoidance) : Dans CyberWheel, l'agent a appris à abandonner les attaques sur des hôtes présentant des échecs répétés, identifiant et évitant efficacement les honeypots.
- Priorisation Adaptative de l'État : Dans CAGE 4, l'agent a appris à prioriser les cibles de haute valeur (ex: accès Root/User) plutôt que la reconnaissance de base, changeant dynamiquement de focus selon l'état du réseau.

Signification et Revendications

L'article affirme que Trident expose une lacune fondamentale d'évaluation dans la cyberdéfense autonome : les pratiques actuelles sous-estiment de manière critique la vulnérabilité des défenseurs DRL face à des attaquants génératifs et adaptatifs. En démontrant qu'un modèle compact de 7B de type open-weight peut systématiquement démanteler des défenses de pointe, les auteurs soutiennent que le domaine doit dépasser l'évaluation d'adversaires statiques.

Trident est présenté non pas seulement comme un outil offensif, mais comme une infrastructure nécessaire pour la « co-évolution » de l'offensive et de la défense cybernétiques. Sa conception de sandbox agnostique au simulateur et basée sur REST permet l'intégration d'environnements de plus haute fidélité, permettant l'entraînement d'agents bleus qui sont robustes face à des menaces génératives et adaptatives. Les auteurs soulignent que la transparence concernant ces capacités est essentielle pour stimuler le développement de systèmes défensifs également adaptatifs et pilotés par le RL, avant que de telles stratégies d'attaque ne soient déployées de manière indépendante par des adversaires.