Résumé technique : Au-delà des récompenses dans l'apprentissage par renforcement pour la cyberdéfense

1. Énoncé du problème

Les agents de cyberdéfense autonome (ACD) entraînés via l'apprentissage par renforcement profond (DRL) sont de plus en plus déployés dans des environnements de « cyber gym » pour protéger les systèmes réseau. Ces agents sont généralement entraînés à l'aide de fonctions de récompense denses et hautement ingéniérées qui combinent de nombreuses pénalités et incitations pour des états et des actions réseau spécifiques. Bien que les récompenses denses facilitent une exploration plus rapide dans des environnements complexes, elles introduisent des risques significatifs :

• Biais de suboptimalité : Elles peuvent contraindre les agents à des solutions suboptimales qui contiennent des faiblesses évitables difficiles à détecter avant une attaque.
• Équivalences arbitraires : Elles imposent souvent des équivalences numériques arbitraires entre des états et des actions réseau distincts, ce qui devient de plus en plus difficile à gérer à mesure que la complexité des tâches augmente.
• Limites d'évaluation : Les méthodes d'évaluation actuelles reposent sur la récompense épisodique moyenne, qui ne parvient pas à capturer la « vérité terrain » des environnements cyber complexes. Plus précisément, les cyber gyms standards négligent souvent les événements intra-étape (par exemple, un nœud compromis puis immédiatement restauré au cours d'une seule étape de temps), ce qui conduit à des évaluations de performance inexactes qui masquent des différences de risques critiques entre les politiques.

2. Méthodologie

Les auteurs proposent un cadre d'évaluation complet pour comparer les fonctions de récompense éparses (sparse) et denses à travers deux cyber gyms établis : Yawning Titan (YT) et Cyber Autonomy Gym for Experimentation (CAGE 2).

2.1. Mécanisme de score de vérité terrain

Pour répondre aux limites de l'évaluation discrète par étape, le papier introduit un Score de Vérité Terrain ($Score_{GT}$).

• Définition : $Score_{GT}(t) = \max(m^{intra}_t, m^{end}_t)$, où $m^{intra}_t$ et $m^{end}_t$ sont respectivement le nombre de nœuds compromis pendant l'étape et à la fin de l'étape.
• Objectif : Cette métrique capture la compromission maximale survenant au cours d'un pas de temps, indépendamment de l'ordre d'exécution des actions rouges (attaquant) et bleues (défenseur). Elle fournit une base reproductible et indépendante de la récompense pour comparer les agents entraînés avec différentes structures de récompense.

2.2. Métriques de fiabilité et de risque

L'étude évalue les agents à l'aide de métriques allant au-delà de la récompense épisodique moyenne :

• Fiabilité de l'entraînement : Mesurée via la Variabilité de la Dispersion dans le Temps ($\bar{DT}$) et entre les exécutions ($DR'$), quantifiant la stabilité et la reproductibilité de l'entraînement.
• Risque après entraînement : Mesuré à l'aide de la Valeur à Risque Conditionnelle (CVaR) appliquée à des déploiements de politiques fixes, en se concentrant spécifiquement sur la pire perte attendue (par exemple, les 5 % de résultats les plus défavorables).

2.3. Configuration expérimentale

• Environnements :
  • Yawning Titan : Configuré avec des structures de réseau linéaires allant de 2 à 50 nœuds. Les espaces d'action incluaient des modes « basiques » (scanner, restaurer) et « étendus » (ajout de « placer un leurre »).
  • MiniCAGE : Une version raffinée de CAGE 2 présentant un réseau d'entreprise avec 3 sous-réseaux (utilisateur, entreprise, opérationnel) et 13 hôtes.
• Algorithmes : Les expériences ont utilisé PPO (Proximal Policy Optimization) et DQN (Deep Q-Network).
• Fonctions de récompense :
  • Éparses (Sparse) : Sparse Positive (SP), Sparse Negative (SN), Sparse Positive-Negative (SPN).
  • Denses : Dense Negative (DN), Complex Dense Negative (CDN) (représentant les récompenses standards des gyms).
• Ordre des agents : Les expériences ont testé trois ordonnancements d'actions : Rouge-puis-Bleu (standard), Bleu-puis-Rouge, et Aléatoire (simulant l'incertitude du timing de l'attaquant).

3. Contributions clés

1. Évaluation par vérité terrain : L'introduction de $Score_{GT}$, qui révèle les compromissions intra-étape souvent occultées par les évaluations de gym standards, permettant une comparaison directe des stratégies de récompense.
2. Analyse complète des récompenses : Une évaluation systématique des récompenses éparses par rapport aux récompenses denses à travers différentes tailles de réseaux, espaces d'actions et algorithmes de DRL.
3. Quantification du risque et de la fiabilité : Démontrer que le choix de la fonction de récompense impacte significativement la fiabilité de l'entraînement et les profils de risque dans le pire des cas, des métriques souvent ignorées au profit de la récompense épisodique moyenne.
4. Preuve empirique pour les récompenses éparses : Montrer que les récompenses éparses alignées sur les objectifs peuvent produire des politiques supérieures avec un risque plus faible et une plus grande fiabilité par rapport aux récompenses denses complexes.

4. Résultats clés

• Supériorité des récompenses éparses : Les agents entraînés avec des récompenses Sparse Positive (SP) et Sparse Positive-Negative (SPN) ont systématiquement surpassé ceux entraînés avec des récompenses denses (DN, CDN) pour toutes les tailles de réseaux et tous les ordonnancements d'agents.
  • Dans Yawning Titan, SPN a obtenu le $Score_{GT}$ moyen le plus bas (moins de nœuds compromis).
  • Dans MiniCAGE, SP et SPN ont obtenu le meilleur $Score_{GT}$ et ont démontré un meilleur alignement avec les objectifs de sécurité (par exemple, confiner les compromissions aux sous-réseaux utilisateurs plutôt qu'aux serveurs opérationnels).
• Fiabilité de l'entraînement : Les récompenses éparses ont entraîné une dispersion de la variabilité nettement plus faible ($\bar{DT}$ et $DR'$), indiquant un entraînement plus stable et reproductible par rapport aux récompenses denses, qui présentaient une variabilité un ordre de grandeur plus élevée.
• Atténuation des risques : Les politiques de récompense éparse ont présenté des risques dans le pire des cas plus faibles (inférieur à l'Upper RF). Notamment, dans l'ordonnancement « Bleu-puis-Rouge » avec des espaces d'actions étendus, les agents SP ont atteint un $Score_{GT}$ moyen de 0 (défense parfaite), alors que les agents de récompense dense n'ont pas réussi à atteindre cet optimum.
• Robustesse à l'ordre des agents : Les récompenses éparses, particulièrement SPN, ont maintenu une performance supérieure même sous un ordonnancement d'agents aléatoire (le cadre le plus réaliste et le plus difficile), tandis que la performance des récompenses denses s'est considérablement dégradée.
• Efficacité des actions : Les agents de récompense éparse ont appris à utiliser les actions défensives coûteuses (ex: « restaurer ») de manière plus parcimonieuse et stratégique, sans pénalité numérique explicite pour ces actions, contrairement aux agents de récompense dense qui les ont souvent sur-utilisées en raison des pénalités ingéniérées.

5. Signification et affirmations

Le papier affirme que la dépendance actuelle aux fonctions de récompense denses et façonnées à la main dans les cyber gyms peut être sous-optimale pour le déploiement réel de l'ACD. En introduisant un mécanisme de score de vérité terrain et des métriques de risque rigoureuses, les auteurs démontent que :

• Les récompenses éparses, alignées sur les objectifs, sont non seulement suffisantes pour apprendre des politiques efficaces, mais sont aussi souvent plus fiables et plus sûres que les alternatives denses.
• Les pratiques d'évaluation dans le domaine doivent évoluer pour inclure le scoring de vérité terrain et les métriques sensibles au risque (CVaR, variabilité de la dispersion), plutôt que de se fier uniquement aux récompenses épisodiques moyennes.
• Orientation pratique : Les auteurs recommandent d'adopter par défaut des récompenses éparses alignées sur les objectifs, d'évaluer les agents avec un ordonnancement intra-étape aléatoire, et de rapporter la reproductibilité de l'entraînement ainsi que les risques dans le pire des cas.

Ce travail positionne ces découvertes comme un prérequis au déploiement responsable des agents ACD pour augmenter les défenseurs humains, en soulignant qu'une conception de récompense efficace est critique pour éviter l'introduction de risques évitables dans les systèmes de cyberdéfense autonomes.