Can LLMs effectively provide game-theoretic-based scenarios for cybersecurity?

Titre de l'étude

Les LLM peuvent-ils fournir efficacement des scénarios basés sur la théorie des jeux pour la cybersécurité ?

1. Problématique

La théorie des jeux est un outil fondamental pour modéliser les interactions stratégiques entre attaquants et défenseurs en cybersécurité. Avec l'émergence des Grands Modèles de Langage (LLM), de nouvelles opportunités et défis apparaissent : les LLM peuvent être utilisés pour générer des scénarios ou agir comme des agents autonomes (attaquants ou défenseurs) au sein de ces scénarios.

Cependant, une question critique demeure : les LLM se comportent-ils conformément aux prédictions de la théorie des jeux classique (comme l'équilibre de Nash) lorsqu'ils interagissent dans des environnements de cybersécurité ? Les auteurs s'interrogent sur la fiabilité de ces modèles, leur sensibilité aux biais inhérents (langue, personnalité) et leur capacité à converger vers des résultats stratégiques optimaux ou prévisibles. L'absence de cadres systématiques pour évaluer ces comportements dans des contextes de sécurité est un obstacle majeur à leur adoption.

2. Méthodologie

Les auteurs ont conçu une étude expérimentale reproductible en utilisant le cadre FAIRGAME, conçu spécifiquement pour intégrer des agents LLM dans des jeux stratégiques.

• Modèles de Jeux : Deux scénarios canoniques utilisés en cybersécurité ont été sélectionnés :
  1. Le jeu à somme nulle (one-shot) : Modélise des situations comme le brouillage (jamming) ou les attaques par déni de service (DoS), où le gain de l'un est la perte de l'autre.
  2. Le Dilemme du Prisonnier répété (10 tours) : Modélise la coopération ou l'égoïsme dans les réseaux (ex: routage de paquets), permettant d'observer l'évolution des stratégies sur la durée.
• Agents LLM : Quatre modèles d'état de l'art ont été testés :
  • GPT-4 (OpenAI)
  • Gemini Pro 1.5 (Google/DeepMind)
  • Mistral Large (Mistral AI)
  • Llama 3.1 405B (Meta)
• Variables Expérimentales :
  • Langues : 5 langues naturelles (Anglais, Français, Arabe, Vietnamien, Mandarin) pour tester la sensibilité linguistique.
  • Personnalités : Attribution de traits "Coopératif" ou "Égoïste" aux agents.
  • Information : Dans le Dilemme du Prisonnier, variation entre la connaissance du nombre total de tours (connu/inconnu) et l'historique des coups.
• Métriques d'évaluation :
  • Variabilité Interne (IV) : Cohérence des résultats d'un même modèle sur des répétitions identiques.
  • Incohérence Inter-langues (CI) : Écart-type des résultats lorsque le même jeu est joué dans différentes langues (mesure de la stabilité).
  • Variabilité sur les Tours (VR) : Fluctuation des stratégies au fil des tours dans les jeux répétés.

3. Résultats Clés

A. Impact de la Langue et des Personnalités

• Sensibilité Linguistique : Les résultats montrent une sensibilité inattendue et significative au choix de la langue. Les mêmes LLM produisent des stratégies et des gains finaux radicalement différents selon la langue utilisée pour le prompt. Par exemple, un modèle peut coopérer en anglais mais trahir en arabe ou en chinois pour le même jeu.
• Influence de la Personnalité : Les traits de personnalité attribués (coopératif vs égoïste) influencent fortement les gains finaux. Cependant, ces effets ne sont pas linéaires ni prévisibles d'un modèle à l'autre.
• Déviation par rapport à la Théorie : Bien que certains modèles convergent vers des équilibres attendus (comme la trahison mutuelle dans le Dilemme du Prisonnier), beaucoup dévient de manière imprévisible, suggérant que les biais internes des LLM (issus de leurs données d'entraînement) surpassent souvent la logique pure du jeu.

B. Comparaison des Modèles

• Stabilité : GPT-4o et Llama 3 ont montré les niveaux les plus faibles d'incohérence inter-langues (CI), les rendant plus fiables pour des simulations multilingues.
• Instabilité : Claude 3.5 Sonnet et Mistral Large ont présenté une plus grande variabilité, notamment une forte sensibilité à la langue (Claude 3.5 ayant le CI le plus élevé).
• Comportement Dynamique : Dans le Dilemme du Prisonnier répété, la plupart des modèles convergent vers une coopération progressive (réciprocité), sauf GPT-4o qui montre une tendance initiale à la coopération suivie d'une augmentation de la trahison, reflétant des biais contextuels complexes.

C. Métriques Quantitatives

Les tableaux de résultats (Table 4 et Fig. 4) confirment que Mistral Large présente des pics de performance sous-optimale mais une variabilité globale plus faible, tandis que GPT-4o est globalement moins stable dans le jeu à somme nulle, bien que plus stable dans le Dilemme du Prisonnier. Cela démontre qu'il n'existe pas de "meilleur modèle" universel ; le choix dépend du scénario spécifique.

4. Contributions Principales

1. Cadre d'évaluation : Introduction d'une méthodologie rigoureuse pour tester les agents LLM dans des jeux de cybersécurité, en utilisant des métriques standardisées (IV, CI, VR).
2. Révélation des Biais : Mise en évidence du fait que les LLM ne sont pas des agents rationnels neutres ; leurs décisions sont fortement biaisées par la langue de prompt et les traits de personnalité attribués, ce qui peut fausser les analyses de sécurité.
3. Avertissement Critique : Mise en garde contre l'utilisation indiscriminée des LLM dans les systèmes de défense cybernétique sans validation préalable, car leur comportement peut varier drastiquement selon la localisation géographique (langue) du déploiement.
4. Outils Ouverts : Publication du code et des configurations via le projet FAIRGAME sur GitHub pour permettre la reproductibilité et l'extension de l'étude.

5. Signification et Implications

Cette étude a des implications majeures pour la communauté de la cybersécurité :

• Fiabilité des Simulations : Les simulations de menaces basées sur l'IA ne peuvent pas être considérées comme des prédictions absolues. Les concepteurs de systèmes de défense doivent tenir compte de la variabilité des LLM.
• Sécurité Stratégique : Si des attaquants utilisent des LLM, leurs stratégies pourraient être imprévisibles et dépendre de la langue utilisée, contournant potentiellement les défenses conçues pour des modèles d'attaquants traditionnels ou rationnels.
• Éthique et Responsabilité : L'utilisation de LLM pour simuler des attaques ou des défenses nécessite des cadres de test responsables. Les biais linguistiques pourraient entraîner des conséquences non intentionnelles dans des applications sensibles.
• Recherche Future : L'article appelle à des études plus approfondies sur des jeux plus complexes (Stackelberg, jeux évolutifs) et sur l'intégration de ces modèles dans des environnements de réseau réels, au-delà des simulations.

En conclusion, bien que les LLM offrent un potentiel immense pour enrichir les modèles de théorie des jeux en cybersécurité, leur comportement actuel est trop instable et sensible aux biais pour une application directe sans validation rigoureuse et sans adaptation aux spécificités linguistiques et culturelles cibles.