Résumé Technique : Modélisation des Menaces par des Modèles de Langage Adaptés au Domaine

Énoncé du Problème

Bien que les modèles de langage de grande taille (LLM) montrent des promesses dans les applications de cybersécurité comme la détection de vulnérabilités, leur efficacité dans la modélisation structurée des menaces reste sous-explorée. Les recherches antérieures se sont principalement concentrées sur des LLM à usage général dans des contextes de promptage limités. Un vide critique existe dans la compréhension de savoir si les modèles adaptés au domaine (spécifiquement ceux entraînés sur des corpus de télécommunications et de cybersécurité) surpassent leurs homologues à usage général dans le contexte de la classification des menaces basée sur STRIDE pour les réseaux 5G. De plus, l'impact de l'échelle du modèle, des stratégies de décodage (déterministe vs stochastique) et des techniques de promptage (Zero-Shot vs Few-Shot) sur la fiabilité et la validité des sorties structurées n'a pas été évalué systématiquement.

Méthodologie

L'étude présente une évaluation empirique complète impliquant 52 configurations distinctes à travers 8 modèles de langage ajustés par instruction (allant de 1 à 8 milliards de paramètres). Les modèles comprenaient des LLM à usage général (par exemple, des variantes de Llama-3) et des modèles adaptés au domaine (Tele-LLMs pour les télécommunications et Foundation-Sec pour la cybersécurité).

Configuration Expérimentale

• Tâche : Classification multi-étiquette des menaces 5G dans les six catégories STRIDE (Usurpation d'identité, Altération, Répudiation, Divulgation d'informations, Déni de service, Élévation de privilèges).
• Jeu de données : Six menaces 5G représentatives couvrant toutes les catégories STRIDE, dérivées de Mahyoub et al. [14].
• Stratégies de Promptage :
  • Zero-Shot (ZS) : Instruction directe de la tâche sans exemples.
  • Few-Shot (FS) : Inclusion d'exemples en contexte démontrant la classification des menaces.
  • Modèles de Chat : Évaluation avec et sans modèles de chat spécifiques au modèle pour évaluer le respect des instructions.
• Stratégies de Décodage :
  • Décodage Glouton (Greedy) : Évaluation déterministe en exécution unique.
  • Échantillonnage Stochastique : 10 exécutions indépendantes par menace (Température=0,7, Top_p=0,9) pour évaluer la cohérence des sorties et l'incertitude.
• Métriques d'Évaluation :
  • Métriques de classification standard (Précision, Rappel, Score F1).
  • Taux de Sorties Invalides (IOR) : La proportion de sorties ne respectant pas le format requis (par exemple, réponses vides, étiquettes hallucinées, explications contradictoires).
  • Score F1 Pénalisé : Une métrique composite définie comme $F1 \times (1 - IOR)$, priorisant à la fois la précision et la validité de la sortie.

Contributions Clés

1. Évaluation Systématique de l'Adaptation au Domaine : L'article fournit la première analyse comparative des LLM adaptés au domaine (Télécoms et Cybersécurité) par rapport aux modèles à usage général spécifiquement pour la classification des menaces basée sur STRIDE.
2. Analyse des Propriétés du Modèle : Il examine l'interaction entre l'échelle du modèle (1B–8B) et les stratégies de décodage, révélant comment l'échantillonnage stochastique expose l'incertitude de classification et les problèmes de stabilité dans les modèles plus petits.
3. Impact des Techniques de Promptage : L'étude quantifie les effets du promptage Few-Shot et des modèles de chat sur la qualité de la classification et le respect des instructions.
4. Insights sur la Fiabilité des Sorties : Au-delà de la précision standard, l'article identifie et catégorise des modes d'échec spécifiques (par exemple, catégories hallucinées, contradictions étiquette-explication, et absence d'abstention gracieuse) qui rendent les sorties du modèle inutilisables pour la modélisation automatisée des menaces.
5. Directives Pratiques de Promptage : Basées sur des observations empiriques, les auteurs proposent des stratégies de promptage spécifiques à la modélisation structurée des menaces pour améliorer la fiabilité des sorties.

Résultats et Constats

1. L'Adaptation au Domaine n'est pas une Panacée

Contrairement à l'hypothèse selon laquelle l'entraînement spécifique au domaine garantit des performances supérieures, les modèles adaptés au domaine n'ont pas systématiquement surpassé leurs homologues à usage général. Bien que des modèles comme Foundation-Sec-8B-Instruct et les variantes Tele-it aient obtenu des scores compétitifs dans des contextes spécifiques, les modèles à usage général (par exemple, Llama-3.1-8B-Instruct) ont souvent égalé ou dépassé ces performances, en particulier sous un promptage Few-Shot. Cela suggère que le raisonnement spécifique à la tâche et le respect des instructions sont aussi critiques que la connaissance du domaine.

2. Échelle du Modèle et Stratégie de Décodage

• Échelle : Les modèles plus grands (8 milliards de paramètres) ont généralement obtenu des scores F1 pénalisés plus élevés et une plus grande stabilité par rapport aux modèles plus petits (1B et 3B). Cependant, la mise à l'échelle seule n'a pas éliminé les erreurs de classification ou les sorties invalides.
• Décodage : L'échantillonnage stochastique a révélé une variabilité significative dans les modèles plus petits, qui ont souvent échoué à sélectionner des étiquettes cohérentes entre les exécutions. En revanche, les modèles plus grands ont démontré une sélection d'étiquettes plus stable.
• Promptage Few-Shot : Le promptage FS a généralement amélioré le rappel et les scores F1 pour les modèles plus grands en les aidant à inférer des structures multi-étiquettes. Cependant, pour les modèles plus petits (spécifiquement 1B), le promptage FS a parfois dégradé les performances ou augmenté les sorties invalides, indiquant une limite de capacité dans l'interprétation des exemples en contexte.

3. Validité et Fiabilité des Sorties

Une partie significative de l'étude se concentre sur le Taux de Sorties Invalides (IOR). Les résultats indiquent que :

• Les modèles plus petits et les configurations sans modèles de chat ont produit des taux plus élevés de sorties invalides (par exemple, texte explicatif au lieu d'étiquettes, catégories hallucinées, ou génération de code).
• Les modèles de chat n'ont pas toujours amélioré la précision de la classification mais ont considérablement amélioré le respect des instructions, réduisant la fréquence des réponses malformées.
• Aucun des modèles évalués n'a démontré la capacité de « s'abstenir gracieusement » ou d'exprimer une incertitude lorsqu'une classification valide ne pouvait être déterminée ; ils ont tendance à halluciner des étiquettes à la place.

Importance et Revendications

L'article conclut que les LLM actuels, même lorsqu'ils sont adaptés au domaine et mis à l'échelle, font face à des limitations fondamentales dans la modélisation structurée des menaces. Les résultats remettent en question l'hypothèse selon laquelle l'ajout simple de plus de données d'entraînement spécifiques au domaine ou l'augmentation de la taille du modèle suffit pour une automatisation sécurisée fiable.

Les auteurs affirment que :

• L'adaptation au domaine seule est insuffisante pour la modélisation structurée des menaces ; les modèles nécessitent un alignement avec des tâches de raisonnement spécifiques et des contraintes de sortie.
• La fiabilité est distincte de la précision. Un modèle peut obtenir un score F1 raisonnable mais rester opérationnellement peu fiable en raison de taux élevés de sorties invalides ou contradictoires.
• Les améliorations futures doivent aller au-delà de la mise à l'échelle des données pour intégrer des mécanismes de raisonnement plus forts spécifiques à la tâche et une meilleure ancrage dans les concepts de sécurité.
• L'ingénierie des prompts est un levier critique pour améliorer la fiabilité, spécifiquement par l'utilisation d'exemples Few-Shot pour les modèles plus grands et de contraintes de formatage strictes (modèles de chat) pour assurer la validité de la sortie.

L'étude sert de référence empirique de prudence, suggérant que si les LLM peuvent aider à la modélisation des menaces, ils ne peuvent pas encore être considérés comme des agents autonomes sans une surveillance humaine significative et une configuration soignée des paramètres de promptage et de décodage.