Towards the Development of an LLM-Based Methodology for Automated Security Profiling in Compliance with Ukrainian Cybersecurity Regulations

1. Problématique et Contexte

Contexte :
L'Ukraine a récemment modernisé son cadre réglementaire en matière de cybersécurité, notamment avec l'adoption du document ND TPI 3.6-006-24 (2024). Ce document aligne les normes nationales sur le cadre international NIST SP 800-53 et l'approche par le risque. Il introduit une hiérarchie de profils de sécurité :

• Profil de base (Base Profile) : Ensemble minimal obligatoire de contrôles selon la catégorie d'impact (Faible, Moyen, Élevé).
• Profil sectoriel : Adaptation aux spécificités d'un secteur (finance, santé, etc.).
• Profil cible (Target Security Profile - TSP) : Ensemble final et personnalisé de contrôles pour un système d'information spécifique.

Problème identifié :
La transition d'un profil de base vers un profil cible est un processus complexe, manuel et sujet à l'erreur humaine. Les praticiens manquent d'un flux de travail reproductible et automatisé pour :

1. Adapter les contrôles génériques aux spécificités techniques d'un système (le « passeport système »).
2. Garantir la traçabilité des décisions vers les sources réglementaires.
3. Gérer la volumétrie croissante de la documentation normative dans un contexte de menaces hybrides intenses.

L'objectif est de combler ce fossé en développant une méthode automatisée pour la dérivation de profils de sécurité cibles, tout en respectant les contraintes réglementaires ukrainiennes.

2. Méthodologie Proposée

Les auteurs proposent une méthodologie structurée basée sur l'utilisation de Modèles de Langage (LLM) enrichis par la technologie RAG (Retrieval-Augmented Generation).

Architecture Technique

Le système repose sur une architecture RAG qui combine :

• Base de connaissances vectorielle : Contient les textes réglementaires (ND TPI 3.6-006-24), les catalogues de contrôles (NIST) et les politiques organisationnelles.
• LLM Agent : Un modèle de langage (ex: Claude, Gemini, ChatGPT) agissant comme conseiller pour générer des décisions.
• Boucle Humaine (Human-in-the-loop) : Un expert humain valide et approuve les décisions finales.

Flux de Travail Formalisé (Scénario de Dérivation)

Le processus est modélisé mathématiquement comme une fonction de décision contrainte $P: (S, Q, B, R) \rightarrow T$ :

1. Formalisation du contexte système ($S$) : Transformation du « passeport système » (architecture, données, rôles, interfaces) en un modèle structuré.
2. Extraction des exigences ($Q$) : Définition des objectifs de sécurité (confidentialité, intégrité, etc.) dérivés du contexte.
3. Sélection du profil de base ($B$) : Choix du profil minimal obligatoire selon la catégorie de risque du système.
4. Matrice de décision et Analyse contextuelle :
   • Pour chaque contrôle de base, le système calcule un score de pertinence et évalue l'adéquation des paramètres minimaux.
   • Le LLM propose une décision parmi cinq options : Conserver, Affiner (ajuster les paramètres), Améliorer (ajouter des renforcements), Ajouter (nouveau contrôle), ou Compenser (mesure alternative si le contrôle est inapplicable).
5. Instantiation des paramètres : Génération de règles concrètes et auditable (ex: « Désactiver le compte sous 8 heures » au lieu de « Désactiver rapidement »).
6. Validation Expert : Révision humaine des propositions pour approbation finale.

3. Contributions Clés

1. Méthode de dérivation de Profil de Sécurité Cible (TSP) : Une approche structurée pour transformer les profils de base en profils opérationnels conformes au cadre réglementaire ukrainien.
2. Architecture LLM-RAG spécialisée : Conception d'un modèle capable de générer des décisions de niveau contrôle avec une justification traçable (citant les sources normatives) et une structure de sortie standardisée.
3. Validation Expérimentale : Mise en œuvre et comparaison de plusieurs LLM (Claude Sonnet 4.6, Gemini 3.1 Pro, ChatGPT Thinking 5.4) pour évaluer leur capacité à générer des profils de sécurité précis et conformes.

4. Résultats de l'Étude Expérimentale

Une étude de cas a été menée sur un système d'information synthétique mais réaliste, utilisant les modèles susmentionnés. Les résultats ont été évalués par des experts en conformité cybersécurité.

Performances comparatives :

• Claude Sonnet 4.6 Extended : A obtenu les meilleurs résultats globaux.
  • Précision : 75 % des décisions correspondaient directement au jugement expert.
  • Efficacité : Génération d'un rapport complet en moins de 4 minutes.
  • Qualité : Seulement 15 % des contrôles nécessitaient des modifications mineures.
• ChatGPT Thinking 5.4 : Comportement plus conservateur, générant des rapports très détaillés (60 pages) mais demandant plus de clarifications sur les contrôles.
• Gemini 3.1 Pro : Résultats moins cohérents, fournissant des analyses par segments plutôt qu'un rapport unifié. Taux d'hallucinations plus élevé (43 %) lorsque les données d'entrée (passeport système) étaient incomplètes.

Constats majeurs :

• La qualité des données d'entrée est critique : les modèles ont tendance à « halluciner » si le contexte système est vague.
• L'approche RAG permet de réduire les erreurs factuelles par rapport aux modèles standards, mais ne remplace pas l'expert humain pour la validation finale.
• Le modèle de compensation (remplacement d'un contrôle inapplicable) reste un défi technique nécessitant une investigation plus poussée.

5. Signification et Impact

Cette recherche démontre la faisabilité de l'automatisation de la gestion de la conformité en cybersécurité dans des environnements à haute intensité de menaces.

• Réduction de la complexité : La méthode transforme un processus manuel fastidieux en un cycle opérationnel structuré et transparent.
• Évolutivité : Elle permet aux organisations de s'adapter dynamiquement aux normes réglementaires en évolution sans augmenter proportionnellement leur effectif spécialisé.
• Sécurité et Confiance : En intégrant une boucle humaine (« Human-in-the-loop »), le système minimise les risques d'erreurs tout en assurant que l'IA agit comme un outil d'aide à la décision plutôt que comme un décideur autonome.
• Application Locale : L'étude fournit un cadre reproductible pour l'application des normes internationales (NIST, ISO) dans le contexte spécifique de la réglementation ukrainienne, un modèle potentiellement adaptable à d'autres juridictions.

En conclusion, l'article propose une avancée significative vers des systèmes de décision intelligents universels pour la cybersécurité, capables de gérer la complexité croissante des profils de sécurité dans un paysage réglementaire dynamique.