Résumé Technique : CALIBURN : Une Étude de Sensibilité aux Régimes pour la Détection d'Intrusion en Flux Calibrée Opérationnellement

1. Énoncé du Problème

Les systèmes de détection d'intrusion réseau (NIDS) en production font face à un écart chronique entre les scores d'anomalie statistiques et les exigences opérationnelles d'alerte. Les méthodes académiques actuelles traitent généralement la sélection de seuils comme un problème de réglage a posteriori, optimisant des métriques telles que le F1 ou l'AUC-ROC sur des étiquettes de validation qui sont souvent indisponibles, retardées ou rares dans les centres d'opérations de sécurité (SOC) réels.

Les opérateurs nécessitent des comportements d'alerte définis avant le déploiement, en utilisant des entrées opérationnelles : le coût relatif des faux négatifs par rapport aux faux positifs, et un budget d'alerte fini (par exemple, dérivé d'objectifs de niveau de service). De plus, les détecteurs en flux doivent traiter les flux de manière continue avec une mémoire bornée, pourtant la plupart des méthodes existantes de détection d'anomalies en flux laissent la traduction des scores en alertes actionnables comme un problème séparé et heuristique. Cet article répond au besoin d'un pipeline en flux calibré opérationnellement, dérivant les seuils directement à partir des coûts et budgets spécifiés par l'opérateur, plutôt que d'une recherche dépendante des étiquettes.

2. Méthodologie : Le Pipeline CALIBURN

CALIBURN est un pipeline d'alerte en flux à cinq composants conçu pour séparer le score statistique, la prise de décision opérationnelle et l'escalade des alertes. Il n'est pas présenté comme une solution universelle, mais comme une étude de sensibilité aux régimes évaluant les performances à travers des prévalences d'attaque variables.

Composants Principaux

1. Détection Bayésienne en Ligne de Changement de Point Tronquée (BOCPD) :

   • Fonction : Traite les flux réseau séquentiellement pour produire un score d'anomalie probabiliste $s_t = P(r_t = 0 | x_{1:t})$, représentant la probabilité a posteriori que le flux actuel initie un nouveau régime (réinitialisation de la longueur d'exécution).
   • Contrainte : Utilise une approximation de longueur d'exécution tronquée (longueur maximale $L$) pour garantir un coût de mise à jour borné et une mémoire constante, le rendant adapté au flux continu.
   • Modèle : Emploie un modèle d'observation gaussien avec des mises à jour de statistiques suffisantes en ligne.

2. Couche de Calibration Isotonique :

   • Fonction : Mappe le score brut BOCPD $s_t$ (une probabilité de changement de régime) vers une probabilité conditionnelle d'attaque empirique $\hat{p}_t = \hat{P}(y_t = 1 | s_t)$.
   • Méthode : Ajuste une carte de calibration monotone en utilisant la régression isotonique (algorithme Pool-Adjacent-Violators) sur un split de validation.
   • Raison d'être : Le score brut BOCPD n'est pas une probabilité d'attaque directe ; la calibration comble le fossé entre « changement de régime » et « attaque » en utilisant les étiquettes disponibles.

3. Seuil de Décision Sensible aux Coûts :

   • Fonction : Dérive un seuil de décision $\tau^*$ basé sur les coûts de mauvaise classification spécifiés par l'opérateur.
   • Formule : $\tau^* = \frac{C_{FP}}{C_{FP} + C_{FN}}$, où $C_{FP}$ et $C_{FN}$ sont respectivement les coûts des faux positifs et des faux négatifs.
   • Distinction : Ce seuil est dérivé des ratios de coûts, et non d'une optimisation sur un ensemble de validation.

4. Enveloppe de Contrôle du Risque Conformable (CRC) :

   • Fonction : Convertit un budget d'alerte spécifié par l'opérateur $\alpha$ (par exemple, taux de faux positifs maximum) en un seuil valide $\hat{\tau}_\alpha$ sous l'hypothèse d'échangeabilité entre les négatifs de validation et de test.
   • Garantie : Fournit une borne d'espérance marginale sur le taux de faux positifs : $E[FPR_{test}(\hat{\tau}_\alpha)] \leq \alpha$.
   • Mécanisme : Sélectionne le seuil infimum $\tau$ tel que le FPR empirique sur les négatifs de validation, plus un terme de marge $1/(n_0+1)$, reste inférieur à $\alpha$.

5. Alerte à Taux de Consommation Multi-Fenêtres :

   • Fonction : Une couche d'escalade adaptée des pratiques d'ingénierie de fiabilité des sites (SRE).
   • Logique : Convertit les franchissements de seuil en alertes uniquement lorsque le « taux de consommation » (consommation du budget d'alerte) dépasse un seuil sur des fenêtres de temps courtes et longues appariées. Cela filtre le bruit transitoire tout en escaladant les anomalies soutenues.

3. Contributions Clés

L'article présente ses contributions comme une cartographie de la portée opérationnelle et des limites du pipeline plutôt que comme une revendication de domination uniforme :

1. Cartographie de Sensibilité aux Régimes : L'étude évalue le pipeline à travers trois régimes distincts de prévalence d'attaque :

   • Rare (LITNET-2020, ~5,2 %) : CALIBURN excelle.
   • Modéré (CICIDS2017, ~22,06 %) : CALIBURN reste la méthode en flux la plus forte, mais est surpassée par les méthodes de densité par lots.
   • Élevé (UNSW-NB15, ~64 %) : Toutes les méthodes en flux, y compris CALIBURN, se dégradent à une performance proche du hasard en raison de l'inversion du taux de base.

2. Identification des Mécanismes d'Effondrement du CRC : Les auteurs identifient et quantifient deux mécanismes où le Contrôle du Risque Conformable peut échouer pour de petits budgets d'alerte $\alpha$ :

   • Dépassement Théorique : La borne $2B/(n_0+1)$ peut amener la procédure à dépasser la cible $\alpha$.
   • Échec de la Densité Empirique : Lorsque la distribution des scores négatifs de validation est fortement concentrée en dessous des seuils candidats, la procédure peut sélectionner un seuil produisant zéro alerte (dégénérescence) pour satisfaire la borne de manière vide.

3. Analyse de Calibration Explicite : L'article démontre que la calibration isotonique réduit significativement les scores Brier (réduction de 30 à 63 % sur les jeux de données) par rapport aux posteriors bruts BOCPD, validant la nécessité de mapper les scores de changement de régime vers des probabilités conditionnelles d'attaque.

4. Ablation des Artéfacts de Caractéristiques (UNSW-NB15) : Les auteurs testent l'hypothèse selon laquelle l'effondrement des méthodes en flux sur UNSW-NB15 est causé par des artéfacts de caractéristiques TTL synthétiques. En supprimant ces caractéristiques, les performances ne se sont pas dégradées mais se sont légèrement améliorées. Cela confirme que l'effondrement est intrinsèque à la détection en flux sous forte prévalence (inversion du taux de base), et non un artéfact d'une fuite de caractéristiques supprimable.

5. Directives Opérationnelles : L'article délimite les conditions spécifiques dans lesquelles CALIBURN est approprié :

   • Prévalence d'attaque < ~25 %.
   • Budget d'alerte $\alpha$ confortablement au-dessus de la borne de dépassement théorique du CRC $2B/(n_0+1)$.
   • La distribution de calibration est approximativement échangeable avec le flux de déploiement.

4. Résultats Expérimentaux

Jeux de Données et Références

• Jeux de données : LITNET-2020 (5,2 % d'attaques), CICIDS2017 (22,06 % d'attaques, version corrigée), UNSW-NB15 (64 % d'attaques).
• Références : Cinq méthodes en flux (Half-Space Trees, KitNET, LODA, Robust Random Cut Forest, iForest_ASD) et trois références par lots (LOF, ECOD, COPOD).

Performance par Régime

• Régime d'Attaque Rare (LITNET-2020) :

  • CALIBURN a atteint un AUC-PR de 0,943.
  • Il a surpassé la meilleure référence en flux (LODA) par un facteur de 2,21 et la meilleure référence par lots (ECOD) par un facteur de 4,12.
  • Il a atteint une haute précision (0,976) avec un rappel modéré (0,451), reflétant le compromis sensible aux coûts.
  • La calibration isotonique a réduit le score Brier de 30 %.

• Régime de Prévalence Modérée (CICIDS2017) :

  • CALIBURN a atteint un AUC-PR de 0,545, restant la méthode en flux la plus forte.
  • Cependant, il a été surpassé par la méthode par lots LOF (AUC-PR 0,863).
  • Les auteurs attribuent cela à la contamination de la distribution de référence en flux par le volume plus élevé d'attaques, que les méthodes par lots évitent en utilisant l'ensemble de formation complet.

• Régime de Prévalence Élevée (UNSW-NB15) :

  • CALIBURN a atteint un AUC-PR de 0,653, indistinguable du plancher de prévalence (0,676).
  • Toutes les méthodes en flux se sont effondrées vers un classement proche du hasard (AUC-ROC ~0,5).
  • Les méthodes par lots (LOF, ECOD) ont mieux performé, mais dans un contexte où la base de référence « normale » n'est plus bénigne.

Résultats de l'Ablation

• Dans le régime d'attaque rare, le pipeline complet (V1) surpasse significativement la variante « épouvantail » (V4 : scores bruts + seuil de coût), qui a souffert d'un taux de faux positifs élevé (9,6 %).
• Dans les régimes de prévalence élevée, le pipeline complet (V1) dégénère souvent vers zéro alerte en raison des contraintes CRC, tandis que la variante à scores bruts (V4) produit des résultats plus utilisables (bien que de précision inférieure).

5. Importance et Revendications

L'article revendique modestement que CALIBURN n'est pas un remplacement universel pour toutes les méthodes de détection d'intrusion. Son importance réside dans :

1. Alignement Opérationnel : Il fournit un cadre où les seuils d'alerte sont dérivés de coûts et budgets spécifiés par l'opérateur plutôt que d'un réglage a posteriori sur les étiquettes, rendant le système explicable et défendable avant le déploiement.
2. Conscience des Régimes : Il identifie explicitement le régime « d'attaque rare » comme le point idéal pour la détection en flux, sensible aux coûts et calibrée. Il met en garde les praticiens que les méthodes en flux sont structurellement limitées lorsque la prévalence des attaques inverse le taux de base (c'est-à-dire lorsque les attaques deviennent majoritaires).
3. Directives Pratiques : Il offre des vérifications de déploiement concrètes, telles que la vérification du budget d'alerte $\alpha$ contre la borne de dépassement du CRC et la surveillance du mode d'« échec de la densité empirique » où le CRC produit zéro alerte.

Les auteurs concluent que CALIBURN est mieux adapté aux centres d'opérations de sécurité où les attaques sont rares, la capacité des analystes est limitée et la politique d'alerte doit être définie par des contraintes opérationnelles plutôt que par un réglage spécifique au jeu de données. Un travail futur est suggéré pour le recalibrage en ligne afin de gérer le dérive conceptuelle et l'estimation adaptative des ratios de coûts.