Technische Samenvatting: CALIBURN: Een Regime-Gevoeligheidsstudie van Operationeel Gekalibreerde Streaming Intrusiedetectie

1. Probleemstelling

Netwerk Intrusiedetectiesystemen (NIDS) in productie kampen met een chronische kloof tussen statistische anomalie-scores en operationele alarmeringsvereisten. Huidige academische methoden behandelen de selectie van drempelwaarden doorgaans als een post-hoc afstemprobleem, waarbij geoptimaliseerd wordt voor metrieken zoals F1 of AUC-ROC op validatielabels die in echte Security Operations Centers (SOC's) vaak niet beschikbaar, vertraagd of schaars zijn.

Operatoren vereisen alarmeringsgedrag dat voor de implementatie wordt gedefinieerd aan de hand van operationele input: de relatieve kosten van valse negatieven versus valse positieven, en een eindig alarmeringsbudget (bijvoorbeeld afgeleid van Service Level Objectives). Bovendien moeten streaming-detectoren flows continu verwerken met een gebonden geheugen, terwijl de meeste bestaande methoden voor streaming-anomaliedetectie de vertaling van scores naar actieerbare waarschuwingen als een apart, heuristisch probleem laten. Dit artikel adresseert de behoefte aan een streaming-pijplijn die operationeel gekalibreerd is, waarbij drempelwaarden direct worden afgeleid van door operatoren gespecificeerde kosten en budgetten in plaats van van label-afhankelijke zoekopdrachten.

2. Methodologie: De CALIBURN-pijplijn

CALIBURN is een streaming-alarm-pijplijn met vijf componenten die is ontworpen om statistische scoring, operationele besluitvorming en escalatie van waarschuwingen te scheiden. Het wordt niet gepresenteerd als een universele oplossing, maar als een regime-gevoeligheidsstudie die prestaties evalueert over variërende prevalenties van aanvallen.

Kerncomponenten

1. Afgeknotte Bayesiaanse Online Change-Point Detectie (BOCPD):

   • Functie: Verwerkt netwerkflows sequentieel om een probabilistische anomalie-score $s_t = P(r_t = 0 | x_{1:t})$ te produceren, die de posterior-kans voorstelt dat de huidige flow een nieuw regime start (run-length reset).
   • Beperking: Gebruikt een afgeknotte run-length-benadering (maximale lengte $L$) om een gebonden updatekosten en constant geheugen te garanderen, waardoor het geschikt is voor continue streaming.
   • Model: Hanteert een Gaussisch observatiemodel met online updates van toereikende statistieken.

2. Isotonische Kalibratielaag:

   • Functie: Map de ruwe BOCPD-score $s_t$ (een kansen op regimeverschuiving) naar een empirische conditionele aanvalskans $\hat{p}_t = \hat{P}(y_t = 1 | s_t)$.
   • Methode: Past een monotoon kalibratiemap toe met behulp van isotonische regressie (Pool-Adjacent-Violators-algoritme) op een validatiesplit.
   • Redenering: De ruwe BOCPD-score is geen directe aanvalskans; kalibratie overbrugt de kloof tussen "regimeverschuiving" en "aanval" met behulp van beschikbare labels.

3. Kostengevoelige Beslissingsdrempel:

   • Functie: Leidt een beslissingsdrempel $\tau^*$ af op basis van door operatoren gespecificeerde misclassificatiekosten.
   • Formule: $\tau^* = \frac{C_{FP}}{C_{FP} + C_{FN}}$, waarbij $C_{FP}$ en $C_{FN}$ de kosten van respectievelijk valse positieven en valse negatieven zijn.
   • Onderscheid: Deze drempel wordt afgeleid uit kostenverhoudingen, niet uit optimalisatie van de validatieset.

4. Conformal Risk Control (CRC) Wrapper:

   • Functie: Converteert een door operatoren gespecificeerd alarmeringsbudget $\alpha$ (bijvoorbeeld maximale rate van valse positieven) naar een geldige drempel $\hat{\tau}_\alpha$ onder de aanname van uitwisselbaarheid tussen validatie- en testnegatieven.
   • Garantie: Biedt een marginale verwachtingsgrens voor de rate van valse positieven: $E[FPR_{test}(\hat{\tau}_\alpha)] \leq \alpha$.
   • Mechanisme: Selecteert de infimum-drempel $\tau$ zodat de empirische FPR op validatienegatieven, plus een slack-term $1/(n_0+1)$, onder $\alpha$ blijft.

5. Multi-Window Burn-Rate Alarmering:

   • Functie: Een escalatielaag die is aangepast aan praktijken uit Site Reliability Engineering (SRE).
   • Logica: Converteert drempeloverschrijdingen alleen naar waarschuwingen wanneer de "burn rate" (verbruik van het alarmeringsbudget) een drempel overschrijdt over gekoppelde korte en lange tijdvensters. Dit filtert transient ruis terwijl het aanhoudende anomalieën eskaleert.

3. Belangrijkste Bijdragen

Het artikel presenteert zijn bijdragen als het in kaart brengen van de operationele reikwijdte en beperkingen van de pijplijn in plaats van het claimen van uniforme dominantie:

1. Regime-Gevoeligheidsmapping: De studie evalueert de pijplijn over drie verschillende regimes van aanvalprevalentie:

   • Zeldzaam (LITNET-2020, ~5,2%): CALIBURN blinkt uit.
   • Matig (CICIDS2017, ~22,06%): CALIBURN blijft de sterkste streaming-methode, maar wordt overtroffen door batch-dichtheidsmethoden.
   • Hoog (UNSW-NB15, ~64%): Alle streaming-methoden, inclusief CALIBURN, degraderen tot bijna-willekeurige prestaties door omkering van de basisrate.

2. Identificatie van CRC-Collapsmechanismen: De auteurs identificeren en kwantificeren twee mechanismen waarbij Conformal Risk Control kan falen bij kleine alarmeringsbudgetten $\alpha$:

   • Theoretische Overshoot: De grens $2B/(n_0+1)$ kan ervoor zorgen dat de procedure de doelwaarde $\alpha$ overschrijdt.
   • Empirische-Dichtheidsfalen: Wanneer de verdeling van validatienegatieve scores sterk geconcentreerd is onder kandidaat-drempels, kan de procedure een drempel selecteren die nul waarschuwingen produceert (degeneratie) om de grens leeg te voldoen.

3. Expliciete Kalibratieanalyse: Het artikel toont aan dat isotonische kalibratie de Brier-scores aanzienlijk verlaagt (30–63% reductie over datasets) in vergelijking met ruwe BOCPD-posteriors, wat de noodzaak valideert van het mappen van regimeverschuivingsscores naar conditionele aanvalskansen.

4. Ablatie van Feature-artefacten (UNSW-NB15): De auteurs testen de hypothese dat de ineenstorting van streaming-methoden op UNSW-NB15 wordt veroorzaakt door synthetische TTL-feature-artefacten. Door deze features te verwijderen, degradeerde de prestatie niet maar verbeterde deze licht. Dit bevestigt dat de ineenstorting inherent is aan streaming-detectie onder hoge prevalentie (omkering van de basisrate), en geen artefact is van verwijderbare feature-lekkage.

5. Operationele Richtlijnen: Het artikel schetst de specifieke voorwaarden waaronder CALIBURN geschikt is:

   • Aanvalprevalentie < ~25%.
   • Alarmeringsbudget $\alpha$ is comfortabel boven de theoretische overshoot-grens $2B/(n_0+1)$.
   • De kalibratieverdeling is ongeveer uitwisselbaar met de implementatiestroom.

4. Experimentele Resultaten

Datasets en Baselines

• Datasets: LITNET-2020 (5,2% aanval), CICIDS2017 (22,06% aanval, gecorrigeerde versie), UNSW-NB15 (64% aanval).
• Baselines: Vijf streaming-methoden (Half-Space Trees, KitNET, LODA, Robust Random Cut Forest, iForest_ASD) en drie batch-referenties (LOF, ECOD, COPOD).

Prestaties per Regime

• Zeldzame-Aanval Regime (LITNET-2020):

  • CALIBURN behaalde een AUC-PR van 0,943.
  • Overtrof de beste streaming-baseline (LODA) met 2,21× en de beste batch-referentie (ECOD) met 4,12×.
  • Bereikte hoge precisie (0,976) met matige recall (0,451), wat de kostengevoelige afweging weerspiegelt.
  • Isotonische kalibratie verlaagde de Brier-score met 30%.

• Matige-Prevalentie Regime (CICIDS2017):

  • CALIBURN behaalde een AUC-PR van 0,545, en bleef de sterkste streaming-methode.
  • Echter, het werd overtroffen door de batch-methode LOF (AUC-PR 0,863).
  • De auteurs schrijven dit toe aan de contaminatie van de streaming-referentieverdeling door het hogere volume aan aanvallen, wat batch-methoden vermijden door gebruik van de volledige trainingsset.

• Hoge-Prevalentie Regime (UNSW-NB15):

  • CALIBURN behaalde een AUC-PR van 0,653, wat niet te onderscheiden is van de prevalentievloer (0,676).
  • Alle streaming-methoden stortten in tot bijna-willekeurige ranking (AUC-ROC ~0,5).
  • Batch-methoden (LOF, ECOD) presteerden beter, maar in een setting waar de "normale" baseline niet langer onschuldig is.

Ablatiebevindingen

• In het zeldzame-aanval regime presteert de volledige pijplijn (V1) aanzienlijk beter dan de "strawman"-variant (V4: ruwe scores + kostendrempel), die leed aan een hoge rate van valse positieven (9,6%).
• In regimes met hoge prevalentie degradeert de volledige pijplijn (V1) vaak tot nul waarschuwingen door CRC-beperkingen, terwijl de variant met ruwe scores (V4) meer bruikbare (zij het met lagere precisie) resultaten produceert.

5. Betekenis en Claims

Het artikel claimt bescheiden dat CALIBURN geen universele vervanging is voor alle intrusiedetectiemethoden. De betekenis ligt in:

1. Operationele Uitlijning: Het biedt een kader waarin alarmeringsdrempels worden afgeleid van door operatoren gespecificeerde kosten en budgetten in plaats van post-hoc label-tuning, waardoor het systeem voor de implementatie verklaarbaar en verdedigbaar is.
2. Regime-bewustzijn: Het identificeert expliciet het "zeldzame-aanval"-regime als het ideale punt voor streaming, kostengevoelige, gekalibreerde detectie. Het waarschuwt praktici dat streaming-methoden structureel beperkt zijn wanneer de prevalentie van aanvallen de basisrate omkeert (d.w.z. wanneer aanvallen de meerderheid worden).
3. Praktische Richtlijnen: Het biedt concrete implementatiecontroles, zoals het verifiëren van het alarmeringsbudget $\alpha$ tegen de CRC-overshoot-grens en het monitoren van de "empirische-dichtheidsfalen"-modus waarbij CRC nul waarschuwingen produceert.

De auteurs concluderen dat CALIBURN het meest geschikt is voor Security Operations Centers waar aanvallen zeldzaam zijn, de capaciteit van analisten beperkt is, en het alarmeringsbeleid moet worden gedefinieerd door operationele beperkingen in plaats van dataset-specifieke afstemming. Er wordt voorgesteld om toekomstig werk te richten op online herkalibratie om concept-drift en adaptieve kostenverhoudingsschatting aan te pakken.