Riepilogo Tecnico: CALIBURN: Uno Studio di Sensibilità al Regime di Rilevamento delle Intrusioni in Streaming Operativamente Calibrato

1. Enunciato del Problema

I Sistemi di Rilevamento delle Intrusioni di Rete (NIDS) in produzione affrontano un divario cronico tra i punteggi di anomalia statistica e i requisiti operativi di allertamento. I metodi accademici attuali trattano tipicamente la selezione della soglia come un problema di sintonizzazione a posteriori, ottimizzando metriche come F1 o AUC-ROC su etichette di validazione che spesso sono indisponibili, ritardate o scarse nei veri Centri Operativi di Sicurezza (SOC).

Gli operatori richiedono comportamenti di allertamento definiti prima della distribuzione, utilizzando input operativi: il costo relativo dei falsi negativi rispetto ai falsi positivi e un budget di allertamento finito (ad esempio, derivato dagli Obiettivi di Livello di Servizio). Inoltre, i rilevatori in streaming devono elaborare flussi continuamente con memoria limitata, tuttavia la maggior parte dei metodi esistenti di rilevamento di anomalie in streaming lascia la traduzione dei punteggi in allarmi azionabili come un problema separato ed euristico. Questo articolo affronta la necessità di una pipeline in streaming che sia operativamente calibrata, derivando le soglie direttamente dai costi e dai budget specificati dall'operatore piuttosto che da una ricerca dipendente dalle etichette.

2. Metodologia: La Pipeline CALIBURN

CALIBURN è una pipeline di allertamento in streaming a cinque componenti progettata per separare la valutazione statistica, il processo decisionale operativo e l'escalation degli allarmi. Non è presentata come una soluzione universale, ma come uno studio di sensibilità al regime che valuta le prestazioni attraverso diverse prevalenze di attacco.

Componenti Principali

1. Rilevamento Bayesiano Online dei Punti di Cambiamento Troncato (BOCPD):

   • Funzione: Elabora i flussi di rete in sequenza per produrre un punteggio di anomalia probabilistico $s_t = P(r_t = 0 | x_{1:t})$, rappresentante la probabilità a posteriori che il flusso corrente inizi un nuovo regime (reset della lunghezza della corsa).
   • Vincolo: Utilizza un'approssimazione troncata della lunghezza della corsa (lunghezza massima $L$) per garantire un costo di aggiornamento limitato e memoria costante, rendendolo adatto allo streaming continuo.
   • Modello: Impiega un modello di osservazione Gaussiano con aggiornamenti delle statistiche sufficienti online.

2. Livello di Calibrazione Isotonica:

   • Funzione: Mappa il punteggio BOCPD grezzo $s_t$ (una probabilità di spostamento di regime) in una probabilità empirica condizionata di attacco $\hat{p}_t = \hat{P}(y_t = 1 | s_t)$.
   • Metodo: Adatta una mappa di calibrazione monotona utilizzando la regressione isotonica (algoritmo Pool-Adjacent-Violators) su una divisione di validazione.
   • Razionale: Il punteggio BOCPD grezzo non è una probabilità diretta di attacco; la calibrazione colma il divario tra "spostamento di regime" e "attacco" utilizzando le etichette disponibili.

3. Soglia Decisionale Sensibile ai Costi:

   • Funzione: Deriva una soglia decisionale $\tau^*$ basata sui costi di classificazione errata specificati dall'operatore.
   • Formula: $\tau^* = \frac{C_{FP}}{C_{FP} + C_{FN}}$, dove $C_{FP}$ e $C_{FN}$ sono i costi dei falsi positivi e dei falsi negativi, rispettivamente.
   • Distinzione: Questa soglia è derivata dai rapporti di costo, non dall'ottimizzazione sul set di validazione.

4. Wrapper di Controllo del Rischio Conformale (CRC):

   • Funzione: Converte un budget di allertamento specificato dall'operatore $\alpha$ (ad esempio, tasso massimo di falsi positivi) in una soglia valida $\hat{\tau}_\alpha$ sotto l'ipotesi di scambiabilità tra i negativi di validazione e di test.
   • Garanzia: Fornisce un limite di aspettativa marginale sul tasso di falsi positivi: $E[FPR_{test}(\hat{\tau}_\alpha)] \leq \alpha$.
   • Meccanismo: Seleziona la soglia infima $\tau$ tale che il FPR empirico sui negativi di validazione, più un termine di flessibilità $1/(n_0+1)$, rimanga al di sotto di $\alpha$.

5. Allertamento Multi-Window con Tasso di Consumo (Burn-Rate):

   • Funzione: Un livello di escalation adattato dalle pratiche di Ingegneria dell'Affidabilità del Sito (SRE).
   • Logica: Converte gli attraversamenti di soglia in allarmi solo quando il "tasso di consumo" (consumo del budget di allertamento) supera una soglia su finestre temporali brevi e lunghe accoppiate. Questo filtra il rumore transitorio mentre scala le anomalie sostenute.

3. Contributi Chiave

L'articolo inquadra i suoi contributi come la mappatura della portata operativa e delle limitazioni della pipeline piuttosto che rivendicare un dominio uniforme:

1. Mappatura della Sensibilità al Regime: Lo studio valuta la pipeline attraverso tre distinti regimi di prevalenza di attacco:

   • Raro (LITNET-2020, ~5.2%): CALIBURN eccelle.
   • Moderato (CICIDS2017, ~22.06%): CALIBURN rimane il metodo in streaming più forte, ma è superato dai metodi batch basati sulla densità.
   • Alto (UNSW-NB15, ~64%): Tutti i metodi in streaming, incluso CALIBURN, degradano a prestazioni quasi casuali a causa dell'inversione della frequenza di base.

2. Identificazione dei Meccanismi di Collasso CRC: Gli autori identificano e quantificano due meccanismi in cui il Controllo del Rischio Conformale può fallire con piccoli budget di allertamento $\alpha$:

   • Sovrastima Teorica: Il limite $2B/(n_0+1)$ può causare alla procedura di superare il target $\alpha$.
   • Fallimento della Densità Empirica: Quando la distribuzione dei punteggi dei negativi di validazione è fortemente concentrata al di sotto delle soglie candidate, la procedura può selezionare una soglia che produce zero allarmi (degenerazione) per soddisfare il limite in modo vacuo.

3. Analisi Esplicita della Calibrazione: L'articolo dimostra che la calibrazione isotonica riduce significativamente i punteggi Brier (riduzione del 30–63% tra i dataset) rispetto ai posteriori BOCPD grezzi, validando la necessità di mappare i punteggi di spostamento di regime in probabilità condizionate di attacco.

4. Ablazione degli Artefatti delle Feature (UNSW-NB15): Gli autori testano l'ipotesi che il collasso dei metodi in streaming su UNSW-NB15 sia causato da artefatti sintetici della feature TTL. Rimuovendo queste feature, le prestazioni non si sono degradate ma sono leggermente migliorate. Ciò conferma che il collasso è intrinseco al rilevamento in streaming sotto alta prevalenza (inversione della frequenza di base), non un artefatto di una fuga di feature rimovibile.

5. Linee Guida Operative: L'articolo delinea le condizioni specifiche in cui CALIBURN è appropriato:

   • Prevalenza di attacco < ~25%.
   • Il budget di allertamento $\alpha$ è comodamente al di sopra del limite di sovrastima teorico $2B/(n_0+1)$.
   • La distribuzione di calibrazione è approssimativamente scambiabile con il flusso di distribuzione.

4. Risultati Sperimentali

Dataset e Baseline

• Dataset: LITNET-2020 (5.2% attacco), CICIDS2017 (22.06% attacco, versione corretta), UNSW-NB15 (64% attacco).
• Baseline: Cinque metodi in streaming (Half-Space Trees, KitNET, LODA, Robust Random Cut Forest, iForest_ASD) e tre riferimenti batch (LOF, ECOD, COPOD).

Prestazioni per Regime

• Regime di Attacco Raro (LITNET-2020):

  • CALIBURN ha raggiunto un AUC-PR di 0.943.
  • Ha superato la migliore baseline in streaming (LODA) di 2.21× e il miglior riferimento batch (ECOD) di 4.12×.
  • Ha raggiunto un'alta precisione (0.976) con un richiamo moderato (0.451), riflettendo il compromesso sensibile ai costi.
  • La calibrazione isotonica ha ridotto il punteggio Brier del 30%.

• Regime di Prevalenza Moderata (CICIDS2017):

  • CALIBURN ha raggiunto un AUC-PR di 0.545, rimanendo il metodo in streaming più forte.
  • Tuttavia, è stato superato dal metodo batch LOF (AUC-PR 0.863).
  • Gli autori attribuiscono ciò alla contaminazione della distribuzione di riferimento in streaming da parte del volume più elevato di attacchi, che i metodi batch evitano utilizzando l'intero set di addestramento.

• Regime di Alta Prevalenza (UNSW-NB15):

  • CALIBURN ha raggiunto un AUC-PR di 0.653, indistinguibile dal pavimento di prevalenza (0.676).
  • Tutti i metodi in streaming sono collassati a un ranking quasi casuale (AUC-ROC ~0.5).
  • I metodi batch (LOF, ECOD) hanno performato meglio, ma in un contesto in cui la baseline "normale" non è più benigna.

Risultati dell'Ablazione

• Nel regime di attacco raro, la pipeline completa (V1) supera significativamente la variante "strawman" (V4: punteggi grezzi + soglia di costo), che ha sofferto di un alto Tasso di Falsi Positivi (9.6%).
• Nei regimi ad alta prevalenza, la pipeline completa (V1) spesso degenera in zero allarmi a causa dei vincoli CRC, mentre la variante a punteggio grezzo (V4) produce risultati più utilizzabili (sebbene con precisione inferiore).

5. Significato e Rivendicazioni

L'articolo rivendica modestamente che CALIBURN non è una sostituzione universale per tutti i metodi di rilevamento delle intrusioni. La sua rilevanza risiede in:

1. Allineamento Operativo: Fornisce un framework in cui le soglie di allertamento sono derivate da costi e budget specificati dall'operatore piuttosto che da una sintonizzazione a posteriori delle etichette, rendendo il sistema spiegabile e difendibile prima della distribuzione.
2. Consapevolezza del Regime: Identifica esplicitamente il regime "attacco raro" come il punto ideale per il rilevamento in streaming, sensibile ai costi e calibrato. Avverte i praticanti che i metodi in streaming sono strutturalmente limitati quando la prevalenza degli attacchi inverte la frequenza di base (cioè quando gli attacchi diventano la maggioranza).
3. Linee Guida Pratiche: Offre controlli concreti per la distribuzione, come verificare il budget di allertamento $\alpha$ contro il limite di sovrastima CRC e monitorare la modalità di "fallimento della densità empirica" in cui CRC produce zero allarmi.

Gli autori concludono che CALIBURN è più adatto ai Centri Operativi di Sicurezza dove gli attacchi sono infrequenti, la capacità degli analisti è finita e la politica di allertamento deve essere definita da vincoli operativi piuttosto che da una sintonizzazione specifica del dataset. Viene suggerito un lavoro futuro per la ricalibrazione online per gestire il drift concettuale e la stima adattiva dei rapporti di costo.