Resumo Técnico: CALIBURN: Um Estudo de Sensibilidade de Regime de Detecção de Intrusão em Streaming Calibrado Operacionalmente

1. Declaração do Problema

Sistemas de Detecção de Intrusão em Rede (NIDS) em produção enfrentam uma lacuna crônica entre pontuações de anomalia estatística e requisitos operacionais de alerta. Os métodos acadêmicos atuais geralmente tratam a seleção de limiares como um problema de ajuste post-hoc, otimizando métricas como F1 ou AUC-ROC em rótulos de validação que frequentemente estão indisponíveis, atrasados ou escassos em Centros de Operações de Segurança (SOCs) reais.

Os operadores exigem comportamentos de alerta definidos antes da implantação usando insumos operacionais: o custo relativo de falsos negativos versus falsos positivos, e um orçamento de alerta finito (por exemplo, derivado de Objetivos de Nível de Serviço). Além disso, detectores em streaming devem processar fluxos continuamente com memória limitada, no entanto, a maioria dos métodos existentes de detecção de anomalias em streaming deixa a tradução de pontuações em alertas acionáveis como um problema separado e heurístico. Este artigo aborda a necessidade de um pipeline em streaming que seja calibrado operacionalmente, derivando limiares diretamente de custos e orçamentos especificados pelo operador, em vez de busca dependente de rótulos.

2. Metodologia: O Pipeline CALIBURN

O CALIBURN é um pipeline de alerta em streaming de cinco componentes projetado para separar pontuação estatística, tomada de decisão operacional e escalonamento de alertas. Ele é enquadrado não como uma solução universal, mas como um estudo de sensibilidade de regime avaliando o desempenho através de prevalências de ataque variáveis.

Componentes Principais

1. Detecção Online Bayesiana de Ponto de Mudança Truncada (BOCPD):

   • Função: Processa fluxos de rede sequencialmente para produzir uma pontuação de anomalia probabilística $s_t = P(r_t = 0 | x_{1:t})$, representando a probabilidade posterior de que o fluxo atual inicie um novo regime (reset de comprimento de execução).
   • Restrição: Utiliza uma aproximação de comprimento de execução truncada (comprimento máximo $L$) para garantir custo de atualização limitado e memória constante, tornando-o adequado para streaming contínuo.
   • Modelo: Emprega um modelo de observação Gaussiano com atualizações online de estatísticas suficientes.

2. Camada de Calibração Isotônica:

   • Função: Mapeia a pontuação bruta do BOCPD $s_t$ (uma probabilidade de mudança de regime) para uma probabilidade condicional de ataque empírica $\hat{p}_t = \hat{P}(y_t = 1 | s_t)$.
   • Método: Ajusta um mapa de calibração monotônico usando regressão isotônica (algoritmo Pool-Adjacent-Violators) em uma divisão de validação.
   • Racional: A pontuação bruta do BOCPD não é uma probabilidade direta de ataque; a calibração preenche a lacuna entre "mudança de regime" e "ataque" usando rótulos disponíveis.

3. Limiar de Decisão Sensível a Custos:

   • Função: Deriva um limiar de decisão $\tau^*$ baseado em custos de classificação errada especificados pelo operador.
   • Fórmula: $\tau^* = \frac{C_{FP}}{C_{FP} + C_{FN}}$, onde $C_{FP}$ e $C_{FN}$ são os custos de falsos positivos e falsos negativos, respectivamente.
   • Distinção: Este limiar é derivado de razões de custo, não de otimização em conjunto de validação.

4. Wrapper de Controle de Risco Conformal (CRC):

   • Função: Converte um orçamento de alerta especificado pelo operador $\alpha$ (por exemplo, taxa máxima de falsos positivos) em um limiar válido $\hat{\tau}_\alpha$ sob a suposição de trocabilidade entre negativos de validação e teste.
   • Garantia: Fornece um limite de expectativa marginal sobre a taxa de falsos positivos: $E[FPR_{test}(\hat{\tau}_\alpha)] \leq \alpha$.
   • Mecanismo: Seleciona o limiar ínfimo $\tau$ tal que a FPR empírica em negativos de validação, mais um termo de folga $1/(n_0+1)$, permaneça abaixo de $\alpha$.

5. Alerta de Taxa de Queima Multi-Janela:

   • Função: Uma camada de escalonamento adaptada das práticas de Engenharia de Confiabilidade de Site (SRE).
   • Lógica: Converte cruzamentos de limiar em alertas apenas quando a "taxa de queima" (consumo do orçamento de alerta) excede um limiar sobre janelas de tempo curtas e longas emparelhadas. Isso filtra ruído transitório enquanto escala anomalias sustentadas.

3. Contribuições Principais

O artigo enquadra suas contribuições como o mapeamento do escopo operacional e limitações do pipeline, em vez de reivindicar domínio uniforme:

1. Mapeamento de Sensibilidade de Regime: O estudo avalia o pipeline através de três regimes distintos de prevalência de ataque:

   • Raro (LITNET-2020, ~5,2%): O CALIBURN se destaca.
   • Moderado (CICIDS2017, ~22,06%): O CALIBURN permanece o método em streaming mais forte, mas é superado por métodos de densidade em lote.
   • Alto (UNSW-NB15, ~64%): Todos os métodos em streaming, incluindo o CALIBURN, degradam-se para desempenho próximo ao aleatório devido à inversão da taxa base.

2. Identificação de Mecanismos de Colapso do CRC: Os autores identificam e quantificam dois mecanismos onde o Controle de Risco Conformal pode falhar em orçamentos de alerta pequenos $\alpha$:

   • Excesso Teórico: O limite $2B/(n_0+1)$ pode fazer com que o procedimento ultrapasse o alvo $\alpha$.
   • Falha de Densidade Empírica: Quando a distribuição de pontuações de negativos de validação está fortemente concentrada abaixo dos limiares candidatos, o procedimento pode selecionar um limiar que produz zero alertas (degenerescência) para satisfazer o limite vacuamente.

3. Análise de Calibração Explícita: O artigo demonstra que a calibração isotônica reduz significativamente as pontuações Brier (redução de 30–63% entre os conjuntos de dados) em comparação com os posteriors brutos do BOCPD, validando a necessidade de mapear pontuações de mudança de regime para probabilidades condicionais de ataque.

4. Ablação de Artefatos de Características (UNSW-NB15): Os autores testam a hipótese de que o colapso dos métodos em streaming no UNSW-NB15 é causado por artefatos sintéticos da característica TTL. Ao remover essas características, o desempenho não degradou, mas melhorou ligeiramente. Isso confirma que o colapso é intrínseco à detecção em streaming sob alta prevalência (inversão da taxa base), e não um artefato de vazamento de características removível.

5. Diretrizes Operacionais: O artigo delimita as condições específicas sob as quais o CALIBURN é apropriado:

   • Prevalência de ataque < ~25%.
   • Orçamento de alerta $\alpha$ está confortavelmente acima do limite de excesso teórico $2B/(n_0+1)$.
   • A distribuição de calibração é aproximadamente trocável com o fluxo de implantação.

4. Resultados Experimentais

Conjuntos de Dados e Baselines

• Conjuntos de Dados: LITNET-2020 (5,2% de ataque), CICIDS2017 (22,06% de ataque, versão corrigida), UNSW-NB15 (64% de ataque).
• Baselines: Cinco métodos em streaming (Half-Space Trees, KitNET, LODA, Robust Random Cut Forest, iForest_ASD) e três referências em lote (LOF, ECOD, COPOD).

Desempenho por Regime

• Regime de Ataque Raro (LITNET-2020):

  • O CALIBURN alcançou um AUC-PR de 0,943.
  • Superou a melhor baseline em streaming (LODA) em 2,21× e a melhor referência em lote (ECOD) em 4,12×.
  • Alcançou alta precisão (0,976) com recall moderado (0,451), refletindo o trade-off sensível a custos.
  • A calibração isotônica reduziu a pontuação Brier em 30%.

• Regime de Prevalência Moderada (CICIDS2017):

  • O CALIBURN alcançou um AUC-PR de 0,545, permanecendo o método em streaming mais forte.
  • No entanto, foi superado pelo método em lote LOF (AUC-PR 0,863).
  • Os autores atribuem isso à contaminação da distribuição de referência em streaming pelo maior volume de ataques, que os métodos em lote evitam ao usar o conjunto de treinamento completo.

• Regime de Alta Prevalência (UNSW-NB15):

  • O CALIBURN alcançou um AUC-PR de 0,653, que é indistinguível do piso de prevalência (0,676).
  • Todos os métodos em streaming colapsaram para classificação próxima ao aleatório (AUC-ROC ~0,5).
  • Métodos em lote (LOF, ECOD) performaram melhor, mas em um cenário onde a linha de base "normal" não é mais benigna.

Achados de Ablação

• No regime de ataque raro, o pipeline completo (V1) supera significativamente a variante "homem de palha" (V4: pontuações brutas + limiar de custo), que sofreu uma alta Taxa de Falsos Positivos (9,6%).
• Em regimes de alta prevalência, o pipeline completo (V1) frequentemente degenera para zero alertas devido às restrições do CRC, enquanto a variante de pontuação bruta (V4) produz resultados mais utilizáveis (embora com precisão mais baixa).

5. Significado e Reivindicações

O artigo reivindica modestamente que o CALIBURN não é um substituto universal para todos os métodos de detecção de intrusão. Seu significado reside em:

1. Alinhamento Operacional: Fornece um framework onde os limiares de alerta são derivados de custos e orçamentos especificados pelo operador em vez de ajuste de rótulos post-hoc, tornando o sistema explicável e defensável antes da implantação.
2. Consciência de Regime: Identifica explicitamente o regime de "ataque raro" como o ponto ideal para detecção em streaming, sensível a custos e calibrada. Adverte aos praticantes que os métodos em streaming são estruturalmente limitados quando a prevalência de ataque inverte a taxa base (ou seja, quando os ataques se tornam a maioria).
3. Diretrizes Práticas: Oferece verificações concretas de implantação, como verificar o orçamento de alerta $\alpha$ contra o limite de excesso do CRC e monitorar o modo de "falha de densidade empírica" onde o CRC produz zero alertas.

Os autores concluem que o CALIBURN é mais adequado para Centros de Operações de Segurança onde os ataques são infrequentes, a capacidade dos analistas é finita e a política de alerta deve ser definida por restrições operacionais em vez de ajuste específico do conjunto de dados. Sugere-se trabalho futuro para recalibração online para lidar com deriva de conceito e estimativa adaptativa de razão de custos.