Resumo Técnico: Avaliando Detectores de Anomalias em CPS Independentemente da Regra de Decisão

1. Definição do Problema

Sistemas ciber-físicos (CPS) dependem de detectores de anomalias como uma última linha de defesa contra a manipulação adversária de telemetria de sensores e atuadores. No entanto, a avaliação padrão desses detectores é falha porque funde dois componentes distintos:

1. Estágio 1 (Representação): O mapeamento das observações para um sinal residual (ex: erros de predição, erros de reconstrução ou violações de invariantes) que representa a lacuna entre o comportamento observado e o comportamento normal esperado.
2. Estágio 2 (Regra de Decisão): O mapeamento dos resíduos para alarmes binários via limiares (thresholds), suavização ou testes sequenciais (ex: CUSUM).

Os benchmarks atuais tipicamente reportam precisão, recall e pontuações F1 em um único ponto de operação. Essas métricas misturam a qualidade da representação do resíduo com a calibração da regra de decisão. Consequentemente, um F1 baixo não consegue distinguir se uma detecção de ataque perdida resultou de:

• Evidência residual fraca (o ataque é invisível para o modelo).
• Deriva treino-teste (a distribuição normal mudou entre o treinamento e o teste).
• Diluição dimensional (ataques localizados são mascarados quando a evidência é agrupada entre todos os canais).
• Má calibração de limiar (a evidência existe, mas a regra de alarme falha em extraí-la).

Este problema é exacerbado ao comparar detectores heterogêneos (ex: preditores de grafos vs. verificadores de invariantes) cujos resíduos habitam espaços diferentes e são pareados com regras de decisão ajustadas independentemente.

2. Metodologia

Os autores propõem uma estrutura de avaliação livre de regra de decisão que trata um detector de anomalia de CPS como um pipeline de dois estágios e avalia o Estágio 1 diretamente.

A Decomposição de Dois Estágios

• Estágio 1 ($\phi$): Mapeia uma janela de observações para um vetor de resíduo $r_t$.
• Estágio 2 ($\pi$): Mapeia resíduos para alarmes $a_t$.
  A estrutura isola $\phi$ para avaliação antes que qualquer regra de alarme seja aplicada.

A Estrutura de Energia-Informação do Resíduo

A métrica central é a Energia de Resíduo Normalizada ($e_t$), definida como a distância de Mahalanobis ao quadrado de um resíduo em relação à referência normal treinada, escalonada por um meio:
$$e_t = \frac{1}{2} (r_t - \mu_0)^\top S_0^{-1} (r_t - \mu_0)$$
onde $\mu_0$ e $S_0$ são a média e a covariância da distribuição do resíduo estimadas a partir de dados de treinamento livres de ataques.

Fundamentação Teórica:
Sob uma visão Gaussiana de correspondência de momentos, a expectativa desta energia possui uma conexão exata com a divergência de Kullback–Leibler (KL) entre a distribuição de teste e a referência normal de treinamento. Especificamente:
$$E[e_t | P] - \frac{p}{2} = D_{KL}(P_G || P_0) + \frac{1}{2} \log \frac{\det S_P}{\det S_0}$$
Esta identidade permite que a escala de energia meça simultaneamente:

1. Separação de Ataque: O quão bem a distribuição do ataque se separa do normal.
2. Deriva Treino-Teste: O quanto a distribuição normal se deslocou.
3. Estrutura do Espaço Residual: A compacidade da representação.

Métricas de Avaliação

A estrutura deriva diversas métricas diagnósticas do fluxo de energia:

• Métricas de Ranking: ROC-AUC e pAUC@1% (focando em baixas taxas de falsos alarmes) para medir a separação ao nível de ponto.
• Energia da Janela de Ataque: Estimativas de KL integradas ($D_{FULL}$) e a probabilidade ($P_{FULL}$) de uma janela de ataque dominar uma janela normal de duração correspondente.
• Diagnósticos de Deriva: Deriva de treino-teste ($D_{drift}$) e evidência corrigida de deriva ($D_{eff}$) para distinguir sinais de ataque de deslocamentos da distribuição normal.
• Compacidade: A razão entre a dimensão efetiva ($p_{eff}$) e a dimensão nominal ($p$), indicando quanto do espaço residual é utilizado.
• Sonda Controlada de Estágio-2: Um limiar fixo no percentil 99 da energia normal de treinamento ($F1@p99$) é usado apenas como uma sonda para ver quanta evidência uma regra compartilhada pode extrair, não como uma métrica de ranking primária.

3. Configuração Experimental

A estrutura foi aplicada uniformemente a cinco detectores através de três benchmarks de CPS sem ajuste por detector:

• Detectores: GDN, FuSAGNet, TranAD (preditores de grafo/transformer), NSIBF (baseado em observador) e GeCo (invariantes algébricas).
• Benchmarks: SWaT (tratamento de água), WADI (maior distribuição de água) e HAI (potência/caldeira).
• Protocolo: Os detectores foram treinados em dados livres de ataques e avaliados em traços de ataques rotulados. A avaliação utilizou um protocolo fixo para estimar a referência normal (covariância de encolhimento de Ledoit–Wolf) e computar métricas de energia.

4. Resultados Principais e Descobertas

O estudo responde a quatro questões de pesquisa (RQs) diagnósticas sobre a natureza das falhas de detecção:

RQ1: A evidência do ataque está presente antes da regra de alarme?

• Descoberta: Valores de ROC-AUC semelhantes podem esconder diferenças de ordens de magnitude no desempenho do alarme. Por exemplo, no SWaT, o TranAD teve um ROC-AUC de 0.750, mas um $F1@p99$ de apenas 0.025, enquanto outros detectores com ROC-AUC similar alcançaram F1 muito mais altos. Isso indica que a representação do resíduo continha informação de ranking, mas a separação era fraca na região de baixos falsos alarmes.

RQ2: A referência de resíduo normal é estável?

• Descoberta: A deriva treino-teste é uma grande fonte de falha. Detectores com rankings de ataque semelhantes exibiram valores de deriva vastamente diferentes. Por exemplo, no SWaT, o GDN mostrou uma deriva massiva ($1.9 \times 10^5$), enquanto o NSIBF mostrou deriva mínima ($6.2 \times 10^2$). Alta deriva reduz a margem disponível para limiares fixos, explicando alarmes perdidos mesmo quando o modelo está "correto".

RQ3: A evidência é expressa no espaço residual ou é diluída?

• Descoberta: A escolha do espaço residual dita quais ataques são visíveis. No WADI, ataques localizados foram detectados com sucesso pelo NSIBF (que pontua um subespaço de inovação de sensor), mas perdidos por detectores de observação total. O agrupamento de evidência em todos os canais diluiu o sinal localizado. Isso explica por que os rankings mudam entre os testbeds: o NSIBF classificou-se em primeiro no WADI, mas em último no HAI, enquanto o TranAD classificou-se em primeiro no HAI, mas em último no SWaT.

RQ4: A regra de Estágio-2 extrai a evidência disponível?

• Descoberta: Uma sonda controlada de Estágio-2 revelou que alarmes perdidos semelhantes podem advir de causas distintas. Algumas falhas ocorreram devido à evidência residual fraca (o ataque mal move o resíduo), outras devido à evidência dominada pela deriva (energia do ataque < deriva), e outras devido a falhas de extração de limiar (a evidência existe, mas o limiar fixo a perde).

5. Significância e Contribuições

O artigo reivindica quatro contribuições principais:

1. Objeto de Avaliação Independente de Regra de Decisão: Formaliza a avaliação da representação de resíduo do Estágio-1 separadamente da regra de alarme, permitendo que pesquisadores perguntem se a evidência do ataque está presente antes de qualquer limiar ou suavização ser aplicado.
2. Escala de Energia-Informação de Resíduo: Introduz uma métrica de energia de resíduo normalizada com uma interpretação exata de divergência KL, fornecendo uma escala comum para comparar detectores heterogêneos (grafo, transformer, observador, invariante) através de diferentes espaços residuais.
3. Diagnósticos de Atribuição de Falha: Fornece um conjunto de métricas para distinguir entre modos específicos de falha: evidência fraca, instabilidade de referência, diluição dimensional e falha de calibração de Estágio-2. Isso move a avaliação além de um único número de leaderboard para uma ferramenta diagnóstica.
4. Estudo Uniforme Trans-Detector: Demonstra que os rankings de detectores não se transferem de forma confiável entre testbeds e que falhas de nível de alarme semelhantes frequentemente possuem causas subjacentes distintas (ex: redesenho da representação vs. estabilização da referência).

Conclusão:
Os autores argumentam que a falha de detecção em CPS é multifacetada. Ao separar a representação do resíduo da regra de decisão, a estrutura proposta revela que a "falha de detecção" não é um conceito monolítico. Ela pode surgir da incapacidade do detector de ver o ataque, da instabilidade da linha de base normal, da diluição de sinais em espaços de alta dimensão ou da extração subótima de evidência pela política de alarme. Esta abordagem permite melhorias mais direcionadas, como o redesenho de representações para ataques localizados ou a estabilização de referências contra a deriva, em vez de simplesmente ajustar limiares.