Between Zeros and Ones: Behavioral Characterization Beyond Binary Labeling Across Public ICS Datasets

Resumo Técnico: Entre Zeros e Uns: Caracterização Comportamental Além da Rotulagem Binária em Conjuntos de Dados Públicos de ICS

Declaração do Problema
Os atuais Sistemas de Detecção de Intrusão (IDS) para Sistemas de Controle Industrial (ICS) dependem fortemente de benchmarks públicos, como SWaT, WADI e HAI. Esses conjuntos de dados são tipicamente avaliados utilizando rótulos binários ("normal" vs. "ataque") e métricas agregadas como precisão, recall e F1-score. Essa prática assume implicitamente que a classe "ataque" é homogênea. No entanto, ataques ciberrofísicos manifestam-se através de diversos comportamentos temporais — como desvios graduais de sensores (drifts), picos abruptos, telemetria congelada, loops de controle oscilatórios e comutação forçada de atuadores. A rotulagem binária colapsa essas diferenças qualitativas de urgência em um único sinal, potencialmente mascarando a diversidade comportamental e falhando em fornecer a especificidade necessária para respostas operacionais diferenciadas (ex: paradas de segurança imediatas vs. recalibração de longo prazo). Além disso, as avaliações existentes frequentemente negligenciam o viés dos conjuntos de dados, onde determinados benchmarks podem representar excessivamente certas morfologias de ataque enquanto sub-representam outras.

Metodologia
Os autores propõem uma estrutura puramente observacional e exploratória para caracterizar traços de ataque de ICS usando cinco primitivas físicas interpretáveis, sem inferir a intenção do atacante ou tipos de ataque semânticos. A metodologia procede através de quatro estágios:

1. Pré-processamento e Janelamento: Traços multivariados de ICS (sensores contínuos e atuadores discretos) são normalizados via normalização z-score baseada em dados de operação normal para garantir uma contribuição equitativa entre as variáveis. Os dados são segmentados em janelas temporais sobrepostas (60 amostras, 50% de sobreposição). As janelas são rotuladas como "ataque" se pelo menos 50% de suas amostras constituintes forem rotuladas como ataque na verdade fundamental (ground truth).
2. Extração de Primitivas Comportamentais: Para cada janela, cinco primitivas leves e computacionalmente econômicas são calculadas com base em estatísticas elementares de séries temporais:
   • Drift (Desvio): Desvio monotônico sustentado (magnitude da inclinação linear $\times$ qualidade do ajuste de regressão).
   • Spike (Pico): Mudança transitória abrupta (máximo da diferença temporal de primeira ordem absoluta).
   • Oscillation (Oscilação): Reversões direcionais repetidas (frequência normalizada de mudanças de sinal na primeira derivada).
   • Repetition (Repetição): Padrões temporais recorrentes (autocorrelação máxima sobre um intervalo de atraso limitado).
   • Switching (Comutação): Transições de estado discretas excessivas (contagem de mudanças de estado para sinais de atuadores).
3. Construção do Vetor de Características: Para capturar efeitos localizados de ataque sem serem distorcidos por ruídos isolados, os escores das primitivas através de todas as variáveis do processo são agregados usando o operador de percentil 95, resultando em um vetor de características de cinco dimensões por janela.
4. Atribuição de Propriedade Dominante: Para visualização e análise grosseira, cada janela é atribuída a uma única propriedade comportamental "dominante" baseada na maior ativação da primitiva normalizada, desde que esta exceda um limiar ($\tau = 0.30$).

Principais Contribuições

• Estrutura de Caracterização Comportamental: Um método portátil e agnóstico ao domínio para mapear traços brutos de processos multivariados em cinco primitivas temporais interpretáveis, expondo a diversidade comportamental frequentemente oculta por rótulos binários.
• Análise de Viés de Conjunto de Dados: Uma demonstração empírica de que SWaT, WADI e HAI ocupam regiões distintas do espaço comportamental, indicando que o benchmarking em um único conjunto de dados enfatiza perfis comportamentais específicos enquanto pode sub-representar outros.
• Implicações de Avaliação: Uma análise comparativa mostrando que métricas binárias agregadas podem obscurecer variações de desempenho através de diferentes proxies comportamentais. Os autores introduzem uma abordagem de avaliação estratificada por comportamento para complementar o benchmarking binário padrão.

Resultos
A estrutura foi aplicada ao SWaT, WADI e HAI, abordando quatro questões de pesquisa:

• RQ1 (Mudanças Comportamentais): Janelas de ataque exibem mudanças comportamentais mensuráveis em relação à operação normal, mas a natureza da mudança é dependente do conjunto de dados. Por exemplo, ataques no HAI mostram aumentos significativos em drift e spike, enquanto ataques no SWaT são caracterizados por aumento de oscilação e diminuição de repetição.
• RQ2 (Diferenças entre Conjuntos de Dados): Os conjuntos de dados povoam o espaço comportamental de formas diferentes. O HAI é dominado por spike e drift; o WADI é caracterizado por repetição; e o SWaT é definido por oscilação e comportamento de "telemetria congelada" (redução de repetição).
• RQ3 (Diversidade Intra-conjunto): Mesmo dentro de um único conjunto de dados, eventos de ataque não são homogêneos. Janelas de ataque frequentemente exibem comportamentos coexistentes (ex: simultâneo spike e drift no HAI), que rótulos binários colapsam em uma única classe.
• RQ4 (Impacto na Avaliação): Usando um baseline de Floresta Aleatória (Random Forest), os autores descobriram que, embora a classificação binária produza altos F1-scores macro (ex: 85,44% no SWaT), o desempenho cai significamente quando a tarefa é reformulada como classificação multiclasse baseada em proxies comportamentais (caindo para 37,84% no SWaT). Isso sugere que, embora os modelos possam detectar "anomalias", eles lutam para distinguir uniformemente entre diferentes tipos de manifestações comportamentais.

Significância e Alegações
O artigo argumenta que a detecção binária é uma primeira etapa necessária, mas insuficiente para uma avaliação robusta de segurança em ICS. Os autores não alegam que a avaliação binária esconde falhas de detecção per se, mas sim que ela obscurece como o desempenho varia entre diferentes manifestações comportamentais. Ao complementar o benchmarking binário convencional com uma avaliação estratificada por comportamento, a estrutura visa:

1. Expor "pontos cegos" que pontuações agregadas deixam ocultos.
2. Revelar o viés entre conjuntos de dados e a diversidade intra-conjunto.
3. Melhorar o suporte à resposta a incidentes direcionada, fornecendo especificidade comportamental.

Os autores posicionam este trabalho como um "primeiro passo portátil" para a compreensão da diversidade comportamental, enfatizando que a estrutura descreve a morfologia temporal observável em vez de inferir taxonomias semânticas de ataque ou a intenção do atacante. Eles reconhecem limitações, incluindo a incapacidade de capturar ataques puramente cibernéticos que não afetam variáveis físicas e o potencial da atribuição de rótulo único para obscurecer comportamentos mistos. Sugere-se como trabalho futuro expandir o vocabulário comportamental, avançar para representações de múltiplos rótulos e integrar essas caracterizações nos fluxos de trabalho de triagem operacional e resposta a incidentes.