Resumo Técnico: Por que a Classificação de Algoritmos de Detecção de Anomalias Não é tão Confiável quanto Você Pode Pensar

Declaração do Problema

A detecção de anomalias (AD - Anomaly Detection) é um domínio de aprendizado de máquina de missão crítica para segurança, com aplicações em detecção de fraudes, prevenção de falhas e intrusão de rede. Apesar da proliferação de algoritmos propostos — variando de métodos estatísticos clássicos a aprendizado profundo (deep learning) e modelos de fundação — muitos novos métodos alegam desempenho de estado da arte (SOTA - State-of-the-Art). No entanto, essas alegações frequentemente dependem de configurações de benchmarks que não estão alinhadas entre os estudos. Essa falta de comparabilidade levanta preocupações significativas em relação à reprodutibilidade e confiabilidade dos benchmarks de AD. O problema central abordado é a instabilidade na classificação de algoritmos: se o "melhor" algoritmo é um achado robusto ou um artefato de escolhas específicas de design experimental.

Metodologia

Para investigar a estabilidade das classificações de AD, os autores conduziram uma análise sistemática utilizando o seguinte framework:

• Algoritmos: Sete algoritmos representativos e computacionalmente leves de AD foram selecionados para permitir avaliações repetidas extensas: KNN, LOF, Isolation Forest (IFOR), HBOS, PCA, CBLOF e SEAN.
• Datasets: O estudo utilizou 690 conjuntos de dados do conjunto de benchmarks OddBench. Para gerenciar custos computacionais (particularmente para métodos baseados em distância), os datasets foram limitados a 5.000 instâncias amostradas aleatoriamente.
• Métrica de Instabilidade de Classificação: Uma nova métrica, $\sigma_{rank}$, foi introduzida para quantificar a estabilidade da classificação. Ela é definida como o desvio padrão médio da classificação de um algoritmo através de variadas configurações de benchmark:
  $$\sigma_{rank} = \text{mean}_{algo} \left( \text{std}_{setting} \left( \text{Rank}(algo, setting) \right) \right)$$
  Um valor baixo indica classificações estáveis, enquanto um valor alto sugere que as classificações são altamente dependentes do design experimental.
• Fontes de Variabilidade: O estudo isolou e simulou o impacto de quatro fatores específicos, variando-os enquanto mantinha os outros constantes:
  1. Seleção de Datasets: Variando o número e a composição dos datasets (subconjuntos de 25, 100 e 400).
  2. Métrica de Avaliação: Comparando ROC-AUC vs. AUCPR.
  3. Seleção de Hiperparâmetros: Amostragem aleatória de configurações de hiperparâmetros.
  4. Seleção de Semente Aleatória (Random Seed): Variando a semente aleatória para amostragem de dados e inicialização.

Principais Resultados

A análise revela que as classificações de algoritmos em detecção de anomalias são altamente instáveis e sensíveis às escolhas experimentais:

• Volatilidade de Classificação: As classificações mudam substancialmente entre diferentes configurações. Notavelmente, cinco dos sete algoritmos estudados alcançaram o topo da classificação em mais de 10% de todas as configurações avaliadas. Por outro lado, o HBOS e o CBLOF raramente apareceram como os métodos de melhor desempenho (HBOS uma vez em 1.016 configurações; CBLOF nunca).
• Viabilidade de Alegações de "SOTA": Os resultados sugerem que é comparativamente fácil construir configurações de benchmark onde um algoritmo competitivo pareça ser o estado da arte. Nos experimentos, a amostragem de apenas oito configurações aleatórias foi suficiente para encontrar uma configuração onde um algoritmo específico superou todos os outros.
• Fatores Dominantes de Instabilidade:
  • Seleção de Datasets e Hiperparâmetros: Estes são os principais motores da incerteza de classificação. A escolha de hiperparâmetros introduz uma incerteza substancial, um fator que os autores observam ser provavelmente subestimado para métodos clássicos e que seria ainda mais pronunciado para métodos modernos de deep learning com espaços de hiperparâmetros maiores.
  • Quantidade de Datasets: Aumentar o número de datasets reduz a instabilidade, mas o efeito satura. O estudo sugere que aproximadamente 200 datasets são necessários para reduzir a instabilidade total de classificação para um nível confiável ($\sigma_{rank} \approx 0,2$).
  • Fatores Menores: A seleção de semente aleatória tem um impacto negligenciável, e a escolha entre métricas comuns de avaliação (ROC-AUC vs. AUCPR) tem um efeito menor, embora perceptível, em comparação com as escolhas de datasets e hiperparâmetros.
• Magnitude da Incerteza: A instabilidade observada ($\sigma_{rank} \approx 0,34$) é significativa, dado que a diferença média de classificação entre o melhor e o pior algoritmo no estudo foi de apenas 1,51 posições. Uma incerteza de 0,34 posições representa uma grande fração da lacuna de desempenho total.

Significância e Recomendações

O artigo argumenta que a noção de um algoritmo de detecção de anomalias universalmente "melhor" muitas vezes não é robusta e depende fortemente das escolhas de construção do benchmark. Consequentemente, pequenas melhorias nas classificações de benchmarks devem ser interpretadas com cautela.

Com base nesses achados, os autores propõem as seguintes recomendações para pesquisas futuras:

1. Escala de Avaliação: Futuros estudos de benchmark devem utilizar pelo menos 200 datasets para garantir a estabilidade da classificação.
2. Sensibilidade de Hiperparâmetros: Os benchmarks devem avaliar explicitamente os algoritmos sob variadas configurações de hiperparâmetros, em vez de depender de uma única configuração selecionada manualmente.
3. Relato de Instabilidade: Os estudos devem incluir um escore de instabilidade (como o $\sigma_{rank}$ proposto) para quantificar a confiabilidade de suas conclusões.
4. Mudança de Foco: A comunidade de pesquisa deve priorizar a robustez, a reprodutibilidade e a compreensão das condições específicas sob as quais os algoritmos performam bem, em vez de focar primariamente em melhorias marginais em classificações de benchmarks.

Os autores concluem que uma melhoria tangível em detecção de anomalias só pode ser assumida quando melhorias substanciais forem observadas em uma grande quantidade de datasets e permanecerem invariantes às escolhas de design.