An Insight on Evaluation Metrics Under the Imbalanced Case of Anomaly Detection

Título: Uma Perspectiva sobre Métricas de Avaliação sob o Caso Desbalanceado de Detecção de Anomalias

Problema
A detecção de anomalias é inerentemente caracterizada por um desbalanceamento severo de classes, onde as anomalias são raras em comparação aos dados normais. Este desbalanceamento complica a interpretação das métricas de avaliação padrão. Embora métricas como AUROC, AUPR, F1-score e Coeficiente de Correlação de Matthews (MCC) sejam amplamente utilizadas, seus valores numéricos transmitem significados diferentes dependendo da proporção de anomalias. Um único escore escalar frequentemente descarta informações relativas ao comportamento do modelo, e escores idênticos podem corresponder a comportamentos de classificadores vastamente distintos sob diferentes graus de desbalanceamento. Além disso, em configurações não supervisionadas, onde o treinamento ocorre apenas com dados normais, a avaliação é conduzida sob distribuições de teste altamente enviesadas, tornando a avaliação de desempenho delicada. Embora variantes ponderadas de medidas padrão existam, elas são frequentemente evitadas na detecção de anomalias para evitar o desacoplamento da avaliação da distribuição de classe operacional. Consequentemente, há uma falta de consenso sobre como interpretar essas métricas padrão através de diferentes regimes de desbalanceamento.

Metodologia
Os autores propõem uma análise sistemática de quatro métricas comuns de detecção de anomalias (AUROC, AUPR, F1 e MCC) através de uma ampla gama de razões de desbalanceamento de classe. A contribuição metodológica central é a introdução de paisagens de métricas (metric landscapes), um framework de visualização que mapeia os escores das métricas sobre o espaço da Taxa de Verdadeiros Positivos (TPR/Recall) e da Taxa de Verdadeiros Negativos (TNR/Especificidade).

O estudo utiliza:

1. Datasets: Um conjunto diversificado de benchmarks representando Detecção de Anomalias em Séries Temporais (TSAD), Classificação de Classe Única (OCC) e Detecção de Anomalias em Imagens (IAD). Isso inclui UCR, WaDi, PUMP, SWaT, PSM, CIFAR-10, ViSA e MVTec, cobrindo razões de anomalia de 0,19% a 90%.
2. Análise Nula: Estabelecimento de baselines computando métricas sobre 100 execuções de predições aleatórias através de razões de desbalanceamento (de 99:1 a 1:99) para determinar média, desvio padrão e desvio positivo médio.
3. Evolução da Paisagem: Visualização da diferença entre as paisagens de métricas em cenários equilibrados (50:50) e desbalanceados (ex: 5:95) para observar como as preferências das métricas se deslocam.
4. Análise Fatorial: Investigação de relações latentes entre métricas usando coeficientes de congruência de Tucker e correlações de Pearson através de três grupos de desbalanceamento (Baixo, Médio, Alto).

Principais Resultados

• Estabilidade de Métricas e Baselines:
  • AUROC e MCC permanecem centrados em torno de 0,5 em todas as razões de desbalanceamento sob predições aleatórias, embora a AUROC exiba maior variabilidade (desvio positivo médio de até ~0,25).
  • F1 e MCC apresentam baixa variância sob comportamento aleatório, tornando-os menos propensos a escores altos espúrios.
  • AUPR baseline varia linearmente com a proporção de anomalias, tornando desvios do desempenho aleatório fáceis de quantificar, embora mostre desvios ascendentes não negligenciáveis em regimes específicos.
• Comportamento da Paisagem:
  • AUROC é invariante ao desbalanceamento de classe; sua estrutura de paisagem permanece inalterada independentemente da razão.
  • AUPR e F1 são altamente sensíveis ao desbalanceamento. À medida que a classe negativa domina, as paisagens de AUPR diminuem significativamente (em 0,2–0,4 em muitas regiões), refletindo uma redução na influência do desempenho da classe negativa. O F1 requer uma TNR cada vez mais alta para alcançar o mesmo escore conforme a razão de anomalia diminui.
  • MCC exibe um padrão complexo onde valores extremos de TNR permanecem estáveis, mas a distribuição se comprime em torno de valores intermediários, tornando a interpretação do escore médio menos direta sob desbalanceamento severo.
• Requisitos Mínimos de Detecção:
  • Para AUROC, nenhuma amostra positiva precisa ser detectada para alcançar um escore de 0,5.
  • Para AUPR, alcançar escores altos em datasets equilibrados requer a classificação correta de 100% dos negativos mesmo com detecção mínima de positivos.
  • Para F1, aumentar o escore sempre exige mais positivos classificados corretamente, mas o requisito para negativos classificados corretamente cresce à medida que a razão de anomalia diminui.
  • Para MCC, alcançar um escore de ~0,4 em datasets altamente desbalanceados (ex: UCR) é possível sem detectar nenhum positivo e com apenas ~10% dos negativos classificados corretamente, embora isso permaneça abaixo do baseline aleatório.
• Relacionamento entre Métricas:
  • Em regimes de desbalanceamento Médio, todas as métricas exibem perfis de carga similares e altas correlações, sugerindo que capturam estruturas relacionadas.
  • Em regimes de desbalanceamento Baixo (altamente desbalanceados), as métricas tornam-se mais complementares. AUROC e MCC permanecem estreitamente relacionados, enquanto F1 e AUROC mostram o menor acordo.
  • Em regimes de desbalanceamento Alto (classe positiva dominante), as métricas se decorrelacionam ainda mais. Notavelmente, AUROC e MCC mantêm similaridade total (congruência de Tucker de 0,997), enquanto AUPR e AUROC mostram congruência reduzida.

Significância e Contribuições
O artigo argumenta que as métricas existentes permanecem úteis, desde que sua interpretação considere explicitamente a dependência entre o valor da métrica, a qualidade da predição e o desbalanceamento de classe. A principal contribuição é a introdução das paisagens de métricas como um framework intuitivo para visualizar como diferentes métricas enfatizam diferentes trocas (trade-offs) entre sensibilidade e especificidade e como essas preferências mudam sob aumento de desbalanceamento.

O trabalho fornece orientação prática para interpretar e comparar resultados de detecção de anomalias através de diferentes datasets com diferentes razões de desbalanceamento. Não propõe uma única "melhor" métrica para todos os cenários, mas oferece um ponto de referência para entender o comportamento das métricas sob condições realistas. Os autores observam que escores idênticos podem corresponder a diferentes comportamentos de classificadores, e sua análise ajuda a esclarecer essas distinções. O trabalho futuro é identificado como a extensão desta análise para outros domínios, como monitoramento industrial, IoT, cibersegurança e direção autônoma.