Testing the Test: Score-Direction Instability in Class-Split Anomaly Detection

Resumo Técnico: Testando o Teste: Instabilidade de Direção de Pontuação na Detecção de Anomalias por Divisão de Classes

1. Declaração do Problema

A avaliação por divisão de classes dentro do mesmo conjunto de dados (within-dataset class-split evaluation) é um protocolo padrão na detecção de anomalias (AD), onde classes semânticas específicas são designadas como "normais" e outras como "anômalas" para simular a detecção de fora da distribuição (OOD). Embora atraente por evitar fontes de dados externas, este artigo argumenta que o protocolo pode se tornar mal posto (ill-posed) em um sentido operacional preciso quando a classe "anômala" escolhida sobrepõe-se significativamente à mistura "normal" no espaço de representação.

O modo de falha central identificado é a instabilidade de direção de pontuação dependente da classe. Quando a classe anômala retida coincide significativamente com as regiões de alta densidade da mistura normal, as pontuações de anomalia podem colapsar em direção ao acaso (AUROC $\approx$ 0,5) ou, mais criticamente, inverter (AUROC < 0,5). Em tais regimes, a direção da "anomalia" (se uma pontuação alta ou baixa indica uma anomalia) depende da classe anômala específica e desconhecida. Consequentemente, as conclusões dos benchmarks tornam-se frágeis, potencialmente recompensando métodos que exploram peculiaridades específicas do conjunto de dados em vez de demonstrar capacidades de detecção OOD robustas e incondicionais.

2. Metodologia

Os autores propõem um framework para diagnosticar e quantificar essa instabilidade sem a necessidade de treinamento adicional.

Diagnóstico: Vazamento de Classe de Vizinhança
O artigo introduz uma métrica simples, livre de treinamento, chamada vazamento de classe de vizinhança ($L_k$) para quantificar a sobreposição entre os manifolds condicionais de classe em um espaço de representação fixo $r(x)$.

• Definição: Para uma amostra $x_i$, o vazamento $\ell_k(i)$ é a fração de seus $k$-vizinhos mais próximos (no espaço de representação) que pertencem a uma classe semântica diferente.
• Agregação: O índice de nível de dataset $L_k$ é o vazamento médio entre todas as amostras.
• Racional: Um alto vazamento indica que a geometria local não se alinha com a estrutura da classe semântica. Se uma classe anômala ocupa regiões densamente povoadas por amostras normais, as pontuações padrão de AD (baseadas em distância à normalidade ou densidade local) falharão em separá-las consistentemente.

Métricas de Instabilidade
Para caracterizar a confiabilidade do benchmark, os autores definem várias estatísticas baseadas no protocolo "K-1 vs. 1" (iterando através de cada classe como a anomalia retida):

• Dispersão de AUROC: Variância das pontuações de AUROC entre diferentes classes retidas.
• Taxa de Próximo ao Acaso ($\rho_{rnd}$): A frequência de pontuações de AUROC caindo próximo a 0,5.
• Taxa de Inversão ($\rho_{inv}$): A frequência de pontuações de AUROC abaixo de 0,5.
• Taxa de Instabilidade de Direção ($\rho_{dir}$): Uma medida de quão frequentemente a direção de pontuação preferida (desvio positivo ou negativo do acaso) inverte dependendo da classe anômala.

Configuração Experimental
O estudo avalia três conjuntos de dados de complexidade crescente:

1. Fashion-MNIST: Usado como um controle negativo (baixo vazamento).
2. CIFAR-10: Complexidade intermediária.
3. Imagenette: Alta complexidade.

Estes são testados em dois espaços de representação:

• Espaço de Pixels: Entradas brutas vetorizadas.
• Espaço Latente de VAE: Características codificadas de um Autoencoder Variacional treinado apenas no pool normal.

Três pontuadores de AD incondicional padrão são aplicados: k-Nearest Neighbors (kNN), Isolation Forest e Local Outlier Factor (LOF).

3. Principais Resultados

Os resultados empíricos demonstram uma forte correlação entre alto vazamento de vizinhança e instabilidade de benchmark:

• Fashion-MNIST: Exibe baixo vazamento ($L_k \approx 0,24$) e comportamento estável, com baixas taxas de inversão e de instabilidade de direção.
• CIFAR-10 e Imagenette: Exibem alto vazamento ($L_k > 0,76$) tanto no espaço de pixels quanto no latente. Estes conjuntos de dados mostram taxas substanciais de inversão (até 50%) e de instabilidade de direção (até 63%).
• Consistência: A instabilidade persiste através de diferentes famílias de pontuadores (kNN, Isolation Forest, LOF) e espaços de representação, sugerindo que a falha é inerente à sobreposição geométrica dos dados, e não uma falha de um detector específico.
• Variância por Classe: No espaço de pixels do CIFAR-10, classes anômalas específicas geram pontuações de AUROC significativamente abaixo do acaso, enquanto outras geram pontuações bem acima do acaso, apesar de utilizarem a mesma convenção de pontuação.

4. Contribuições

O artigo apresenta três contribuições primárias:

1. Formalização de um Modo de Falha: Identifica e formaliza a instabilidade de direção de pontuação dependente da classe como um modo de falha prático da avaliação por divisão de classes dentro do mesmo dataset, impulsionada pela sobreposição normal-anomalia.
2. Diagnóstico Livre de Treinamento: Propõe o índice de vazamento de vizinhança ($L_k$) como uma verificação prévia à avaliação para prever quando um benchmark de divisão de classes provavelmente produzirá classificações não confiáveis ou invertidas.
3. Validação Empírica: Valida o fenômeno através de uma matriz controlada de datasets, representações e pontuadores, demonstrando que o alto vazamento prevê instabilidade independentemente do método de AD utilizado.

5. Significância e Alegações

O artigo argumenta que os benchmarks de divisão de classes não devem ser tratados como evidência incondicional de habilidade de detecção de anomalias. Em vez disso, devem ser vistos como testes de estresse dependentes da geometria.

• Rejeição da "Re-inversão": Os autores refutam a noção de que um "melhor" método de AD pode simplesmente "re-inverter" classificações para corrigir um baixo AUROC. Se a direção da anomalia depende do tipo de anomalia desconhecido, um método que alcança alto AUROC em uma divisão específica pode estar explorando correlações idiossincráticas entre rótulos de classe e geometria, em vez de aprender uma noção de atipicidade agnóstica à classe.
• Interpretação de Benchmarks: O índice de vazamento serve como uma verificação prévia. Um baixo vazamento sustenta a interpretação de que o AUROC mede a separação da mistura normal. Um alto vazamento, acompanhado de altas taxas de inversão ou instabilidade de direção, indica que o benchmark está sondando uma geometria sobreposta em vez de uma anomalia semântica consistente.
• Recomendação: Os autores sugerem que futuros benchmarks de divisão de classes devem relatar diagnósticos de vazamento e instabilidade de direção antes que seus resultados sejam usados para reivindicar capacidades de detecção OOD incondicionais.