VAE with Hyperspherical Coordinates: Improving Anomaly Detection from Hypervolume-Compressed Latent Space

Resumo Técnico: VAE com Coordenadas Hiperesféricas para Detecção de Anomalias

Declaração do Problema
Autoencoders Variacionais (VAEs) são amplamente utilizados para detecção de anomalias (DA) ao codificar dados em um espaço latente de dimensão reduzida. A suposição padrão é que um VAE treinado reconstruirá bem dados dentro da distribuição (ID), mas falhará em dados fora da distribuição (OOD) ou anômalos. No entanto, em espaços latentes de alta dimensão (AD), os VAEs padrão sofrem com o fenômeno de "concentração da medida". Quando amostras são codificadas em uma prior gaussiana de alta dimensão, elas tendem a se concentrar nos "equadores" da hipersfera latente, em vez de perto da origem ou de uma direção específica. Isso resulta em um vasto hipervolume esparsos onde os dados normais são distribuídos uniformemente através de faixas equatoriais. Consequentemente, distinguir anomalias torna-se difícil, pois a distância entre amostras normais e anomalias não exibe a concentração esperada, e as "caudas" da distribuição são curtas, tornando a separação por métricas de distância padrão ineficaz.

Metodologia
Os autores propõem uma formulação inovadora do espaço latente do VAE usando coordenadas hiperesféricas para mitigar os problemas de esparsidade e volume inerentes aos espaços cartesianos de alta dimensão.

1. Transformação de Coordenadas: Em vez de modelar a posterior latente em coordenadas cartesianas ($\mu, \sigma$), o método transforma essas em coordenadas hiperesféricas consistindo em um raio $r$ e $n-1$ coordenadas angulares $\phi_k$. A transformação é implementada via um script PyTorch vetorizado e diferenciável para manter a eficiência.
2. Compressão de Hipervolume: A inovação central reside na reformulação do termo de perda de Divergência de Kullback-Leibler (KLD).
   • Em um VAE padrão, a prior é uma gaussiana padrão, que implicitamente incentiva as amostras a residirem nos equadores da hipersfera devido à geometria dos volumes de alta dimensão.
   • O método proposto define uma prior específica para as coordenadas angulares ($\phi_k$) de modo que a média do cosseno desses ângulos seja direcionada para 1 ($a_{\mu,k} = 1$). Isso força as amostras latentes a se afastarem dos equadores e se dirigirem a uma direção específica de "polo norte" na hipersfera.
   • Ao comprimir as amostras latentes em direção a uma única direção, o método cria uma "ilha" densa e compacta de dados normais em uma região de hipervolume significativamente reduzido.
3. Função de Perda: A perda total combina o erro de reconstrução (MSE) com um termo KLD modificado calculado em coordenadas hiperesféricas. O termo KLD é decomposto em perdas para as coordenadas angulares ($\phi_k$) e a coordenada radial ($r$). A perda angular incentiva as amostras a se alinharem com a direção alvo, enquanto a perda radial garante que as amostras residam em uma superfície hiperesférica específica (raio $\sqrt{n}$).
4. Pontuação de Anomalia: Após o treinamento em dados normais, as anomalias são detectadas codificando uma amostra de consulta e medindo sua distância para o aglomerado de médias latentes normais. Os autores utilizam uma métrica de distância simples k-Vizinhos Mais Próximos (k-NN) (com $k=3$) nas médias latentes. Como os dados normais são comprimidos em uma ilha densa, a distância até essa ilha serve como uma pontuação de anomalia robusta.

Contribuições Principais

• Formulação Hiperesférica: O artigo introduz um método para converter variáveis latentes de VAE de coordenadas cartesianas para coordenadas hiperesféricas, efetivamente desentrelaçando dimensões e permitindo compressão de volume direcionada.
• Mecanismo de Compressão de Volume: Diferentemente de métodos que comprimem apenas o raio ou um único ângulo (semelhante a distribuições von Mises-Fisher), esta abordagem comprime todas as coordenadas angulares hiperesféricas. Isso permite uma redução muito mais rápida do hipervolume latente, criando uma representação mais densa de dados normais.
• Framework Unificado: O método é aplicável tanto a cenários OOD totalmente incondicional (nenhuma etiqueta de subclasse disponível) quanto a OOD condicional (etiquetas de subclasse disponíveis). No caso condicional, o sistema de coordenadas é reorientado para cada classe para formar aglomerados compactos para cada classe ID específica.
• Ablação do vMF: Os autores demonstram que seu método engloba abordagens baseadas em von Mises-Fisher (vMF) como um caso especial (comprimindo apenas um ângulo) e mostram que comprimir todos os ângulos produz resultados superiores.

Resultados Experimentais
O método foi avaliado em conjuntos de dados reais complexos e benchmarks padrão:

• OOD Totalmente Incondicional:
  • Mars Rover Mastcam: Detecção de características de paisagem incomuns. O método proposto (Comp.VAE + k-NN) alcançou um AUROC de 0,764, superando VAEs padrão, Autoencoders e a variante vMF.
  • Galaxy Zoo: Detecção de galáxias incomuns. O método alcançou um AUROC de 0,789, novamente superando as linhas de base existentes.
• OOD Condicional:
  • CIFAR-10 vs. CIFAR-100 (Near-OOD): O método alcançou uma redução significativa na Taxa de Falsos Positivos a 95% de Taxa de Verdadeiros Positivos (FPR95) em comparação com métodos state-of-the-art, alcançando um FPR95 de 23,2 (vs. 50,1 para SNN e 58,3 para KNN).
  • Imagenette vs. Classes Próximas do ImageNet: Em um cenário desafiador de Near-OOD, o método alcançou o melhor desempenho tanto em FPR95 (78,8) quanto em AUROC (68,3) entre as configurações testadas, superando a variante baseada em vMF.
• Visualização: Visualizações 3D do espaço latente confirmam que, enquanto os VAEs padrão distribuem dados uniformemente sobre a esfera (equadores), o método proposto comprime com sucesso os dados em uma ilha densa e compacta, tornando a separação de classes e a detecção de anomalias mais intuitivas.

Significado e Alegações
O artigo afirma que a limitação primária dos VAEs padrão na detecção de anomalias é a esparsidade geométrica dos espaços latentes de alta dimensão, onde os dados normais ocupam as vastas regiões equatoriais da hipersfera. Ao reformular o espaço latente em coordenadas hiperesféricas e comprimir ativamente o volume em direção a uma direção específica, os autores demonstram que:

1. É possível criar uma "ilha densa" de dados normais, tornando a separação de anomalias por métricas de distância simples (k-NN) significativamente mais eficaz.
2. Esta abordagem melhora o desempenho em tarefas de detecção de OOD incondicional e condicional sem exigir aprendizado contrastivo complexo ou alterações arquitetônicas além da transformação de coordenadas.
3. O método fornece uma solução teórica e prática para a "maldição da dimensionalidade" em modelos generativos para detecção de anomalias, oferecendo resultados state-of-the-art em métricas FPR95 em vários benchmarks, mantendo uma implementação relativamente simples baseada em componentes padrão de VAE.

Os autores observam que, embora a transformação de coordenadas adicione sobrecarga computacional (aproximadamente 32% mais lenta por época para 200 dimensões), o ganho no desempenho de detecção justifica o custo. Eles concluem que controlar e reduzir a esparsidade do manifold latente de alta dimensão é um fator crítico para melhorar não apenas a detecção de anomalias, mas potencialmente outras tarefas como classificação e geração.