Anomaly Detection from a Tensor Train Perspective

Resumo Técnico: Detecção de Anomalias sob uma Perspectiva de Carril Tensorial

Declaração do Problema
A detecção de anomalias é uma tarefa crítica em domínios como monitoramento industrial, diagnósticos médicos, detecção de fraudes e cibersegurança. O objetivo principal é identificar pontos de dados que se desviam significativamente do comportamento normal. Embora métodos estatísticos tradicionais, aprendizado de máquina e aprendizado profundo tenham alcançado sucesso, eles frequentemente lutam com dados de alta dimensionalidade, exigindo tipicamente técnicas de redução de dimensionalidade como Análise de Componentes Principais (PCA). Os autores propõem alavancar Redes Tensoriais (TN), especificamente Carris Tensores (TT), para lidar com dados de alta dimensionalidade de forma eficiente. A hipótese central é que dados normais compartilham padrões estruturais comuns, enquanto dados anômalos possuem estruturas distintas ou infrequentes. Ao comprimir dados em uma representação tensorial aproximada, o método visa preservar a estrutura dos dados normais enquanto desestabiliza a estrutura dos dados anômalos, permitindo assim sua distinção.

Metodologia
O artigo apresenta um conjunto de oito algoritmos baseados em duas estratégias de compressão conceitualmente diferentes usando a representação de Carril Tensorial (TT). A compressão é controlada por um parâmetro $\tau$ (variando de 0 a 1), que dita a retenção de valores singulares durante o processo TT-SVD.

1. Algoritmos de Compressão Global:

   • Conceito: Todo o conjunto de dados é tratado como um único tensor de alta ordem. O algoritmo comprime o conjunto de dados global, preservando as estruturas dominantes compartilhadas pela maioria dos pontos de dados (dados normais). Dados anômalos, carecendo dessas estruturas compartilhadas, são deslocados mais significativamente durante a compressão.
   • Funções de Decisão:
     • Comparativo Auto (ACGCTNAD): Calcula uma "pontuação de auto-retenção" ($s_{self}$) tomando o produto escalar de um ponto de dados original com sua reconstrução comprimida, normalizado pelo quadrado da norma do original. Esta pontuação captura tanto o alinhamento direcional quanto a retenção de magnitude.
     • Comparativo de Grupo (GCGCTNAD): Compara cada ponto de dados contra as versões comprimidas de todos os outros pontos de dados no conjunto, usando uma métrica de similaridade de cosseno para focar no alinhamento geométrico em vez da magnitude.
   • Modos de Aprendizado: Estes métodos podem ser aplicados em modos não supervisionado (sem conhecimento prévio), supervisionado (usando dados de treinamento normais rotulados) ou semi-supervisionado.

2. Algoritmos de Compressão Local:

   • Conceito: Em vez de comprimir todo o conjunto de dados, esta abordagem usa um ponto de dados normal representativo (ou conjunto) para definir uma estrutura TT "normal". Os primeiros $n-1$ nós da representação TT para um ponto de dados de teste são forçados a corresponder aos núcleos dos dados de treinamento, deixando o nó final conter a informação única do ponto de teste.
   • Alinhamento Heurístico: O método emprega uma etapa de alinhamento heurístico onde a base truncada dos dados de teste é alinhada com os núcleos de treinamento normais.
   • Funções de Decisão: Similar aos métodos globais, utiliza pontuação comparativa auto (ACLCTNAD) e comparativa de grupo (GCLCTNAD).
   • Variante Baseada em Projeção: Os autores propõem uma variante local matematicamente fundamentada baseada em projeção ortogonal (minimizando o erro de mínimos quadrados contra uma interface TT aprendida), embora observem que os resultados experimentais relatados no artigo correspondem à versão heurística original.

Principais Contribuições

• Novo Framework: A introdução de algoritmos de detecção de anomalias baseados na preservação e desestabilização de estruturas de redes tensoriais durante a compressão.
• Conjunto de Algoritmos: Desenvolvimento de quatro algoritmos primários (ACGCTNAD, GCGCTNAD, ACLCTNAD, GCLCTNAD) cobrindo ambas as estratégias de compressão global e local, aplicáveis a cenários não supervisionados, supervisionados e semi-supervisionados.
• Eficiência em Altas Dimensões: Demonstração de que representações TT podem lidar efetivamente com dados de alta dimensionalidade (por exemplo, imagens, logs de tráfego de rede) sem as limitações da redução de dimensionalidade tradicional.
• Validação Empírica: Testes em três conjuntos de dados distintos:
  • Conjunto de Dados de Dígitos: Distinguir uma classe de dígito das outras.
  • Conjunto de Dados de Rostos Olivetti: Distinguir identidades faciais.
  • Conjunto de Dados de Cibersegurança: Detectar ataques cibernéticos (força bruta, varredura, slowloris) contra solicitações normais de rede.

Resultados

• Conjunto de Dados de Dígitos:
  • ACGCTNAD (Global): Alcançou valores máximos de AUROC variando de 0,74 a 0,997. O desempenho frequentemente atingiu o pico em valores de compressão muito baixos ($\tau$), sugerindo que a compressão agressiva remove estruturas anômalas enquanto retém as normais.
  • ACLCTNAD (Local): Alcançou AUROC perfeito (1,0) para todas as classes de dígitos. No entanto, o método foi notado como sendo 50 vezes mais lento que o método global. Adicionalmente, exibiu uma "reversão de orientação de pontuação" em valores de compressão baixos (AUROC caindo para 0), exigindo inversão post-hoc das pontuações, o que limita sua utilidade não supervisionada.
• Conjunto de Dados de Rostos Olivetti:
  • O método global (ACGCTNAD) mostrou desempenho variável dependendo da classe, com valores de AUROC variando de 0,69 a 1,0. Os autores atribuem o desempenho inferior em alguns casos ao pequeno tamanho da amostra (aproximadamente 8-9 amostras normais por classe) ou à natureza específica dos dados.
• Conjunto de Dados de Cibersegurança:
  • Sem Normalizador: O método ACGCTNAD alcançou resultados excepcionais com um AUROC de 0,98 e precisão de 97,72% em $\tau = 0,01$.
  • Com Normalizador Padrão: O desempenho degradou significativamente. Os autores observaram que aplicar um normalizador padrão "arruína os resultados", provavelmente porque altera as normas estruturais subjacentes nas quais a rede tensorial confia para detecção.
  • Modo Não Supervisionado: Quando testado sem um conjunto de dados de treinamento (usando apenas dados de teste), o método manteve alto desempenho (97,5% de precisão) sem normalizador, mas o desempenho caiu para 64,7% com normalizador.

Significado e Alegações
O artigo alega que a abordagem proposta de rede tensorial oferece uma alternativa versátil e eficaz para detecção de anomalias, particularmente em configurações de alta dimensionalidade. Os autores destacam que:

1. Preservação de Estrutura: O poder do método surge da capacidade das redes tensoriais de capturar e preservar as relações estruturais dos dados normais enquanto descartam as estruturas difusas das anomalias.
2. Compressão Contra-Intuitiva: A detecção ótima frequentemente ocorre em valores de compressão baixos (baixo $\tau$), onde a representação deleta estruturas anômalas, mas retém as normais, um fenômeno que pode parecer contra-intuitivo em comparação com os objetivos padrão de compressão.
3. Sensibilidade ao Pré-processamento: Os resultados enfatizam que o pré-processamento de dados, especificamente a normalização padrão, pode ser prejudicial a esta abordagem específica, pois pode destruir as características estruturais que o algoritmo foi projetado para detectar.
4. Compensações: Enquanto métodos locais (ACLCTNAD) podem alcançar separação perfeita, eles são computacionalmente caros e dependem de alinhamento heurístico. Métodos globais (ACGCTNAD) oferecem um melhor equilíbrio entre velocidade e precisão, tornando-os mais práticos para muitas aplicações.

Os autores concluem que, embora seus resultados sejam promissores, uma avaliação mais exaustiva envolvendo comparações com baselines padrão (PCA, Floresta de Isolamento, Autoencoders, etc.) e relatórios estatísticos rigorosos (sementes aleatórias, desvios padrão) é necessária para trabalhos futuros. Eles também sugerem direções de pesquisa futuras incluindo o uso de outras estruturas de rede tensorial (como PEPS), aplicação a dados de texto e vídeo, e a avaliação da variante local baseada em projeção matematicamente fundamentada.