Resumo Técnico: Refinamento de Densidade por Deslocamento de Média (MSDE) para Detecção de Anomalias Não Supervisionada

1. Declaração do Problema

A detecção de anomalias não supervisionada continua sendo um desafio crítico no aprendizado de máquina, particularmente porque os algoritmos existentes frequentemente carecem de robustez em diversos tipos de anomalias e ambientes ruidosos. Conforme destacado pelo Anomaly Detection Benchmark (ADBench), nenhum método não supervisionado único supera consistentemente os outros em todos os conjuntos de dados, estruturas de anomalia e regimes de ruído. Os métodos atuais geralmente dependem de suposições estáticas — como distância global, densidade local ou variância de projeção — que falham quando as anomalias se manifestam como desvios sutis de variedades (manifolds) de dados complexas ou quando os dados são corrompidos por ruído. O problema central abordado é a necessidade de um framework de propósito geral e robusto que não dependa de uma única métrica predefinida, mas que se adapte à estrutura geométrica intrínseca dos dados.

2. Metodologia: Refinamento de Densidade por Deslocamento de Média (MSDE)

O MSDE é um framework não paramétrico totalmente não supervisionado que detecta anomalias com base em sua resposta geométrica à evolução iterativa da variedade impulsionada pela densidade. A intuição central é que amostras normais, sendo bem suportadas pela densidade local, permanecem estáveis sob o refinamento iterativo de densidade, enquanto amostras anômalas sofrem grandes deslocamentos cumulativos ao serem atraídas para modos de densidade próximos.

O método opera através de três componentes primários:

2.1 Construção de Grafo de Vizinhança Adaptativa

O MSDE constrói uma estrutura de vizinhança local usando um grafo de k-vizinhos mais próximos (k-NN) aproximado via algoritmo NN-Descent. Crucialmente, este grafo é recomputado em cada iteração de deslocamento de média para garantir que a localidade seja definida em relação à estimativa atual da variedade dos dados, em vez do espaço de características original estático.

2.2 Estimativa de Peso Adaptativa à Variedade

Ao contrário dos métodos clássicos de deslocamento de média que utilizam pesos uniformes ou baseados em distância simples, o MSDE emprega um grafo de vizinhança difuso derivado do algoritmo Uniform Manifold Approximation and Projection (UMAP).

• Conjuntos Simpliciais Difusos: Para mini-lotes de dados, o MSDE computa um conjunto simplicial difuso onde os pesos das arestas representam o grau de pertinência entre os pontos, limitados em $[0, 1]$.
• Ponderação Multi-Escala: O algoritmo realiza uma busca binária para identificar um raio $\epsilon$ que satisfaça uma condição de densidade de vizinhança. Em seguida, ele avalia as densidades de vizinhança através de uma sequência de raios decrescentes ($\epsilon, \epsilon-\Delta, \dots$).
• Pesos Empíricos: O peso final para cada amostra é a média das contagens de vizinhos através desses múltiplos raios. Isso gera pesos suaves e estáveis que capturam a densidade intrínseca em múltiplas granularidades sem suposições paramétricas explícitas.

2.3 Deslocamento de Média Ponderado Iterativo e Pontuação

O MSDE realiza um procedimento de deslocamento de média ponderado na variedade aprendida:

1. Etapa de Atualização: Em cada iteração $t$, a posição de um ponto $x_i$ é atualizada em direção a uma média de vizinhança localmente ponderada $\mu_i^{(t)}$. O tamanho do passo é normalizado e escalonado por uma taxa de aprendizado $\eta$.
2. Acúmulo de Deslocamento: A magnitude do movimento instantâneo $\delta_i^{(t)}$ é registrada. A pontuação de anomalia é derivada do deslocamento cumulativo $D_i = \sum \delta_i^{(t)}$ ao longo de $T$ iterações (ou até a convergência).
3. Pontuação: Pontos imersos profundamente na variedade sofrem deslocamentos mínimos (pontuação baixa), enquanto anomalias, estando longe de regiões densas, sofrem movimentos direcionados de grande magnitude (pontuação alta). As pontuações são normalizadas via uma função sigmoide.

3. Principais Contribuições

O artigo descreve duas contribuições primárias:

1. Um Princípio Baseado em Deslocamento: Os autores introduzem o deslocamento geométrico cumulativo como um novo sinal de anomalia. Isso vai além das medidas estáticas de densidade ou distância, fornecendo um mecanismo para distinguir amostras normais e anômalas com base em sua estabilidade sob o refinamento de densidade iterativo.
2. Um Framework Adaptativo à Variedade: O desenvolvimento de um procedimento de deslocamento de média ponderado onde a influência da vizinhança é governada por estimativas de densidade empíricas de um grafo difuso baseado em UMAP. Isso permite que o método se adapte naturalmente a variedades de dados heterogêneas e distribuições arbitrárias sem suposições paramétricas explícitas.

4. Resultados Experimentais

Os autores avaliaram o MSDE no benchmark ADBench, composto por 46 conjuntos de dados tabulares do mundo real, quatro mecanismos realistas de geração de anomalias (Global, Local, Cluster, Dependência) e seis níveis de ruído.

• Desempenho vs. Baselines: O MSDE foi comparado com 13 baselines não supervisionados estabelecidos (incluindo KNN, LOF, Isolation Forest, DAGMM, etc.).
  • Geral: O MSDE alcançou a maior média de AUC-ROC, AUC-PR e Precisão@n em todos os tipos de anomalias em configurações sem ruído.
  • Robustez: Embora baselines específicos tenham se destacado em modos específicos (ex: LOF para anomalias locais, PCA para anomalias de cluster), o MSDE foi o único método a manter um desempenho consistentemente estável em todos os quatro tipos de anomalias.
  • Resiliência ao Ruído: Sob crescente ruído de características (até 50% de corrupção), o MSDE demonstrou estabilidade superior em comparação com métodos baseados em reconstrução (ex: DAGMM) e estimadores de densidade local (ex: LOF), que sofreram degradação severa.
• Significância Estatística: Um teste de postos sinalizados de Wilcoxon de uma cauda confirmou que as melhorias do MSDE sobre 12 dos 13 baselines foram estatisticamente significativas ($p < 0.05$).
• Estudos de Ablação: Remover o grafo difuso ou o esquema de ponderação de múltiplos raios resultou em quedas de desempenho, validando a necessidade de ambos os componentes para lidar com estruturas de variedades complexas e anomalias de dependência.
• Escalabilidade: No conjunto de dados de Detecção de Fraude de Cartão de Crédito ($N \approx 284.807$), o MSDE mostrou ser uma ordem de magnitude mais rápido que métodos computacionalmente intensivos como KNN e DAGMM, mantendo uma precisão competitiva.

5. Significância e Alegações

O artigo afirma que o MSDE oferece uma abordagem fundamentada e consciente da variedade para detecção de anomalias não supervisionada. Sua significância reside em fornecer uma alternativa robusta ao estado da arte atual, que frequentemente exige ajustes específicos para o tipo de anomalia ou sofre de instabilidade em cenários ruidosos.

Os autores enfatizam que o MSDE não depende de uma única métrica, mas sim da extensão à qual uma amostra deve ser modificada para se conformar à estrutura dominante da distribuição dos dados. Ao aproveitar a instabilidade geométrica das anomalias durante a evolução impulsionada pela densidade, o MSDE alcança um desempenho equilibrado através de diversos tipos de anomalias e níveis de ruído, tornando-se um forte candidato para implantação de propósito geral em cenários do mundo real onde as características das anomalias são desconhecidas ou variáveis. O artigo conclui que a pontuação baseada em deslocamento é uma estratégia viável e robusta para a detecção de anomalias não supervisionada.