Resumo Técnico: Correspondência de Pontuação de Desruído Guiada por Curtose para Detecção de Anomalias em Dados Tabulares

Declaração do Problema

A detecção de anomalias em dados tabulares exige a identificação de observações que se desviam da distribuição esperada. Embora a Correspondência de Pontuação de Desruído (DSM) ofereça um framework poderoso para modelar distribuições de alta dimensão aprendendo a função de pontuação (o gradiente da densidade logarítmica), ela enfrenta um desafio prático crítico: seleção da escala de ruído.

A DSM padrão depende de uma única escala de ruído fixa ($\sigma$) aplicada globalmente a todos os recursos. Isso cria um compromisso:

• Pouco ruído: As estimativas de pontuação aprendidas são instáveis em regiões esparsas, falhando em capturar a estrutura onde as anomalias tipicamente residem.
• Muito ruído: A perturbação apaga a estrutura local, suavizando as distinções entre amostras normais e anômalas e enfraquecendo a sensibilidade.

Soluções existentes, como Correspondência de Pontuação Multi-Escala (MSM) ou Redes de Pontuação Condicional ao Ruído (NCSNs), tentam resolver isso treinando modelos em múltiplas escalas de ruído. No entanto, essas abordagens introduzem sobrecarga computacional significativa, exigem seleção complexa de ruído no momento da inferência e frequentemente falham em superar bases mais simples quando as arquiteturas não são cuidadosamente ajustadas. Além disso, em configurações totalmente não supervisionadas (contaminadas) onde os dados de treinamento contêm anomalias, a DSM padrão falha porque o objetivo de desruído ensina explicitamente ao modelo a atribuir normas de pontuação baixas aos contaminantes.

Metodologia

Os autores propõem K-DSM (Correspondência de Pontuação de Desruído Guiada por Curtose), um método que substitui a escala de ruído global por uma estratégia de escalonamento de ruído adaptativa aos dados e por recurso.

1. Perturbação por Recurso

Em vez de aplicar um $\sigma$ global, o K-DSM emprega uma matriz de covariância de ruído diagonal $\Sigma = \text{diag}(\sigma_1^2, \dots, \sigma_d^2)$. A função objetivo é modificada para prever o ruído de variância unitária $\varepsilon$ em vez da pontuação bruta, desacoplando a contribuição do gradiente da escala de ruído:
$$\mathcal{L}_{\text{por-recurso}}^{\text{DSM}}(\theta) = \frac{1}{2} \mathbb{E}_{x \sim p_{\text{dados}}} \mathbb{E}_{\tilde{x} \sim \mathcal{N}(x, \Sigma)} \left[ \| s_\theta(\tilde{x}) + \Sigma^{-1/2}(\tilde{x} - x) \|_2^2 \right]$$
Isso garante que recursos com escalas de ruído menores não dominem a função de perda.

2. Escalonamento de Ruído Guiado por Curtose

A inovação central é determinar $\sigma_j$ para cada recurso $j$ com base na forma estatística de sua distribuição marginal. Os autores utilizam a curtose (o quarto momento padronizado) como um proxy para a extremidade da cauda.

• Racional: Distribuições de cauda leve ou planas (baixa curtose) já cobrem seu suporte efetivo e requerem perturbações menores. Distribuições de cauda pesada ou fortemente concentradas (alta curtose) deixam o espaço circundante sub-representado e requerem perturbações maiores para expor a rede a regiões de baixa densidade.
• Reorganização de Histograma: Para garantir que a curtose reflita o peso da cauda e não artefatos como assimetria ou bimodalidade, os autores aplicam uma reorganização simétrica decrescente de histograma antes de calcular a curtose. Esta etapa simetriza a distribuição empírica em torno de seu modo dominante, isolando a taxa de decaimento do pico às caudas.
• A Regra de Escalonamento: A escala de ruído é calculada por meio de uma regra afim derivada da expansão de Cornish–Fisher:
  $$\sigma_j = \sigma_{\text{base}} \cdot (1 + c \cdot (\kappa_j^* - 3))$$
  onde $\kappa_j^*$ é a curtose do $j$-ésimo recurso reorganizado, $\sigma_{\text{base}}$ é um hiperparâmetro global e $c$ é um coeficiente de sensibilidade (definido empiricamente como 0,33). O resultado é limitado a um intervalo válido $[\sigma_{\min}, \sigma_{\max}]$.

3. Justificativa Teórica

O artigo prova que, para distribuições unimodais simétricas, o raio da cauda (a distância que um ponto de treinamento deve ser deslocado para atingir uma probabilidade de cauda específica) é estritamente crescente na curtose. Consequentemente, a regra afim na Eq. (5) é mostrada como a escala de ruído ótima de primeira ordem única para cobertura de cauda, fornecendo uma alternativa principial ao ajuste heurístico.

4. Extensão Não Supervisionada (Filtragem por Professor EMA)

Para abordar a configuração "contaminada" onde os dados de treinamento contêm anomalias, os autores introduzem um mecanismo de filtragem leve. Eles mantêm uma Média Móvel Exponencial (EMA) dos pesos do modelo online (um "professor"). Durante o treinamento, amostras com uma norma de pontuação alta de acordo com o professor são identificadas como contaminantes prováveis e descartadas da atualização do gradiente. Isso impede que o modelo aprenda a atribuir pontuações de anomalia baixas aos próprios contaminantes.

Contribuições Principais

1. Reavaliação da DSM de Escala Única: Os autores demonstram que um modelo DSM de escala única, quando equipado com uma arquitetura MLP moderna (semelhante a ResNet), já supera métodos multi-escala (MSM) e outras bases profundas (DTE, SLAD) em benchmarks tabulares. Isso desafia a suposição predominante de que o condicionamento multi-escala é estritamente necessário para detecção de anomalias baseada em pontuação eficaz.
2. K-DSM com Garantias Teóricas: A proposta de uma regra de escalonamento de ruído por recurso baseada na curtose marginal, apoiada por uma prova de que o mapeamento afim é a solução ótima de primeira ordem única para cobertura de cauda.
3. Desempenho State-of-the-Art: O K-DSM alcança a melhor média de AUC-PR (0,627) no ADBench (57 conjuntos de dados) na configuração semi-supervisionada, superando a melhor base anterior (0,594).
4. Detecção Não Supervisionada Robusta: Ao combinar K-DSM com a regra de filtragem por professor EMA, o método alcança desempenho state-of-the-art (0,343 de média AUC-PR) na configuração totalmente não supervisionada (contaminada), recuperando significativamente o desempenho perdido devido à contaminação dos dados.
5. Eficiência: Diferentemente de abordagens multi-escala que exigem inferência em múltiplos níveis de ruído, o K-DSM mantém a velocidade de inferência de uma única passagem forward, tornando-o significativamente mais rápido que MSM e DDAE.

Resultados Experimentais

• Configuração Semi-Supervisionada (Dados de Treinamento Limpos): No ADBench, o K-DSM alcança uma média AUC-PR de 0,627, superando a base vice-campeã (0,594) e a base DSM de escala única (0,584). O método também é robusto à escolha da escala de ruído base $\sigma_{\text{base}}$, enquanto a DSM padrão é altamente sensível a este hiperparâmetro.
• Configuração Não Supervisionada (Dados de Treinamento Contaminados): A DSM padrão e o K-DSM colapsam nesta configuração (caindo para ~0,188 de AUC-PR) porque aprendem a tratar anomalias como normais. A extensão por professor EMA restaura o desempenho, elevando o K-DSM-EMA para 0,343 de AUC-PR, o melhor resultado entre 14 métodos comparados.
• Benchmarks de Imagem: No MVTec-AD e VisA (usando embeddings DINOv3), o K-DSM é competitivo, mas não domina. Os autores observam que isso é esperado porque características de visão profunda padronizadas são aproximadamente Gaussianas por coordenada, tornando o escalonamento baseado em curtose ineficaz (já que $\kappa \approx 3$). Isso delimita o regime de validade do método: ele se destaca onde existe heterogeneidade de cauda marginal.
• Velocidade de Inferência: O K-DSM é o método de aprendizado profundo mais rápido na inferência, exigindo apenas uma única passagem forward (~0,02–0,03s por conjunto de dados), comparado a segundos para métodos multi-escala ou baseados em difusão.

Significado e Alegações

O artigo argumenta que o desafio de longa data da seleção de escala de ruído na DSM pode ser abordado sem recorrer a modelos multi-escala computacionalmente caros. Ao adaptar o nível de ruído à geometria intrínseca da distribuição de cada recurso, o K-DSM melhora a cobertura de regiões de baixa densidade enquanto preserva a sensibilidade em áreas de alta densidade.

Os autores afirmam que um escalonamento de ruído cuidadoso e adaptativo aos dados combinado com uma receita de treinamento robusta à contaminação oferece uma alternativa prática, escalável e state-of-the-art a abordagens de ensemble ou multi-escala mais pesadas para detecção de anomalias em dados tabulares do mundo real. O método reduz a dependência de ajuste de hiperparâmetros e conjuntos de validação, tornando-o adequado para cenários onde as anomalias são desconhecidas e os dados são escassos ou contaminados.

Limitações Reconhecidas:

• A vantagem do método diminui quando os recursos são padronizados para marginais próximas a Gaussianas (por exemplo, embeddings de visão profunda), pois a regra de curtose colapsa para uma escala única.
• Na configuração não supervisionada, o filtro por professor EMA depende de um corte percentual fixo, assumindo implicitamente que a taxa de contaminação está abaixo de um certo limite (por exemplo, <20%). O desempenho degrada se as taxas de contaminação forem extremamente altas.