Resumo Técnico: Modelagem de Difusão Mascarada para Detecção de Anomalias (MaskDiff-AD)

Declaração do Problema

A detecção de anomalias visa identificar amostras que se desviam significativamente da distribuição geradora de dados nominal. Embora crítica para aplicações de segurança em saúde, finanças e cibersegurança, os métodos existentes enfrentam limitações significativas quando aplicados a dados categóricos, de tipos mistos e sequências discretas. Métodos clássicos que dependem de geometria euclidiana ou densidades contínuas lutam com esses tipos de dados. Além disso, embora os modelos de difusão tenham mostrado promessa na modelagem de distribuições complexas, a maioria das pesquisas foca em domínios contínuos (por exemplo, imagens) ou na eficiência da amostragem generativa.

Um desafio específico surge na adaptação da Estimação do Tempo de Difusão (DTE) — um framework bem-sucedido para detecção de anomalias contínua — a dados discretos. A DTE estima a distribuição posterior sobre o tempo de difusão para derivar uma pontuação de anomalia. No entanto, como demonstrado neste artigo, o mecanismo de mascaramento absorvente inerente aos Modelos de Difusão Mascarada (MDM) faz com que a posterior no estilo DTE degenere em espaços discretos. Especificamente, para amostras categóricas limpas, a posterior colapsa para valores idênticos ou depende exclusivamente do padrão de mascaramento em vez da distribuição de dados subjacente, tornando-a não discriminativa.

Metodologia: MaskDiff-AD

Os autores propõem o MaskDiff-AD, um framework de detecção de anomalias apenas para frente baseado em Modelos de Difusão Mascarada treinados exclusivamente em dados nominais (normais). Em vez de estimar o tempo de difusão, o MaskDiff-AD aproveita a dificuldade de reconstruir coordenadas mascaradas a partir do contexto visível.

Mecanismo Central

1. Treinamento: Um modelo de difusão mascarada $p_\theta$ é treinado em dados nominais $q_0$ usando um objetivo padrão de reconstrução mascarada. O modelo aprende a prever valores categóricos limpos a partir de observações parcialmente mascaradas.
2. Mascaramento de Sonda: Dada uma amostra de teste $x$, o método gera múltiplas "visualizações de sonda" mascarando coordenadas aleatoriamente em vários níveis $\tau_1, \dots, \tau_L$. Isso simula o processo de difusão para frente.
3. Pontuação de Reconstrução: Para cada visualização mascarada, o modelo treinado tenta reconstruir os valores mascarados. A pontuação de anomalia é definida como a surpresa média de reconstrução (log-verossimilhança negativa) dos verdadeiros valores mascarados dado o contexto visível.
   • Amostras normais: As coordenadas são mutuamente consistentes com a distribuição nominal aprendida, tornando-as fáceis de prever a partir do contexto (baixa surpresa).
   • Amostras anômalas: As coordenadas violam a estrutura de dependência aprendida, tornando a reconstrução difícil (alta surpresa).
4. Agregação: A pontuação final $S_{rec}(x)$ média as dificuldades de reconstrução em múltiplos níveis de sonda e múltiplas visualizações de mascaramento independentes para garantir robustez.

Variantes

O artigo introduz duas implementações:

• MaskDiff-AD Paramétrico: Usa uma rede neural (por exemplo, Transformer ou MLP) treinada para aproximar a distribuição condicional $p_\theta(\cdot | x_{masked})$.
• MaskDiff-AD Não Paramétrico: Estima probabilidades condicionais diretamente do conjunto de treinamento usando uma distribuição empírica suavizada por kernel baseada na distância de Hamming nas coordenadas visíveis. Isso evita o treinamento do modelo, mas incorre em custos de inferência mais altos em grandes conjuntos de dados.

Garantias Teóricas

Os autores fornecem uma análise teórica caracterizando erros do Tipo I (falso positivo) e do Tipo II (falso negativo). Eles mostram que, sob um modelo de reconstrução bem especificado, a pontuação de anomalia separa as distribuições normais e anômalas. A lacuna entre as pontuações esperadas para dados normais e anômalos é impulsionada pela divergência KL entre a verdadeira distribuição condicional e a distribuição de reconstrução do modelo.

Contribuições Principais

1. Formulação: O artigo formula a detecção de anomalias em espaços de estados discretos usando modelos de difusão mascarada e demonstra rigorosamente por que uma extensão direta do framework DTE falha nesse cenário devido à natureza absorvente do mascaramento discreto.
2. Algoritmo: Introduz o MaskDiff-AD, um método computacionalmente eficiente, apenas para frente, que gera pontuações de anomalia sensíveis ao conteúdo sem exigir amostragem reversa no tempo ou imputação iterativa dispendiosa.
3. Variantes e Teoria: O trabalho desenvolve variantes paramétricas e não paramétricas e fornece garantias teóricas sobre o desempenho de detecção (erros Tipo I/II) sob limiares fixos.
4. Validação Empírica: Experimentos extensivos foram conduzidos em 18 conjuntos de dados do mundo real, incluindo 14 conjuntos de dados tabulares categóricos/mistos (de ADBench e UADAD) e 4 conjuntos de dados de detecção de anomalias em texto (de NLP-ADBench).

Resultados Experimentais

• Dados Tabulares: O MaskDiff-AD alcança a melhor classificação média geral (3,93) entre 12 métodos de base tabulares, incluindo abordagens clássicas (Isolation Forest, COPOD, ECOD) e métodos recentes de aprendizado profundo (variantes DTE, MCM, DRL). A variante paramétrica supera todas as bases, enquanto a variante não paramétrica também se classifica altamente. Notavelmente, supera o DTE-Gaussiano, que requer a incorporação de dados discretos em um espaço contínuo, destacando a vantagem de operar diretamente no espaço de estados discreto.
• Dados de Texto: O método desempenha excepcionalmente bem em sequências curtas de texto (Spam de E-mail, Spam de SMS), superando detectores ponta a ponta (DATE) e bases baseadas em incorporação. No entanto, em sequências mais longas ou semanticamente mais ricas (AGNews, YelpReview), é menos competitivo do que bases fortes baseadas em incorporação, sugerindo a necessidade de arquiteturas de sequência mais especializadas para textos longos.
• Eficiência: A variante paramétrica oferece um equilíbrio favorável entre custo de treinamento e velocidade de inferência, superando significativamente bases profundas como GOAD e ICL no tempo total de execução em grandes conjuntos de dados.

Significado e Alegações

O artigo afirma que o MaskDiff-AD fornece uma solução natural e eficaz para detecção de anomalias em domínios discretos, aproveitando a dificuldade de reconstrução dos modelos de difusão mascarada. Seu significado reside em:

• Modelagem Discreta Direta: Evita as armadilhas de forçar dados discretos em incorporações contínuas, preservando as características estruturais originais e as dependências entre recursos.
• Eficiência Computacional: Ao utilizar um mecanismo de pontuação apenas para frente, evita o alto custo computacional associado à amostragem reversa no tempo na detecção de anomalias generativa.
• Robustez: A estratégia de média de múltiplas sondas reduz a sensibilidade a níveis específicos de máscara ou variações aleatórias.

Os autores modestamente reconhecem limitações, observando que o desempenho em sequências longas de texto é atualmente subótimo e que a eficácia do método depende da qualidade das condicionais mascaradas aprendidas e da escolha dos níveis de sonda. Sugere-se trabalho futuro para incluir seleção adaptativa de sondas e arquiteturas adaptadas para objetos discretos estruturados como grafos e moléculas.