Resumo Técnico: Seleção Destilada por Memória para Detecção de Anomalias Robusta a Ruídos

Declaração do Problema

Na manufatura industrial, sistemas de detecção de anomalias (DA) baseados em visão são críticos para o controle de qualidade. Esses sistemas são tipicamente treinados sob a suposição de que o conjunto de dados de treinamento consiste exclusivamente em amostras normais (livres de defeitos). No entanto, em cenários do mundo real, a curadoria de conjuntos de treinamento perfeitamente limpos é custosa e frequentemente impraticável; a triagem manual inevitavelmente negligencia uma fração não desprezível de amostras anômalas, levando à contaminação dos dados.

Métodos existentes para DA em condições ruidosas sofrem degradação significativa de desempenho à medida que a proporção de ruído aumenta. Abordagens atuais geralmente dependem de suposições fortes, tais como:

1. Propriedades estatísticas específicas dos dados de treinamento (por exemplo, priores unimodais).
2. Conhecimento prévio da proporção de anomalias no conjunto de treinamento.
3. Conhecimento da faixa de pontuação para amostras anômalas.

Essas dependências necessitam de ajuste de hiperparâmetros específico do conjunto de dados e frequentemente falham quando os níveis de ruído se desviam das faixas esperadas. Além disso, muitos métodos existentes carecem da capacidade de realizar localização de defeitos em nível de pixel de alta granularidade sob contaminação severa.

Metodologia: Seleção Destilada por Memória (MeDS)

Os autores propõem a Seleção Destilada por Memória (MeDS), um framework de treinamento projetado para manter desempenho robusto através de diversas proporções de ruído, tanto para detecção em nível de imagem quanto para localização em nível de pixel, sem exigir ajuste de hiperparâmetros específico para a proporção de ruído. O método prossegue em três fases sequenciais:

1. Construção de Memória Bootstrap (Filtragem Grossa)

A primeira fase constrói um ensemble de bancos de memória parciais via subamostragem aleatória de características em nível de patch extraídas dos dados de treinamento.

• Mecanismo: Em vez de usar um único banco de memória completo, o MeDS cria $B$ memórias parciais ($M_b$), cada uma contendo um subconjunto aleatório de características com uma razão de subamostragem $\rho$ (por exemplo, 0,1).
• Base Teórica: Os autores demonstram teoricamente que a subamostragem esparsa atua como um filtro passa-baixa. Sob razões de subamostragem apropriadas, a lacuna de distância esperada entre características normais e anômalas é maximizada. A média do ensemble dessas memórias esparsas reduz a variância e isola padrões nominais, efetivamente reduzindo o peso de amostras contaminadas em um nível grosseiro.
• Saída: Uma pontuação de anomalia de ensemble $s_M(x)$ que fornece separação robusta e em nível grosseiro entre patches normais e anômalos.

2. Destilação de Pontuação de Memória (Inicialização)

A segunda fase aborda a limitação de que as pontuações de memória dependem exclusivamente de características congeladas e pré-treinadas, que podem não capturar suficientemente padrões de anomalia específicos do domínio.

• Mecanismo: Uma rede estudante (rede de pontuação de reconstrução) é treinada via destilação no espaço de pontuação. O estudante aprende a minimizar a distância L2 entre suas próprias pontuações de reconstrução ($s_\theta$) e as pontuações de memória do ensemble ($s_M$).
• Benefício: Este processo aproveita o fenômeno de aprendizado inicial das redes neurais, onde as redes ajustam padrões dominantes (dados normais) antes de memorizar os raros (ruído). A destilação inicializa a rede estudante com um modelo que já aprendeu a separar padrões normais de anômalos, efetivamente removendo ruído das pontuações de memória.

3. Ajuste Fino com Seleção Progressiva (Refinamento)

A terceira fase resolve o trade-off entre parada antecipada (que preserva robustez, mas limita a precisão em nível de pixel) e treinamento estendido (que arrisca sobreajuste ao ruído).

• Mecanismo: A rede estudante é ajustada finamente em um subconjunto auto-selecionado dos dados de treinamento ($S_t$).
• Critério de Seleção: Em cada época, amostras são selecionadas com base em um critério $\eta_t(x)$ que interpola entre as pontuações destiladas iniciais e as pontuações de reconstrução atuais. Um limiar $\tau_t$, derivado da mediana e do Desvio Absoluto Mediano (MAD) das pontuações, é usado para filtrar amostras de alta pontuação (provavelmente anômalas).
• Relaxamento Progressivo: O limiar de seleção é progressivamente relaxado ao longo das iterações de treinamento, permitindo que o modelo incorpore mais amostras normais à medida que suas próprias estimativas de pontuação se tornam mais confiáveis. Isso cria um ciclo de feedback positivo, permitindo treinamento estendido para localização de alta granularidade sem sobreajuste ao ruído remanescente.

Contribuições Principais

1. Algoritmo Resiliente à Contaminação: A introdução do MeDS, que explora a esparsidade de ensembles de memória bootstrap como um filtro passa-baixa para isolar padrões nominais, seguido de refinamento via destilação e seleção auto-iterativa.
2. Validação Empírica Abrangente: Experimentos extensos em três benchmarks industriais (MVTecAD, VisA, Real-IAD) sob diversas proporções de ruído, incluindo estudos de ablação que dissecam o papel de cada componente e análises de sensibilidade a hiperparâmetros.
3. Insights Teóricos e Práticos: Uma prova teórica demonstrando como a subamostragem de memória em baixa razão produz um ponto de partida de alta recall sob forte contaminação, juntamente com uma demonstração da utilidade do MeDS para correção ativa de rótulos (identificação e remoção eficientes de amostras contaminadas com esforço humano mínimo).

Resultados Experimentais

O MeDS foi avaliado no MVTecAD, VisA e Real-IAD com proporções de ruído variando de 0% a 40%.

• Robustez: Diferentemente das linhas de base (por exemplo, SoftPatch, InReaCh, FUN-AD) que mostram quedas significativas de desempenho à medida que o ruído aumenta, o MeDS mantém desempenho estável em todos os níveis de ruído.
• Desempenho:
  • No MVTecAD, o MeDS alcançou 99,16% de AUROC em nível de imagem em uma proporção de ruído de 40%, superando significativamente as linhas de base state-of-the-art.
  • No VisA e Real-IAD, o MeDS estabeleceu desempenho state-of-the-art em métricas tanto em nível de imagem quanto em nível de pixel sob configurações ruidosas.
  • Quando aplicado como um framework a outras linhas de base (HVQ, Dinomaly, INP-Former), o MeDS melhorou consistentemente a robustez sob contaminação, incorrendo apenas em degradação marginal em dados limpos.
• Correção Ativa de Rótulos: Em experimentos com humanos no loop, o MeDS demonstrou qualidade superior de classificação (AUPRC) e reduziu a profundidade de inspeção, permitindo que anotadores identificassem todas as amostras contaminadas revisando uma fração significativamente menor do conjunto de dados comparado a métodos convencionais.

Significado e Alegações

O artigo alega que o MeDS representa uma formulação sistemática de seleção progressiva baseada em destilação de memória, adaptada especificamente para detecção de anomalias industrial. Seu significado principal reside em:

• Eliminar a necessidade de ajuste específico para proporção de ruído: O método alcança robustez através de uma ampla gama de níveis de contaminação sem exigir conhecimento da proporção de ruído.
• Preencher a lacuna entre robustez e precisão: Ao transitar de filtragem passa-baixa para ajuste fino com seleção de dados, o MeDS alcança tanto detecção em nível de imagem de alta qualidade quanto segmentação precisa em nível de pixel, uma capacidade frequentemente ausente em métodos existentes robustos a ruídos.
• Utilidade Prática: Além da detecção automatizada, o framework serve como uma ferramenta prática para curadoria de conjuntos de dados, permitindo identificação e remoção eficientes de amostras contaminadas em ambientes industriais.

Os autores reconhecem limitações, observando que o MeDS pode exibir desempenho marginalmente inferior em conjuntos de dados totalmente limpos comparado a algumas linhas de base devido ao mecanismo de seleção baseado em mediana, e incorre em sobrecarga computacional adicional para as etapas de construção de memória e destilação. No entanto, esses custos são justificados em cenários onde os dados de treinamento são provavelmente contaminados.