Resumo Técnico: Visual Prompting encontra Detecção de Anomalias Baseada em Reconstrução de Características com Supervisão de Professor Duplo

1. Declaração do Problema

A Detecção de Anomalias (AD) não supervisionada alcançou um desempenho quase perfeito em benchmarks estabelecidos como o MVTec AD, frequentemente reportando pontuações de AUROC ao nível da imagem superiores a 99%. No entanto, o artigo argumenta que esses sucessos dependem fortemente de suposições de conjuntos de dados "estéreis": escala de objeto consistente, posicionamento centralizado, fundos homogêneos e pontos de vista fixos. Quando essas suposições são violadas em cenários industriais do mundo real (ex: iluminação variável, fundos poluídos ou objetos desalinhados), o desempenho degrada significativamente.

Para demonstrar essa fragilidade, os autores introduzem uma variante do MVTec Distorcido, onde os fundos são substituídos por texturas aleatórias. Experimentos mostram que métodos populares de AD sofrem quedas de desempenho variando de 1,7 a 16,4 pontos percentuais neste conjunto de dados distorcido, com o ruído de fundo nos cantos da imagem frequentemente alterando o ranking dos algoritmos. Isso destaca uma lacuna crítica entre o desempenho em benchmarks controlados e a aplicabilidade no mundo real.

2. Metodologia

O framework proposto é agnóstico à arquitetura, projetado para aprimorar métodos de reconstrução baseados em estudante-professor (especificamente utilizando o modelo Masked Multiscale Reconstruction (MMR) como backbone). O pipeline consiste em três fases modulares: Preparação, Treinamento e Inferência.

2.1 Pipeline de Máscaras de Visual Prompting (Remoção de Fundo)

Para mitigar a sensibilidade às variações de fundo, os autores introduzem um pipeline de pós-processamento que isola o objeto de interesse.

• Mecanismo: Utilizando o Segment Anything Model (SAM) e um framework de "Matcher" (baseado em correspondência de características escalável), o sistema gera máscaras de segmentação de primeiro plano/fundo (FG/BG).
• Processo: Um pequeno conjunto de imagens de referência é usado para criar máscas iniciais via Visual Prompting. Durante a inferência, estas referências guiam a geração automática de máscaras para as imagens de teste.
• Aplicação: A máscara FG gerada é aplicada ao mapa de escore de anomalia. Para garantir que defeitos de borda não sejam perdidos, os autores empregam um "método de mistura" que dilata a máscara FG e a corta no valor de pico do mapa de escore bruto, equilibrando a discriminação nítida com a cobertura total de defeitos.

2.2 Abordagem de Professor Duplo de Preservação de Conhecimento

Métodos padrão de estudante-professor utilizam um professor pré-treinado congelado (ex: ImageNet) para guiar o estudante. Os autores argumentam que isso limita a adaptabilidade a domínios alvo onde as características pré-treinadas podem ser subótimas.

• O Desafio: Descongelar o professor de forma ingênua leva ao "colapso de características", onde o modelo converge para uma solução trivial para minimizar a distância entre o estudante e o professor.
• A Solução: Um framework de Professor Duplo (Dual-Teacher) é introduzido:
  1. Professor Fraco (Weak Teacher): Uma cópia não congelada do modelo pré-treinado que se adapta ao domínio alvo.
  2. Professor Forte (Strong Teacher): Uma cópia congelada do modelo pré-treinado que atua como um regularizador.
• Função de Perda: A perda total combina a perda de Destilação de Conhecimento (KD) entre o Estudante e o Professor Fraco ($L_{S\_WT}$) e a perda de KD entre o Professor Fraco e o Professor Forte ($L_{WT\_ST}$).
  $$L_{total} = L_{S\_WT} + \lambda L_{WT\_ST}$$
  O hiperparâmetro $\lambda$ controla a flexibilidade do Professor Fraco. Um $\lambda$ alto restringe a adaptação; um $\lambda$ baixo permite mais flexibilidade, mas corre o risco de colapso. O Professor Forte é desativado durante a inferência para economizar tempo de computação.

2.3 Dados de Treinamento Sintéticos via Modelos de Difusão

Para aumentar a generalização e atuar como um mecanismo de regularização, os autores aumentam o conjunto de treinamento com imagens sintéticas.

• Geração: Um modelo de difusão pré-treinado é ajustado (fine-tuned) no conjunto de treinamento do domínio alvo para amostrar imagens sintéticas que se assemelham de perto às amostras "boas" originais em aparência e contexto.
• Estratégia: Ao contrário de métodos que geram anomalias sintéticas (transformando AD em uma tarefa supervisionada), esta abordagem gera imagens normais de alta qualidade. Isso aumenta a diversidade de dados e evita o overfitting à distribuição de treinamento original sem introduzir viés de padrões de defeitos potencialmente irreais.

3. Principais Contribuições

O artigo descreve três contribuições primárias:

1. Pipeline de Visual Prompting: Um método para isolar objetos usando máscaras FG/BG geradas automaticamente, reduzindo a sensibilidade ao ruído de fundo e melhorando a robustez do mapa de escore.
2. Supervisão de Professor Duplo: Um mecanismo para descongelar o professor em modelos baseados em reconstrução sem sofrer colapso de características, melhorando assim a adaptabilidade ao domínio e mitigando o viés de pré-treinamento.
3. Aumento de Dados Baseado em Difusão: Uma estratégia para gerar imagens normais sintéticas para enriquecer a diversidade dos dados de treinamento e atuar como um regularizador, aumentando as capacidades de generalização.

4. Resultados Experimentais

O framework foi avaliado no conjunto de dados AeBAD-S (palhetas de motores aeroespaciais com iluminação e fundos variáveis) e no conjunto de dados MVTec.

4.1 Desempenho em AeBAD-S

O framework proposto (MMR+++) alcançou resultados de estado da arte no desafiador conjunto de dados AeBAD-S:

• AUROC ao nível da Imagem: 88,2%, superando o SOTA anterior (MiniMaxAD com 87,0%) e o backbone MMR (com 3,5%).
• AUPRO ao nível do Pixel: 90,2%, excedendo o SOTA anterior (89,1%) em 1,1%.
• Estudos de Ablação:
  • Dados Sintéticos: O desempenho ideal foi encontrado com uma proporção de 1:3 de imagens reais para sintéticas. O treinamento puramente sintético ainda superou a maioria das linhas de base.
  • Professor Duplo: O pico de desempenho ocorreu em valores intermediários de $\lambda$. À medida que o volume de dados sintéticos aumentava, o $\lambda$ ideal diminuía, sugerindo que os dados sintéticos fornecem regularização implícita.
  • Remoção de Fundo: O método de mistura (máscaras dilatadas + brutas) produziu o melhor equilíbrio, recuperando os escores de AUPRO perdidos pelas máscaras brutas, mantendo simultaneamente um alto AUROC.

4.2 Desempenho em MVTec

No conjunto de dados controlado MVTec, o framework mostrou melhorias progressivas sobre o baseline. No entanto, os autores observaram que os dados sintéticos às vezes prejudicaram o desempenho no MVTec. A inspeção revelou que algumas imagens "boas" sintéticas pareciam "semelhantes a defeitos", e dados sintéticos desalinhados impactaram negativamente o ajuste fino do professor não congelado. Isso sugere que os benefícios do aumento de dados sintéticos são mais pronunciados em domínios complexos e menos controlados.

5. Significância e Alegações

O artigo afirma que os métodos de AD estabelecidos dependem fortemente de ambientes controlados, limitando sua utilidade no mundo real. O framework proposto aborda isso introduzindo uma abordagem modular e agnóstica à arquitetura que aumenta a robustez contra:

• Variações de fundo (via Visual Prompting).
• Mudanças de domínio e viés de pré-treinamento (via supervisão de Professor Duplo).
• Escassez de dados e overfitting (via aumento baseado em Difusão).

Os autores enfatizam que suas melhorias são independentes e podem ser aplicadas à maioria dos métodos de reconstrução baseados em destilação de conhecimento. Os resultados em AeBAD-S demonstram que essas modificações podem fechar significativamente a lacuna entre o desempenho de benchmarks e a aplicabilidade no mundo real, alcançando escores de detecção e segmentação de estado da arte em condições desafiadoras.