MAGIC: Few-Shot Mask-Guided Anomaly Inpainting with Prompt Perturbation, Spatially Adaptive Guidance, and Context Awareness

1. Declaração do Problema

No controle de qualidade industrial, a Geração de Anomalias com Poucos Exemplos (FSAG) é crítica para treinar modelos robustos de detecção de anomalias quando os dados defeituosos rotulados são escassos. As abordagens existentes geralmente se enquadram em duas categorias, ambas com limitações significativas:

• Geração de Anomalias Global (GAG): Métodos que geram anomalias e máscaras simultaneamente sem máscaras de entrada. Embora diversificadas, elas frequentemente corrompem as texturas de fundo das regiões normais, levando a imagens irreais.
• Geração de Anomalias Guiada por Máscara (MAG): Métodos que utilizam uma imagem normal e uma máscara fornecida pelo usuário para preencher anomalias. Embora preservem o fundo, elas sofrem com dois problemas principais:
  1. Baixa Diversidade In-Distribution: Modelos fortemente condicionados à imagem normal tendem a memorizar os poucos exemplos de treinamento, produzindo texturas e formas repetitivas (colapso de modo).
  2. Desalinhamento Semântico: As anomalias geradas frequentemente aparecem em localizações semanticamente implausíveis (por exemplo, um arranhão na cabeça de um parafuso quando a máscara foi colocada no eixo), levando a artefatos irreais.

O desafio central é gerar anomalias de alta fidelidade e diversas que adiram estritamente à máscara, enquanto garantem que a máscara seja colocada em uma região semanticamente plausível, tudo dentro de um cenário de poucos exemplos.

2. Metodologia: Framework MAGIC

Os autores propõem o MAGIC, um framework de preenchimento (inpainting) ajustado finamente construído sobre a base Stable Diffusion. Ele introduz três componentes complementares para abordar as limitações dos métodos MAG existentes:

A. Perturbação de Prompt Gaussiana (GPP)

• Objetivo: Aumentar a diversidade in-distribution e evitar o overfitting em cenários de poucos exemplos.
• Mecanismo: Em vez de aplicar ruído apenas na inferência (o que causa deslocamentos de distribuição), o GPP injeta ruído gaussiano ($\delta$) nos embeddings de tokens de anomalia (tanto para prompts de textura quanto para embeddings de máscara) durante treinamento e inferência.
• Efeito: Isso força o modelo a aprender uma variedade suave e contínua de anomalias realistas, em vez de memorizar pontos discretos de treinamento. Na inferência, a amostragem dessa variedade produz texturas e formas de máscara diversas que permanecem dentro da distribuição de dados alvo.

B. Guia Adaptativo Espacial (SAG)

• Objetivo: Equilibrar a diversidade textural na região da anomalia com a fidelidade do fundo na região normal.
• Mecanismo: O Guia Livre de Classificador (CFG) padrão aplica uma escala uniforme ($w$). O MAGIC aplica escalas CFG variáveis espacialmente:
  • Região Normal: Uma escala CFG alta e fixa ($w_d = 7.5$) é usada para preservar estritamente a consistência do fundo.
  • Região de Anomalia: Uma escala dinâmica ($w_a(t)$) é aplicada. Ela começa baixa ($w_m = 4$) durante os primeiros passos de difusão para encorajar a exploração de texturas diversas e aumenta gradualmente até $w_d$ via um cronograma de cosseno à medida que a remoção de ruído progride para refinar o realismo.
• Efeito: Isso permite que o modelo explore texturas de anomalia diversas no início, enquanto garante que a saída final seja realista e o fundo permaneça intocado.

C. Alinhamento de Máscara Consciente de Contexto (CAMA)

• Objetivo: Resolver o problema de máscaras serem colocadas em localizações semanticamente implausíveis.
• Mecanismo:
  1. Extração de Pontos Chave: De um par de anomalia de referência (dados de treinamento), três pontos-chave são selecionados: o centróide da máscara ($p_c$) e dois pontos de fronteira ($p_u, p_\ell$) em uma linha vertical.
  2. Correspondência Semântica: Esses pontos-chave são correspondidos à imagem normal alvo usando um modelo de correspondência semântica pré-treinado (GeoAware-SC) para gerar mapas de similaridade.
  3. Alinhamento: O novo centróide ótimo ($q^*_c$) é determinado encontrando o ponto na "linha de candidatos semânticos" (definida pelos pontos de fronteira correspondidos) que está dentro da máscara de primeiro plano do objeto e maximiza a pontuação de similaridade.
  4. Transformação: A máscara de entrada é traduzida para alinhar com $q^*_c$ e recortada ao primeiro plano do objeto.
• Efeito: Garante que as anomalias sejam geradas em localizações estrutural e semanticamente corretas (por exemplo, um arranhão na cabeça de um parafuso), prevenindo artefatos fora do objeto.

3. Principais Contribuições

1. Framework Inovador (MAGIC): O primeiro framework MAG de poucos exemplos que aborda simultaneamente baixa diversidade, baixa fidelidade e desalinhamento semântico.
2. Estratégia GPP: Demonstra que a perturbação deve ser aplicada durante treinamento e inferência para aprender uma variedade suave, evitando os problemas de deslocamento de distribuição vistos na injeção de ruído apenas na inferência.
3. Guia Adaptativo Espacial: Um mecanismo de controle inovador no tempo de inferência que desacopla a força de guia entre as regiões de anomalia e fundo, otimizando tanto a diversidade quanto a fidelidade.
4. Alinhamento Semântico de Máscara: Um módulo robusto (CAMA) que alavanca pistas geométricas e semânticas para realocar máscaras, melhorando significativamente a plausibilidade dos defeitos gerados.

4. Resultados Experimentais

Os autores avaliaram o MAGIC em quatro conjuntos de dados de referência: MVTec-AD, VisA, DAGM e MVTec 3D-AD.

• Qualidade e Diversidade de Geração:
  • O MAGIC alcançou as menores pontuações de Distância Kernel Inception (KID) em todos os conjuntos de dados, indicando alinhamento superior com a distribuição real de anomalias em comparação com as linhas de base (AnoDiff, AnoGen, DualAnoDiff, SeaS).
  • Embora o IC-LPIPS (métrica de diversidade) tenha sido ligeiramente inferior ao de algumas linhas de base, os autores argumentam que isso se deve à estrita adesão do MAGIC ao realismo in-distribution, evitando a "inflação artificial" da diversidade vista em métodos que geram artefatos out-of-distribution.
• Tarefas Downstream:
  • Classificação de Anomalias: O MAGIC melhorou a precisão de classificação em 13,81% em média sobre o estado da arte anterior (DualAnoDiff).
  • Detecção e Localização: O MAGIC estabeleceu novos resultados de estado da arte em métricas de nível de imagem (AUROC, AP, F1-max) e de nível de pixel (PRO) em todos os quatro conjuntos de dados.
• Estudos de Ablação:
  • A remoção do GPP levou a quedas significativas na diversidade e na precisão de classificação.
  • A remoção do SAG reduziu o equilíbrio entre diversidade e fidelidade.
  • A remoção do CAMA resultou em pontuações de alinhamento de máscara mais baixas e desempenho de classificação reduzido, confirmando a importância da colocação semântica.

5. Significado

O MAGIC representa um avanço significativo na detec de anomalias industrial ao resolver o problema da "escassez de dados" de forma mais eficaz do que as abordagens generativas anteriores.

• Impacto Prático: Ao gerar dados de treinamento diversos, de alta fidelidade e semanticamente corretos, o MAGIC permite que modelos downstream detectem e classifiquem defeitos com maior precisão, mesmo com muito poucos exemplos do mundo real.
• Insight Teórico: O artigo destaca a importância crítica da perturbação no tempo de treinamento para a aprendizagem de variedades em modelos de difusão e introduz um novo paradigma para controle adaptativo espacial em tarefas de preenchimento.
• Robustez: O método prova ser robusto em diversos tipos de objetos (de texturas 2D a objetos 3D) e tipos de anomalia, estabelecendo um novo marco para a geração de anomalias com poucos exemplos.