MIRAGE: Model-agnostic Industrial Realistic Anomaly Generation and Evaluation for Visual Anomaly Detection

Resumo Técnico: MIRAGE

1. O Problema

A Detecção Visual de Anomalias (VAD) industrial é tradicionalmente treinada apenas com amostras normais (paradigma de uma única classe), onde o modelo aprende a representação da normalidade e sinaliza desvios. Embora eficaz, o desempenho melhora significativamente quando dados anômalos limitados estão disponíveis. No entanto, em cenários industriais reais, defeitos são raros e difíceis de obter.

As abordagens existentes para geração de anomalias sintéticas enfrentam limitações práticas severas:

• Métodos de "Copiar e Colar" (ex: DRAEM, GLASS): Produzem anomalias visualmente irreais (ruído de Perlin, texturas misturadas).
• Métodos Baseados em Difusão (ex: RealNet): Exigem treinamento de um modelo DDPM específico por categoria, o que é computacionalmente caro e não escala bem.
• Métodos Few-Shot (ex: AnomalyDiffusion): Requerem exemplos reais de defeitos para treinamento, contradizendo o objetivo de lidar com a escassez de dados.
• Métodos Zero-Shot Atuais (ex: AnomalyAny): Embora não exijam dados anômalos, dependem fortemente de GPUs de alto desempenho (30GB+ VRAM), têm tempos de geração longos e são acoplados a arquiteturas específicas de difusão, dificultando atualizações para modelos mais recentes.

2. Metodologia

O MIRAGE (Model-agnostic Industrial Realistic Anomaly Generation and Evaluation) propõe um pipeline totalmente automatizado, agnóstico ao modelo e sem necessidade de treinamento, composto por três etapas principais:

1. Geração de Imagens Anômalas (Black-Box via API):

   • Em vez de treinar modelos, o pipeline acessa modelos generativos (atualmente o Gemini 2.5 Flash Image, conhecido internamente como "Nano Banana") via chamadas de API.
   • Um Modelo de Linguagem Visual (VLM) gera automaticamente prompts de defeitos realistas baseados apenas em imagens normais de referência, eliminando a necessidade de engenharia manual de prompts ou conhecimento de domínio especializado.
   • O modelo generativo cria imagens fotorealistas com defeitos específicos, preservando o fundo, iluminação e textura originais.

2. Filtragem de Qualidade Baseada em CLIP:

   • Para garantir que as imagens geradas correspondam ao defeito solicitado, um filtro leve baseado no CLIP avalia a semelhança entre imagem e texto.
   • Três condições são verificadas para reter a imagem: a imagem anômala deve alinhar-se melhor com o prompt de anomalia do que a imagem normal; deve alinhar-se melhor com o prompt de anomalia do que a imagem normal alinha-se com o prompt de anomalia; e deve manter coerência semântica. Imagens falhas são descartadas.

3. Geração de Máscaras (Detecção de Mudança Semântica Dual-Branch):

   • Para criar máscaras de pixel-level sem treinamento, o sistema utiliza uma abordagem de dupla ramificação para detecção de mudança semântica:
     • Ramo Semântico: Utiliza o Grounding DINO condicionado ao texto do defeito para capturar a relevância semântica da anomalia.
     • Ramo Estrutural: Utiliza o YOLOv26-L-Seg para detectar mudanças estruturais finas e incondicionais entre a imagem normal e a anômala.
   • A fusão multiplicativa (produto elemento a elemento) dos mapas de calor de ambos os ramos gera uma máscara final precisa, suprimindo falsos positivos.

3. Principais Contribuições

1. Pipeline de Geração Agnóstico ao Modelo: Uma solução "plug-and-play" que trata o modelo generativo como uma caixa preta via API. Isso permite atualizações futuras trocando apenas o endpoint da API, sem reimplantação ou retreinamento.
2. Geração de Máscaras sem Treinamento: Um módulo leve que combina Grounding DINO e YOLOv26 para gerar máscaras de alta precisão (AUROC de 0,92) sem necessidade de dados de calibração extensivos ou treinamento supervisionado.
3. Benchmark Abrangente: A primeira avaliação comparativa extensa de métodos de geração de anomalias, incluindo métricas automáticas (IS, IC-LPIPS), desempenho em tarefas downstream (segmentação com U-Net) e um estudo de percepção humana com 31 participantes e 1.550 votos.
4. Dataset de Grande Escala: Liberação pública de um dataset contendo mais de 13.000 pares imagem-máscara (500 pares por categoria) cobrindo todas as classes do MVTec AD e VisA, junto com todos os prompts de geração e o código do pipeline.

4. Resultados

O MIRAGE foi avaliado nos benchmarks MVTec AD e VisA, comparado a GLASS, RealNet e AnomalyAny:

• Qualidade Visual e Percepção Humana: O MIRAGE alcançou a pontuação TrueSkill mais alta (28,33) entre os métodos gerados, ficando a apenas 0,28 pontos das imagens reais (28,61). Na taxa de vitória em comparações pareadas, venceu 67,2% das vezes, superando significativamente o AnomalyAny (59,2%) e os demais.
• Métricas Automáticas: Obteve o maior Inception Score (IS) médio (2,68) e o melhor IC-LPIPS (0,38), indicando alta qualidade visual e alinhamento perceptual com defeitos reais.
• Desempenho em Tarefas Downstream: Ao treinar uma U-Net com os dados sintéticos do MIRAGE, o modelo alcançou o melhor desempenho em segmentação de anomalias em ambos os datasets (AUROC de pixel média de 0,92 no MVTec AD e 0,92 no VisA), superando todos os concorrentes.
• Eficácia do Filtro CLIP: A aplicação do filtro de qualidade aumentou consistentemente o AUROC de nível de imagem em ambas as plataformas, removendo amostras mal alinhadas.

5. Significado e Impacto

O MIRAGE representa um avanço significativo para a inspeção industrial ao democratizar o acesso a dados de anomalias sintéticas de alta qualidade.

• Acessibilidade: Elimina a barreira de hardware (não requer GPUs caras) e a barreira de dados (não precisa de defeitos reais).
• Escalabilidade e Futuro: Sua arquitetura agnosta permite que a comunidade se beneficie imediatamente de novos modelos generativos (como versões mais recentes do Gemini ou outros) apenas alterando a API, algo impossível com métodos baseados em difusão fixa.
• Reprodutibilidade: A liberação do dataset massivo e do código resolve um gargalo crítico na pesquisa de VAD, permitindo que pesquisadores foquem em tarefas de segmentação supervisionada sem precisar gerar dados do zero.

Em suma, o MIRAGE estabelece um novo padrão para a geração de anomalias industriais, combinando realismo visual superior, precisão de máscara e facilidade de implementação prática.