Large-Scale Universal Defect Generation: Foundation Models and Datasets

1. O Problema

A detecção de anomalias é crucial em aplicações de inspeção industrial, diagnóstico médico e segurança. No entanto, a escassez de amostras anormais no mundo real dificulta o treinamento de detectores supervisionados. Para contornar isso, a geração de defeitos/anomalias sintéticos tem sido utilizada.

O artigo identifica limitações críticas nos métodos existentes:

• Dependência de Few-Shot Learning: A maioria dos métodos atuais depende de poucos exemplos reais para treinar modelos específicos por categoria de defeito. Isso leva ao overfitting (sobreajuste) em categorias específicas e à baixa generalização para novos objetos ou cenários.
• Falta de Dados em Grande Escala: Não existem conjuntos de dados massivos e pareados (imagem normal + imagem defeituosa + máscara + descrição) que permitam o treinamento de modelos fundamentais universais.
• Inconsistência e Realismo: Devido à variação significativa na escala e morfologia dos defeitos, os métodos atuais frequentemente geram defeitos que não são realistas, não mantêm a consistência de categoria ou falham em se integrar perfeitamente ao contexto da imagem de destino.
• Limitações de Modelos Gerais: Modelos de edição de imagem pré-treinados (como os baseados em texto) possuem conhecimento limitado sobre defeitos industriais específicos, resultando em sínteses imprecisas mesmo com prompts detalhados.

2. Metodologia Proposta

Os autores propõem uma solução composta por três pilares principais: um novo conjunto de dados, um modelo de fundação e uma estratégia de treinamento inovadora.

A. O Conjunto de Dados UDG (Universal Defect Dataset)

• Escala e Composição: O UDG contém 300.000 quadrupletos (imagem normal, imagem anormal, máscara de defeito, legenda/descrição).
• Diversidade: Abrange 50 conjuntos de dados públicos, cobrindo domínios industriais, naturais e médicos, mapeando 269 tipos originais de defeitos em 28 categorias padronizadas.
• Pipeline Multi-Agente: A construção do dataset foi automatizada através de três agentes de IA:
  1. Agente de Preenchimento (Inpainting): Usa um modelo baseado no Flux.1-Fill-dev para recuperar a versão "normal" de uma imagem defeituosa dada a máscara.
  2. Agente de Legenda (Captioner): Utiliza Grandes Modelos de Linguagem Multimodal (MLLMs) avançados para gerar descrições estruturadas e granulares (do nível da imagem ao nível do defeito) baseadas no triplo (normal-anormal-máscara).
  3. Agente Verificador: Filtra os dados de baixa qualidade, verificando a normalidade da imagem recuperada, a consistência da legenda e a existência real do defeito.

B. O Modelo UniDG (Universal Defect Generation)

O UniDG é um modelo de fundação universal que permite a geração de defeitos baseada em referência (transferência de defeito de uma imagem para outra) e edição baseada em instruções de texto, sem necessidade de ajuste fino (fine-tuning) por categoria.

• Arquitetura: Baseia-se em MM-DiT (Multimodal Diffusion Transformer), que utiliza atenção multimodal para fundir condições de referência e texto.
• Estratégia de Edição de Contexto de Defeito (Defect-Context Editing):
  • Recorte Adaptativo: Ajusta o recorte do defeito de referência para preservar detalhes de alta frequência, especialmente para defeitos pequenos.
  • Entrada Diptíca Estruturada: A entrada do modelo é um diptíco (duas imagens lado a lado): a metade esquerda contém o defeito de referência recortado e a metade direita contém a imagem de destino com a região alvo mascarada.
  • Fusão Multimodal: O modelo funde as características semânticas do defeito de referência (extraídas via SigLIP) e as instruções de texto com a imagem de destino através de mecanismos de atenção.

C. Estratégia de Treinamento em Duas Etapas

Para equilibrar diversidade e consistência, os autores propõem:

1. Diversity-SFT (Ajuste Fino Supervisionado para Diversidade): O modelo é treinado com três distribuições de amostragem:
   • Preenchimento de Defeito em Objeto Único: Mesma imagem de referência e destino.
   • Amostragem Cruzada Intra-Defeito em Objeto Único: Diferentes imagens do mesmo objeto e tipo de defeito.
   • Amostragem Cruzada Intra-Defeito Multi-Objeto: Transferência de defeitos entre objetos diferentes, mas da mesma categoria.
2. Consistency-RFT (Ajuste Fino por Reforço para Consistência): Utiliza Flow-GRPO (Group Relative Policy Optimization) para alinhar o modelo a sinais de preferência. Dois modelos de recompensa são utilizados:
   • Defect-Und-Reward: Um modelo leve baseado em MLLM que avalia a aderência à referência, consistência com o fundo, razoabilidade e qualidade visual.
   • Defect-Recog-Reward: Modelos de classificação e segmentação treinados no UDG para garantir que o defeito gerado pertença à categoria correta e esteja na região correta.

3. Principais Contribuições

1. UDG Dataset: O primeiro conjunto de dados em grande escala (300k amostras) com quadrupletos normal-anormal-máscara-legenda, cobrindo múltiplos domínios, essencial para pesquisa em detecção e geração de anomalias.
2. UniDG Model: Um modelo de fundação universal que supera a necessidade de treinar modelos separados para cada tipo de defeito, permitindo síntese realista e consistente sem ajuste fino por categoria.
3. Estratégia de Treinamento Híbrida: A combinação de SFT diversificado e RFT baseado em recompensa para otimizar tanto a variedade de defeitos quanto a fidelidade à referência.
4. Desempenho Superior: Resultados que superam métodos few-shot e modelos de inserção de imagem proprietários em qualidade de síntese e tarefas downstream.

4. Resultados Experimentais

Os experimentos foram conduzidos nos conjuntos de dados MVTec-AD e VisA.

• Qualidade de Geração: O UniDG (especialmente a versão RFT) superou significativamente os baselines (como AnoDiff, SeaS, AnyDoor) em métricas baseadas em MLLM (Aderência à Referência, Consistência, Razoabilidade e Qualidade).
• Detecção e Localização de Anomalias:
  • Em tarefas de detecção e localização de classe única, o UniDG alcançou os melhores resultados em AUROC e AP (ex: 98.4% de AUROC-Imagem no MVTec-AD).
  • Em segmentação semântica de múltiplas classes, o UniDG-RFT superou os métodos anteriores em margens amplas, com um ganho de 20.5% no FG-mIoU (Intersection over Union de primeiro plano) em comparação com o AnoGen.
• Generalização: O modelo demonstrou forte capacidade de transferência de defeitos entre objetos diferentes (ex: transferir um risco de um objeto para outro), algo onde métodos few-shot tradicionais falham.
• Eficiência: O modelo mantém uma inferência eficiente (28 iterações) e não requer um repositório offline massivo ou MLLMs externos durante a inferência, ao contrário de métodos como o Anomagic.

5. Significado e Impacto

Este trabalho representa um avanço significativo no campo da visão computacional industrial:

• Mudança de Paradigma: Transita de abordagens específicas por categoria (few-shot) para modelos de fundação universais capazes de lidar com a diversidade de defeitos sem re-treinamento constante.
• Solução para Escassez de Dados: Oferece uma solução robusta para o problema da falta de dados anormais, permitindo o treinamento de detectores mais precisos e generalizáveis.
• Padrão de Qualidade: Estabelece novos padrões de realismo e consistência na geração de defeitos sintéticos, validados tanto por métricas automáticas quanto por avaliação humana e downstream.
• Acesso Aberto: A disponibilização do dataset UDG e do código do modelo UniDG democratiza o acesso a dados de alta qualidade para a comunidade de pesquisa, fomentando avanços futuros em detecção de anomalias e edição de imagens.

Em resumo, o UniDG resolve o dilema entre generalização e fidelidade na geração de defeitos, criando um ecossistema escalável para a inspeção industrial automatizada.