Resumo Técnico: Avanços na Detecção de Defeitos em Superfícies Metálicas via Pré-treinamento Guiado por Anomalias

1. Declaração do Problema

A detecção de defeitos em superfícies metálicas é crítica para o controle de qualidade industrial, mas enfrenta desafios severos devido à escassez de dados e à alta variabilidade. Em cenários do mundo real, como na produção de tubos de aço, os defeitos frequentemente constituem menos de 0,1% das imagens diárias, levando a um desequilíbrio de classes extremo e à coleta de dados custosa.

As soluções existentes enfrentam um "dilema crítico":

• Pré-treinamento em Imagens Naturais: Modelos pré-treinados em grandes conjuntos de dados naturais (por exemplo, ImageNet, COCO) sofrem de uma lacuna de domínio significativa quando aplicados a imagens industriais.
• Aprendizado Auto-supervisionado (SSL) Ingênuo: Métodos SSL padrão (aprendizado contrastivo ou reconstrução) aplicados a dados industriais do domínio frequentemente falham. Os objetivos de aprendizado existentes lutam para distinguir padrões de defeitos sutis e de baixo contraste de ruído de fundo complexo, texturas e iluminação variável. Consequentemente, simplesmente ampliar conjuntos de dados do domínio sem orientação específica produz resultados subótimos, às vezes com desempenho inferior às linhas de base do ImageNet.
• Inicialização do Detector: A maioria das abordagens SSL pré-treina apenas o backbone do modelo, deixando a cabeça do detector (pescoço e cabeça) inicializada aleatoriamente. Esse desalinhamento degrada o desempenho, particularmente em cenários de escassez de dados.

2. Metodologia: Pré-treinamento Auto-supervisionado Guiado por Anomalias (AGSSP)

Os autores propõem o AGSSP, um paradigma de pré-treinamento em duas etapas que guia explicitamente a aprendizagem de representações usando priores de anomalia. O framework opera em um conjunto de dados industrial não rotulado em grande escala (120.000 imagens, 61 categorias) e consiste em três componentes principais:

A. Detecção de Anomalias Aprimorada por Conhecimento (KeAD)

Para gerar os sinais de supervisão necessários (mapas de anomalia) sem rótulos manuais, os autores desenvolveram o KeAD, um método não supervisionado baseado no modelo WinCLIP multimodal e de poucos exemplos (few-shot).

• Engenharia de Prompt: Diferentemente de prompts genéricos (por exemplo, "Danificado"), o KeAD utiliza descrições de texto detalhadas e específicas para defeitos, geradas via GPT-4o e refinadas por conhecimento especializado (por exemplo, "Uma foto de {objeto} com defeito do tipo {tipo de defeito}, que aparece como {características do defeito}").
• Melhoria Visual: Para melhorar a localização espacial, o método integra a Cirurgia Clip (atenção V-V), que substitui os componentes Query e Key pelos componentes Value no mecanismo de atenção. Isso captura informações espaciais locais de forma mais eficiente do que a abordagem de janela deslizante do WinCLIP.
• Saída: O KeAD gera mapas de calor de anomalia pixel a pixel (modos zero-shot e few-shot) indicando regiões potenciais de defeito.

B. Etapa 1: Pré-treinamento do Backbone Guiado por Mapa de Anomalia (AGBP)

Esta etapa destila conhecimento dos mapas de anomalia gerados no backbone do modelo.

• Função de Perda de Destilação: Os mapas de características de alto nível do backbone são alinhados com os mapas de anomalia usando uma perda L2 (para arquiteturas ViT) ou perda de distância cosseno (para arquiteturas heterogêneas como ResNet).
• Estratégia: Características de baixo nível são retidas de modelos pré-treinados padrão do ImageNet (pois capturam padrões universais), enquanto características de alto nível são guiadas pelos mapas de anomalia para focar em regiões salientes de defeito.
• Integração: Esta perda de destilação ($L_{distill}$) é combinada com tarefas de pré-treinamento existentes (por exemplo, classificação, MoCov3, SimMIM) por meio de uma soma ponderada ($L_{total} = L_{distill} + \lambda L_{task}$).

C. Etapa 2: Pré-treinamento do Detector Guiado por Caixa de Anomalia (AGDP)

Esta etapa aborda o desalinhamento da cabeça do detector pré-treinando-a usando pseudo-rótulos derivados dos mapas de anomalia.

• Geração de Pseudo-caixas: Imagens com altas pontuações de anomalia são identificadas. Uma estratégia de thresholding dinâmica (adaptada por categoria de objeto) converte mapas de anomalia em máscaras binárias. Componentes conectados são extraídos e as 10 principais caixas delimitadoras com as maiores pontuações de anomalia são retidas como pseudo-rótulos de defeito.
• Treinamento: O detector (pescoço e cabeça) é treinado nessas pseudo-caixas enquanto o backbone permanece congelado. Isso permite que o modelo aprenda o conceito de "objetos anômalos" e alinhe os componentes de detecção com a tarefa a jusante.

3. Contribuições Principais

1. Framework AGSSP: Um paradigma de pré-treinamento em duas etapas que utiliza mapas de anomalia para alinhar holisticamente tanto a representação do backbone quanto o alinhamento da tarefa do detector, melhorando significativamente o desempenho em configurações de escassez de dados.
2. Método KeAD: Uma técnica de detecção de anomalias aprimorada por conhecimento que alavanca descrições detalhadas de defeitos e atenção V-V para gerar mapas de anomalia de alta qualidade para pré-treinamento guiado, alcançando forte desempenho em poucos exemplos.
3. Conjunto de Dados em Grande Escala: A coleta e liberação de um conjunto de dados industrial não rotulado em grande escala contendo 120.000 imagens em 61 categorias, juntamente com dois conjuntos de dados de defeitos em superfícies metálicas rotulados em nível de pixel em pequena escala (Billete de Fundição e Tubo de Aço) para validação.
4. Validação Abrangente: Experimentos extensivos demonstrando que o AGSSP supera as linhas de base do ImageNet e do COCO em múltiplos backbones (CSPDarknet, ResNet, Swin-Base) e detectores (YOLOv8, Faster R-CNN, DINO).

4. Resultados Experimentais

Os autores avaliaram o AGSSP em quatro conjuntos de dados de defeitos em superfícies metálicas (Billete de Fundição, Tubo de Aço, GC10-Mini, GC10-DET) e um conjunto de dados não metálico (Defeitos em Tecido).

• Ganhos de Desempenho: O AGSSP melhorou consistentemente as métricas de detecção. Comparado a modelos baseados no ImageNet, alcançou uma melhoria de até 10% no mAP@0.5 e 11,4% no mAP@0.5:0.95.
• Aprendizado de Poucos Exemplos: No cenário extremo de poucos exemplos (Billete de Fundição-Mini50, 50 amostras de treinamento), o AGSSP produziu um ganho massivo de +41,0% no mAP@0.5 e +24,5% no mAP@0.5:0.95 sobre a linha de base SimMIM.
• Generalização Cross-Domínio: No conjunto de dados não metálico de Defeitos em Tecido, o AGSSP melhorou o desempenho em +3,2% (mAP@0.5) e +5,2% (mAP@0.5:0.95), demonstrando generalização robusta.
• Estudos de Ablação:
  • KeAD: Descrições detalhadas de defeitos e atenção V-V melhoraram significativamente a precisão da detecção de anomalias (por exemplo, 93,5% de AUROC em nível de imagem no Tubo de Aço).
  • Estratégia de Pré-treinamento: O pré-treinamento tanto do backbone quanto do detector (AGSSP) superou consistentemente o pré-treinamento apenas do backbone (AGBP) ou métodos SSL padrão.
  • Eficiência: O método mantém capacidades de inferência em tempo real (por exemplo, YOLOv8s com AGSSP alcança 94,5 FPS) enquanto iguala ou excede a precisão de modelos maiores como o YOLOv12s.

5. Significado e Alegações

O artigo afirma que o AGSSP resolve a lacuna de domínio e o desalinhamento de objetivos inerentes às estratégias de pré-treinamento atuais para detecção de defeitos industriais. Ao guiar explicitamente o modelo a focar em regiões anômalas por meio de uma abordagem unificada e guiada por anomalias, o método permite a aprendizagem de representações robustas e relevantes para o domínio sem a necessidade de anotações custosas de caixas delimitadoras durante a fase de pré-treinamento.

Os autores enfatizam que, enquanto o SSL padrão do domínio frequentemente falha devido à incapacidade de distinguir defeitos sutis de ruído, sua abordagem guiada por anomalias direciona com sucesso a atenção do modelo para características salientes de defeito. O framework é apresentado como agnóstico à arquitetura e capaz de ser integrado com arquiteturas especializadas existentes, oferecendo uma solução escalável para o controle de qualidade industrial onde os dados são escassos e desequilibrados.

Disponibilidade: Todo o código, modelos pré-treinados e conjuntos de dados estão publicamente disponíveis na página do projeto fornecida no artigo.