Unification of Closed-Open Industrial Detection Scenarios: New Large-Scale Benchmarks,Challenges and Baselines

Resumo Técnico: Unificação de Cenários de Detecção Industrial de Conjunto Aberto-Fechado

Definição do Problema
Apesar do sucesso notável dos Modelos Visuais-Linguísticos de Grande Escala (LVLMs) em tarefas visuais naturais, sua aplicação à detecção de defeitos industriais enfrenta duas limitações fundamentais. Primeiro, há uma escassez de conjuntos de dados industriais de grande escala que cubram diversas categorias de defeitos em múltiplos domínios; os conjuntos de dados existentes são tipicamente confinados a campos únicos (ex: PCBs ou têxteis) e operam em cenários de conjunto fechado, limitando a generalização para ambientes abertos. Segundo, os LVLMs atuais dependem fortemente de prompts manuais (pontos, caixas, máscaras) para segmentar objetos. Em cenas industriais complexas, caracterizadas por ruído e defeitos sutis, esses inputs manuais introduzem ruído subjetivo e carecem da interação texto-visual necessária para uma compreensão detalhada. Além disso, a simples transferência de conhecimento de cenas naturais para domínios industriais não consegue abordar as significativas mudanças na distribuição de características.

Metodologia
Para enfrentar esses desafios, os autores propõem um framework unificado compreendendo um novo benchmark e uma nova arquitetura de rede.

1. Benchmark MMIOC-1M:
   Os autores introduzem o Large-Scale Multi-Modal Industrial Open-Closed benchmark (MMIOC-1M). Este conjunto de dados contém mais de um milhão de amostras derivadas de 31 campos diferentes de defeitos industriais. Ele é estruturado hierarquicamente com 14 supercategorias, 29 cenas industriais e 351 subcategorias de defeitos. Diferente de conjuntos de dados anteriores, o MMIOC-1M suporta tanto tarefas de detecção de vocabulário aberto quanto de conjunto fechado. A construção envolveu um processo de três estágios: definição de atributos de defeito via triagem de especialistas e recuperação semântica via GPT-4V, triagem e calibração de imagens usando métodos de anotação adversária (GroundingDino e YOLOv8) combinados com verificação de especialistas, e a divisão de subconjuntos abertos-fechados baseada na similaridade semântica em espaços de embedding.

2. RTVPNet (Refined Text-Visual Prompt Network):
   Os autores propõem a RTVPNet, uma rede projetada para aprimorar as capacidades dos LVLMs em cenários industriais através de três inovações principais:

   • Projeção de Domínio Assistida por Especialista: Para reduzir a lacuna entre modelos de visão gerais e domínios industriais, a rede emprega uma arquitetura de dois fluxos. Um modelo especialista pré-treinado (ex: C2F) fornece supervisão a um backbone Mobile-SAM através de um módulo de projeção consciente do domínio. Isso envolve o mascaramento e a reconstrução de características para injetar conhecimento industrial, com o modelo especialista sendo atualizado dinamicamente durante o treinamento para garantir adaptação contínua.
   • Amostragem Esparsa Baseada em Energia (Prompts Visuais Refinados): Para eliminar a necessidade de prompts manuais e reduzir o ruído de fundo, a rede gera prompts visuais automaticamente. Ela calcula uma pontuação de incerteza para cada pixel baseada em uma função de energia derivada de características de segmentação de grão grosso. Uma estratégia de amostragem esparsa seleciona então pixels de alta frequência (aqueles com valores superiores à média em patches locais) para formar prompts visuais refinados, focando nos contornos dos objetos enquanto suprime o fundo irrelevante.
   • Interação Bidirecional Texto-Visual: A rede implementa um mecanismo de interação mútua. Na direção Texto-para-Visual, embeddings de texto guiam características visuais multiescala via um mecanismo de atenção Sigmoid para focar em localizações de defeitos. Na direção Visual-para-Texto, pontuações de similaridade pixel a pixel entre características de imagem e texto são usadas para aprimorar os embeddings de texto com detalhes espaciais, compensando a falta de informação visual em descrições de texto simples.

Principais Contribuições

• Benchmark MMIOC-1M: O primeiro benchmark de grande escala e unificado para detecção industrial aberta-fechada, oferecendo cobertura multi-domínio abrangente (mais de 1M de amostras, 351 subcategorias) e protocolos de avaliação padronizados para grounding visual, detecção de objetos e perguntas-respostas visuais.
• Baseline RTVPNet: Uma nova arquitetura adaptada para detecção industrial que integra projeção de domínio assistida por especialista, geração automática de prompt visual refinado e interação cross-modal bidirecional.
• Avaliação Abrangente: O estabelecimento de protocolos padronizados e experimentos extensos demonstrando a dificuldade do benchmark e a eficácia do método proposto nos datasets MMIOC-1M, LVIS e COCO.

Resultos Experimentais
Experimentos extensos demonstram que a RTVPNet atinge performance de estado da arte mantendo a eficiência computacional:

• Performance em Cena Aberta: No MMIOC-1M, a RTVPNet-S atinge um AP50 de 26,7%, superando a YOLO-World-S em 2,7% e a DOSOD-S em 3,4%, com significativamente menos parâmetros (76M) e GFLOPs (17). Ela também supera LVLMs maiores (ex: Qwen2.5-VL 3B) apesar de possuir aproximadamente 1/40 do número de parâmetros.
• Performance em Cena Fechada: Nas cenas fechadas do MMIOC-1M, a RTVPNet-L atinge um AP de 41,3%, superando modelos especialistas tradicionais (como YOLOv12L) em aproximadamente 15% e igualando ou superando grandes LVLMs como o Qwen3-VL 4B.
• Generalização: No dataset LVIS, a RTVPNet melhora o AP em 3,2% sobre a YOLO-World, validando sua capacidade de generalizar para cenários de vocabulário aberto. No COCO, ela melhora o AP multi-escala em aproximadamente 1% sobre o baseline YOLOv11.
• Análise Qualitativa: Visualizações t-SNE mostram que a RTVPNet produz clusters de características mais compactos e consistentes para categorias invisíveis comparado a outros métodos. Visualizações dos resultados de detecção confirmam robustez superior contra ruído de fundo e variações de escala tanto em cenários abertos quanto fechados.

Significância
O artigo afirma que o MMIOC-1M preenche uma lacuna crítica na pesquisa de LVLM industrial ao fornecer o primeiro benchmark unificado para cenários aberto-fechado, catalisando o desenvolvimento de modelos industriais de grande escala. A proposta RTVPNet oferece uma solução prática para os problemas de mudança de domínio e subjetividade de prompt, permitindo que os LVLMs se adaptem rapidamente a ambientes industriais com alta precisão e baixo custo computacional. O trabalho sugere que a combinação de transferência de domínio guiada por especialistas e interação texto-visual refinada é essencial para superar os desafios de similaridade inter-classe, diferenças intra-classe e distribuições de cauda longa inerentes à detecção de defeitos industriais.