UniSpector: Towards Universal Open-set Defect Recognition via Spectral-Contrastive Visual Prompting

Resumo Técnico: UniSpector

1. O Problema

Na inspeção industrial de massa, a detecção de defeitos é crucial para o controle de qualidade. No entanto, os sistemas existentes enfrentam duas limitações principais:

• Suposição de Conjunto Fechado (Closed-set): A maioria dos detectores supervisionados assume um conjunto fixo de categorias de defeitos. Quando novos tipos de defeitos surgem (comuns em ambientes industriais dinâmicos), esses modelos falham e exigem re-treinamento custoso e reetiquetagem de dados.
• Colapso de Embeddings em Prompting Visual: Métodos de prompting visual (que usam exemplos visuais para localizar defeitos) existentes sofrem de "colapso de embeddings". Devido à alta variância intra-classe (defeitos da mesma classe com aparências muito diferentes devido a rotação, iluminação, etc.) e diferenças inter-classe sutis, os embeddings dos prompts tendem a se aglomerar sem estrutura semântica, tornando difícil distinguir defeitos novos ou finos.

Além disso, métodos baseados em texto são pouco confiáveis em inspeção industrial, pois defeitos sutis são difíceis de descrever verbalmente, mesmo para especialistas.

2. Metodologia: UniSpector

O UniSpector é um novo framework de prompting visual projetado para detecção e segmentação de defeitos em conjunto aberto (open-set). Em vez de apenas fazer correspondência simples entre prompt e região, o método foca no design principiado de uma topologia de prompt semanticamente estruturada e transferível.

O sistema baseia-se na arquitetura DETR e possui três componentes principais:

A. Spatial-Spectral Prompt Encoder (SSPE)

• Objetivo: Extrair representações robustas que sejam invariantes à orientação e capturam detalhes finos.
• Funcionamento:
  • Transforma o prompt visual (região do defeito) para o domínio da frequência usando a Transformada Discreta de Fourier (DFT).
  • Calcula um espectro radial (média das magnitudes em anéis concêntricos de frequência), eliminando o viés direcional e tornando a representação invariante a rotações.
  • Funde este código espectral com um código espacial extraído via cross-attention mascarada.
• Benefício: Suprime a variância intra-classe causada por rotações e realça características de textura sutis que o domínio de pixels puro ignora.

B. Contrastive Prompt Encoder (CPE)

• Objetivo: Regularizar explicitamente o espaço de embeddings dos prompts para criar uma topologia angular semanticamente organizada.
• Funcionamento:
  • Utiliza uma função de perda de contraste com margem angular (inspirada no ArcFace).
  • Força a compactação de instâncias da mesma classe (intra-classe) e a separação angular entre classes diferentes (inter-classe).
• Benefício: Cria um espaço onde defeitos semanticamente relacionados ficam próximos angularmente, enquanto defeitos distintos estão separados. Isso permite que defeitos não vistos (unseen) sejam posicionados semanticamente corretamente no espaço, em vez de projeções arbitrárias.

C. Prompt-guided Query Selection (PQS)

• Objetivo: Selecionar dinamicamente as consultas (queries) de objetos alinhadas com o prompt visual.
• Funcionamento:
  • Calcula a similaridade entre os tokens de visão e os protótipos de prompts.
  • Utiliza uma seleção Top-K diferenciável baseada em Gumbel-Softmax para escolher quais tokens de visão se tornarão consultas de objetos.
• Benefício: Elimina a dependência de consultas aprendidas estáticas (que tendem a viés de classes vistas) e adapta as consultas às características do exemplo de prompt fornecido.

3. Contribuições Principais

1. Identificação do Problema Estrutural: O trabalho identifica que tratar prompts apenas como representações implícitas leva ao colapso de embeddings em cenários industriais devido à alta variância intra-classe.
2. Novo Framework (UniSpector): Propõe uma arquitetura que combina codificação espectral (SSPE) e regularização contrastiva angular (CPE) para criar um espaço de prompts transferível e discriminativo.
3. Benchmark Inspect Anything (InsA): Introduz o primeiro benchmark para detecção e localização de defeitos em conjunto aberto baseado em prompting visual. O InsA avalia generalização intra-domínio (novos defeitos visualmente similares) e inter-domínio (materiais e condições de imagem diferentes).

4. Resultados Experimentais

Os experimentos foram realizados no benchmark InsA, agregando sete conjuntos de dados industriais públicos (GC10, MagneticTile, Real-IAD, MVTec, 3CAD, VISION, VisA).

• Desempenho Superior: O UniSpector superou significativamente todas as linhas de base (incluindo GroundingDINO, YOLO-World, DINOv, T-Rex2 e YOLOE).
  • In-domain: Ganho de 19,7% em AP50 de detecção e 15,8% em AP50 de segmentação em relação aos melhores baselines.
  • Cross-domain: Demonstrou robustez superior na transferência para novos domínios, onde métodos baseados em texto falharam quase completamente.
• Análise de Embeddings: Visualizações (PCA 3D) mostraram que o UniSpector cria clusters compactos por classe e separação angular clara, ao contrário de métodos como DINOv, que apresentam embeddings dispersos e sem estrutura.
• Eficiência de Dados: O modelo estabiliza o desempenho com apenas 1 a 3 imagens de prompt por classe, tornando-o prático para cenários industriais com poucos exemplos.
• Robustez: O sistema manteve alta performance mesmo com prompts degradados por desfoque gaussiano ou caixas de delimitação imprecisas (IoU até 0,3).

5. Significado e Impacto

O UniSpector estabelece um paradigma escalável e livre de re-treinamento para inspeção industrial. Ao resolver o problema do colapso de embeddings através de uma estrutura espectral e contrastiva, o método permite que sistemas de visão computacional se adaptem continuamente a novos defeitos sem a necessidade de reetiquetagem massiva de dados.

Além de atingir o estado da arte (SOTA), o trabalho oferece insights fundamentais sobre o design de mecanismos de visual prompting genéricos, demonstrando que a estruturação do espaço de embeddings é tão crítica quanto a extração de características para a generalização em tarefas de alta variância como a inspeção industrial.