Resumo Técnico: GenAU – Compreensão de Anomalias Industriais Baseada em Linguagem

1. Declaração do Problema

Sistemas de inspeção industrial requerem mais do que detecção binária de anomalias; aplicações práticas demandam uma compreensão abrangente que responda a quatro perguntas fundamentais para cada imagem: (1) Existe uma anomalia? (2) Onde ela está localizada? (3) Que tipo de anomalia é esta? (4) Por que ela é considerada anômala?

Abordagens existentes falham em unificar essas capacidades:

• Métodos zero-shot baseados em CLIP (ex: AnomalyCLIP, MultiADS) destacam-se na detecção ao nível da imagem e localização ao nível do pixel, mas oferecem compreensão semântica limitada e não conseguem explicar defeitos em linguagem natural.
• Modelos de Visão-Linguagem (VLMs) ajustados por instrução (ex: LLaVA, AnomalyGPT) possuem raciocínio multimodal forte e podem descrever defeitos, mas tipicamente carecem de capacidades nativas de segmentação ao nível do pixel, dependendo frequentemente de detectores externos para localização.

A lacuna reside na ausência de uma arquitetura única que realize simultaneamente a detecção ao nível da imagem, segmentação ao nível do pixel, reconhecimento de múltiplos tipos e raciocínio sobre o defeito sem exigir retreinamento específico para a tarefa ou módulos externos.

2. Metodologia: Estrutura GenAU

O GenAU é um framework de visão-linguagem generalista projetado para unificar essas tarefas dentro de um único modelo de seguimento de instruções. Ele estende um VLM autorregressivo (especificamente o LLaVA-OneVision) com um mecanismo de segmentação fundamentado em linguagem.

Arquitetura Central

• Caminhos Duplos: O modelo acopla um caminho de geração de texto a um caminho de fundamentação visual.
• Tokens de Segmentação: O GenAU introduz dois tokens especiais dedicados: [SEG defect] e [SEG normal]. Estes tokens atuam como âncoras fundamentadas em linguagem.
• Fundamentação Visual:
  • O codificador visual congelado (SigLIP) extrai características de patches em múltiplas escalas.
  • Os estados ocultos dos tokens gerados [SEG defect] e [SEG normal] do último nível do decodificador servem como consultas (queries).
  • Estas consultas são alinhadas com as características visuais de múltiplas escalas via camadas de projeção linear para computar log-odds de similaridade de cosseno.
  • Os mapas de similaridade resultantes são upsampled e agregados para produzir mapas de anomalia ao nível do pixel.
• Leitura de Alta Resolução (AnyRes): Para lidar com detalhes espaciais finos, o framework processa blocos de imagens de alta resolução além de uma visão global, fundindo os mapas resultantes para a saída de segmentação final.

Treinamento e Inferência

• Objetivo Conjunto: O modelo é treinado com uma função de perda combinada:
  • Perda de Geração de Texto ($L_{txt}$): Perda de entropia cruzada padrão para gerar descrições de defeitos e os tokens de segmentação necessários.
  • Perda de Segmentação ($L_{seg}$): Uma combinação das perdas Focal, Tversky e Dice aplicadas aos mapas de similaridade gerados contra as máscaras de verdade fundamental (ground-truth).
  • Equilíbrio: Um hiperparâmetro $\lambda_{seg}$ equilibra a modelagem de linguagem e a supervisão ao nível do pixel.
• Eficiência de Parâmetros: O treinamento utiliza LoRA (Low-Rank Adaptation) no decodificador, nos embeddings de tokens, na cabeça do LM e nas camadas de projeção, mantendo o codificador visual e o projetor cross-modal congelados.
• Inferência: O modelo opera em um cenário zero-shot de imagem única. Ele gera uma resposta estruturada contendo o tipo de defeito e os dois tokens de segmentação.
  • Pontuação de Nível de Imagem: Computada fundindo o valor máximo do mapa de segmentação com o log-odds do decodificador para uma decisão de normal/defeito.
  • Detecção de Múltiplos Tipos: Um parser determinístico mapeia a resposta textual para um vetor multirrótulo sobre o vocabulário de defeitos alvo.
  • Raciocínio: O modelo responde a perguntas abertas relativas à percepção de defeitos e raciocínio causal.

3. Principais Contribuições

1. Framework Unificado: Introdução do GenAU, a primeira arquitetura de seguimento de instrução que realiza conjuntamente detecção ao nível da imagem, segmentação ao nível do pixel, reconhecimento de anomalias de múltiplos tipos e análise textual de defeitos.
2. Segmentação Fundamentada em Linguagem: Um mecanismo inovador onde os estados ocultos de tokens de segmentação dedicados atuam como âncoras para alinhar representações de linguagem com características visuais de múltiplas escalas, permitindo localização ao nível do pixel sem decodificadores de máscara externos.
3. Avaliação Cross-Dataset: Avaliação abrangente sob mudança de distribuição (treinado no MVTec-AD, testado no VisA, MPDD e Real-IAD), demonstrando que um único VLM autorregressivo pode lidar com todo o stack de inspeção industrial.
4. Caracterização de Trade-off: Análise explícita do trade-off segmentação–raciocínio, mostrando que adicionar capacidades de raciocínio acarreta um custo quantificado e gerenciável no desempenho de detecção e segmentação.

4. Resultados Experimentais

O artigo avalia o GenAU em benchmarks industriais padrão sob mudança de distribuição cross-dataset.

• Detecção Binária e Segmentação:
  • No VisA, o GenAU-7B alcança o maior AUROC de nível de imagem (87,6%) entre os métodos zero-shot baseados em CLIP, com um AUROC de nível de pixel competitivo (94,7%).
  • No MPDD e Real-IAD, o GenAU demonstra um forte desempenho, embora note que o AUPRO ao nível do pixel continua sendo uma métrica desafiadora para todos os métodos.
  • O GenAU não supera as linhas de base especializadas em CLIP (ex: AnomalyCLIP, MultiADS) em métricas puras de segmentação ao nível do pixel, mas oferece a capacidade adicional de raciocínio em linguagem.
• Detecção de Múltiplos Tipos:
  • O GenAU-7B supera a única linha de base capaz de múltiplos tipos (MultiADS) e o especialista em raciocínio (Anomaly-OV) tanto no VisA quanto no MPDD em termos de F1 score.
  • A melhoria é impulsionada principalmente por uma maior precisão, atribuída à decodificação restrita por lista de candidatos.
• Raciocínio de Defeitos:
  • No benchmark VisA-D&R, o GenAU supera significativamente seu backbone base LLaVA-OneVision e o especialista em raciocínio Anomaly-OV tanto em pontuações de percepção de baixo nível quanto em raciocínio causal complexo (avaliado pelo GPT-4o).
  • Notavelmente, o GenAU-0.5B supera o Anomaly-OV-7B em percepção de baixo nível, indicando a eficácia do mix de instruções de raciocínio mesmo em escalas menores.

5. Significância e Alegações

O artigo alega que o GenAU representa uma mudança de modelos específicos para tarefas para uma abordagem "generalista" unificada para inspeção industrial. Sua principal significância reside em demonstrar que um único VLM de seguimento de instrução pode cobrir todo o stack de inspeção — respondendo "existe", "onde", "o quê" e "por quê" — dentro de uma única arquitetura e receita de treinamento.

Os autores reconhecem limitações:

• Segmentação vs. Especialização: Embora o GenAU unifique as tarefas, seu desempenho de segmentação ao nível do pixel não excede o das linhas de base especializadas baseadas em CLIP.
• Contexto Global: O modelo tem dificuldade com anomalias definidas globalmente ou lógicas (ex: componentes ausentes) que carecem de fortes pistas visuais locais, um desafio comum em configurações zero-shot.
• Classificação Fina: A generalização para tipos de defeitos finos permanece difícil quando os dados de treinamento contêm apenas instâncias únicas de defeitos específicos.

O artigo conclui que, embora persistam desafios em contexto global e classificação fina, o GenAU consegue unir a lacuna entre detecção, segmentação e raciocínio, oferecendo um trade-off quantificado para um sistema de inspeção industrial mais holístico.