Resumo Técnico: OmniAD

Declaração do Problema

A análise de anomalias industriais requer sistemas que não apenas predigam a presença de defeitos, mas também localizem irregularidades sutis e expliquem suas causas e implicações. Embora os Modelos de Linguagem de Grande Escala Multimodais (MLLMs) tenham demonstrado fortes capacidades em raciocínio visual de domínio aberto, sua aplicação à análise de anomalias industriais permanece desafiadora. As anomalias são frequentemente sutis, específicas de uma categoria e semanticamente emaranhadas com evidências visuais de grão fino.

Uma estratégia prevalente envolve o acoplamento de MLLMs com detectores de anomalias externos (o "Paradigma de Auxílio de Especialista"), onde um detector fornece mapas de calor ou máscaras como pistas visuais para o MLLM. Os autores argumentam que essa abordagem é frágil por duas razões principais:

1. Pistas Visuais Ruidosas: As saídas dos detectores externos são frequentemente dependentes de limiares (thresholds) e imperfeitas. Quando convertidas em pistas rígidas (hard cues), esses erros são expostos diretamente ao MLLM.
2. Supressão Contextual: Mesmo quando as pistas localizam aproximadamente uma anomalia, elas podem dominar a atenção do modelo, enfraquecendo o raciocínio holístico sobre o objeto, a estrutura circundante e os modos de falha.

O problema central identificado é que a localização e a compreensão de anomalias estão fracamente acopladas através de pistas injetadas externamente, em vez de estarem unificadas dentro de um único processo de raciocínio.

Metodologia

Os autores propõem o OmniAD, um framework end-to-end que integra intrinsecamente a detecção e a compreensão de anomalias em um único processo de raciocínio multimodal. Em vez de depender de detectores externos, o OmniAD gera e consome evidências de anomalia dentro do mesmo modelo e cadeia de raciocínio.

1. Framework de Raciocínio Multimodal

O OmniAD opera através de dois estágios sequenciais:

• Raciocínio Visual via Codificação Semântica de Anomalia (SAE):
  Em vez de importar mapas de calor baseados em limiares, o modelo realiza a localização internamente. Inspirado pela segmentação baseada em texto, o SAE reformula a detecção de anomalias como uma tarefa de geração de texto.

  • A imagem é dividida em patches de tamanho fixo.
  • Seguindo uma intuição de classe única (one-class), patches normais são descartados, e apenas patches anômalos são retidos.
  • A codificação de comprimento de corrida (RLE) é aplicada ao longo das linhas para comprimir patches de anomalia contíguos.
  • A sequência comprimida é convertida em uma string de coordenadas (ex: <seg>(2,1),(4,2)-(4,4),...</seg>).
  • Esta representação é compacta, densa em informações e livre de limiares, servindo como uma variável intermediária intrínseca para o raciocínio subsequente.

• Raciocínio Textual Guiado Visualmente (VGTR):
  O modelo realiza o raciocínio de alto nível condicionado à evidência SAE gerada internamente.

  • A saída do SAE atua como uma âncora semântica, guiando o modelo para regiões relevantes sem sobrepor a análise holística.
  • O modelo produz uma resposta estruturada contendo <seg> (localização), <reasoning> (análise do estado do objeto e evidência de defeito) e <answer> (decisão final).
  • Este design garante que a evidência da anomalia seja tratada como um estado intermediário semanticamente coerente, e não como uma dica isolada, mitigando a supressão contextual.

2. Estratégia de Treinamento Conjunto

Para lidar com a escassez de dados de treinamento industrial e melhorar as capacidades de raciocínio, o OmniAD emprega uma estratégia de pós-treinamento conjunta combinando Ajuste Fino Supervisionado (SFT) e Otimização de Política de Grupo Relativa (GRPO).

• SFT: Ensina ao modelo o formato de resposta alvo, o conhecimento específico do objeto e o acoplamento entre localização e explicação.
• GRPO: Refina o comportamento de raciocínio usando recompensas verificáveis sem exigir anotações de raciocínio ao nível de token.
• Funções de Recompensa: Três recompensas específicas foram projetadas:
  1. Recompensa de Formato: Garante que o modelo produza o raciocínio estruturado dentro de tags específicas.
  2. Recompensa de Precisão de Detecção: Utiliza o F1-score (em vez de IoU) para avaliar a máscara gerada pelo SAE contra a verdade fundamental (ground truth), incentivando a localização precisa enquanto penaliza falsos positivos em imagens normais.
  3. Recompensa de Precisão da Resposta: Avalia a resposta de múltipla escolha final, fornecendo um sinal de otimização mais suave para o caminho de raciocínio.

3. Curadoria de Dados

Os autores construíram um conjunto de dados multimodal adaptado para ambos os estágios. Para o SFT, eles selecionaram pares de Visual Question Answering (VQA) de alta qualidade com supervisão densa. Para o GRPO, utilizaram as mesmas fontes de dados com supervisão ao nível de resposta e alvos de localização verificáveis, visto que anotações densas de raciocínio são desnecessárias para a fase de aprendizado por reforço.

Principais Contribuições

1. Framework OmniAD: Um framework unificado e end-to-end que acopla intrinsecamente a detecção e a compreensão de anomalias, substituindo o frágil acoplamento de auxílio de especialista externo por um fluxo interno de evidência de anomalia.
2. Codificação Semântica de Anomalia (SAE) & VGTR: Um mecanismo inovador onde a evidência da anomalia é gerada como uma representação textual compacta e imediatamente reutilizada para análise subsequente, formando uma cadeia de geração-consumo intrínseca.
3. Treinamento Conjunto com SFT e GRPO: Uma demonstração de que a combinação de aprendizado supervisionado com otimização de política melhora tanto a precisão da detecção de anomalias quanto a qualidade do raciocínio, validada através de experimentos extensos.

Resultados Experimentais

O framework foi avaliado no dataset MMAD para compreensão de anomalias e em quatro benchmarks de detecção de anomalias industriais (MVTec-AD, VisA, Mévtec-LOCO, GoodsAD).

• Compreensão de Anomalias (MMAD): O OmniAD (modelo de 7B) alcançou uma precisão média de 79,9%, superando fortes baselines incluindo o Qwen2.5-VL-7B (por 15,9 pontos) e o GPT-4o (por 5,0 pontos). Demonstrou ganhos significativos em Classificação de Defeitos, Localização e Análise, superando anotadores humanos comuns em diversas subtarefas.
• Comparação com Auxílio de Especialista: Ao contrário do paradigma de Auxílio de Especialista, que frequentemente degradava o desempenho ao usar pistas externas (ex: mapas de calor ou máscaras), o OmniAD alcançou resultados superiores ao gerar suas próprias pistas.
• Detecção de Anomalias: O OmniAD entregou um desempenho robusto em nível de pixel e de imagem em todos os quatro benchmarks de detecção, sem exigir seleção de limiar durante a inferência. Alcançou o melhor desempenho médio zero-shot em nível de pixel e resultados competitivos em 1-shot.
• Estudos de Ablação:
  • Estratégia de Treinamento: O treinamento conjunto SFT+GRPO superou significativamente cada estágio isoladamente. O GRPO sozinho falhou em adquirir o conhecimento de domínio e a estrutura necessária, enquanto o SFT sozinho carecia do refinamento para o raciocínio ideal.
  • Componentes de Raciocínio: Remover o Raciocínio Visual (SAE) ou o VGTR degradou significativamente o desempenho, confirmando que tanto a geração de evidência precisa quanto o raciocínio semântico de alto nível são necessários e complementares.
  • Design de Recompensa: Tanto a Recompensa de Detecção quanto a de Precisão da Resposta foram essenciais; a primeira estabilizou a evidência visual intermediária, enquanto a última garantiu a consistência global do raciocínio e das decisões.

Significância

O artigo afirma que fortalecer a percepção intrínseca dentro de MLLMs é uma rota prática para um raciocínio de anomalia industrial preciso e interpretável. Ao unificar localização e compreensão em uma única cadeia de raciocínio, o OmniAD aborda as limitações da injeção de pistas externas, como ruído e supressão de atenção. Os resultados sugerem que, para aplicações industriais, manter a continuidade do raciocínio dentro do modelo é mais eficaz do que acoplar frouxamente as saídas de detectores externos às tarefas de compreensão subsequentes. Esta abordagem oferece uma solução robusta e livre de limiares que escala através de diversos tipos de anomalias e benchmarks de detecção.