FiLo: Zero-Shot Anomaly Detection by Fine-Grained Description and High-Quality Localization

O artigo apresenta o FiLo, um novo método de detecção de anomalias zero-shot que utiliza descrições de anomalias de alta granularidade geradas por LLMs e um módulo de interação multimodal para melhorar a precisão na detecção e localização de anomalias em diversos tamanhos e formas, alcançando desempenho state-of-the-art nos conjuntos de dados MVTec e VisA.

O essencial

Imagine que você é um inspetor de qualidade em uma fábrica de brinquedos. Sua tarefa é encontrar defeitos (como uma roda torta ou uma pintura descascada) em novos modelos de brinquedos que você nunca viu antes.

Os métodos antigos de Inteligência Artificial (IA) funcionavam como um inspetor muito rígido:

1. Eles só sabiam dizer "está estranho" ou "está normal".
2. Eles olhavam para o brinquedo inteiro de uma vez só.
3. Quando tentavam achar onde estava o defeito, eles muitas vezes apontavam para o fundo da mesa ou para a sombra, confundindo ruído com defeito.

O novo método, chamado FiLo (descrito no artigo), é como contratar um inspetor superinteligente que tem dois superpoderes: uma descrição detalhada e uma lupa de alta precisão.

Aqui está como o FiLo funciona, explicado de forma simples:

1. O Primeiro Superpoder: A "Lista de Defeitos" (FG-Des)

Antes, a IA usava descrições genéricas. Se você mostrasse uma madeira com um risco, a IA pensava: "Ah, está 'danificado'". Mas "danificado" é muito vago. Pode ser um risco, uma queimadura, um buraco ou uma mancha.

O FiLo usa um Gênio da Linguagem (um modelo de IA chamado LLM) para criar uma lista específica de defeitos para cada objeto.

• Analogia: Em vez de dizer "o carro está estragado", o FiLo diz: "o carro tem um risco na porta, uma pintura descascada no capô ou um pneu furado".
• Como funciona: O sistema aprende a criar frases personalizadas para cada tipo de produto. Ele não usa frases prontas feitas por humanos, mas sim "modelos de texto" que ele mesmo aprende a ajustar para serem perfeitos. Isso faz com que a IA entenda exatamente o que ela está procurando, como um detetive que sabe exatamente qual tipo de impressão digital procurar.

2. O Segundo Superpoder: A "Lupa Inteligente" (HQ-Loc)

O segundo problema dos métodos antigos era achar onde estava o defeito. Eles olhavam para pedacinhos da imagem e comparavam com o texto, mas muitas vezes se perdiam.

O FiLo usa três truques para não errar o local:

• O Rastreamento Inicial (Grounding DINO): Imagine que a IA primeiro olha para a imagem e diz: "Ok, o defeito provavelmente está naqui, perto do objeto principal, e não no fundo da foto". Ela ignora a mesa e o chão. Isso evita que ela fique apontando para a sombra como se fosse um defeito.
• A Descrição com Endereço: O FiLo adiciona a localização ao texto. Em vez de apenas "risco", ele pensa em "risco no canto superior direito". Isso ajuda a IA a focar no lugar certo.
• A Lupa Multi-tamanho (MMCI): Defeitos têm tamanhos diferentes. Um risco é fino e longo; uma mancha é redonda e grande. O FiLo usa "lupas" (filtros) de vários tamanhos e formatos ao mesmo tempo. É como ter uma lupa quadrada, uma redonda e uma longa na mão ao mesmo tempo, garantindo que nenhum defeito, seja ele grande ou pequeno, escape.

O Resultado?

Quando você junta a descrição detalhada (saber exatamente o que procurar) com a localização de alta qualidade (saber exatamente onde olhar), o FiLo se torna o melhor inspetor do mundo.

• Precisão: Ele acerta muito mais vezes se um produto está com defeito ou não.
• Localização: Ele consegue desenhar um círculo perfeito ao redor do defeito, sem marcar a parte boa do produto.
• Velocidade: Ele faz isso sem precisar ter visto aquele defeito específico antes (Zero-Shot), apenas entendendo a lógica do que é um defeito.

Resumo da Ópera:
O FiLo transformou a detecção de anomalias de um "chute educado" em uma "investigação forense precisa". Ele usa a linguagem para descrever o problema com detalhes e a visão computacional para apontar o dedo para o local exato, tudo isso aprendendo sozinho e sem precisar de um manual de instruções para cada novo produto que chega na fábrica.

Resumo técnico

Título: FiLo: Detecção de Anomalias Zero-Shot por Descrição de Alta Granularidade e Localização de Alta Qualidade

1. Problema

A Detecção de Anomalias Zero-Shot (ZSAD) visa identificar defeitos em produtos industriais sem acesso prévio a amostras normais ou anômalas da categoria-alvo. Embora métodos existentes baseados em modelos multimodais pré-treinados (como CLIP) tenham mostrado progresso, eles enfrentam duas limitações críticas:

1. Descrições Genéricas: Os métodos atuais utilizam descrições textuais genéricas para "anormal" (ex: "danificado", "defeituoso"). Essas descrições falham em capturar a diversidade específica de anomalias entre diferentes categorias de objetos (ex: um risco em madeira é diferente de uma mancha em tecido), levando a uma correspondência semântica imprecisa.
2. Localização Ineficiente: A localização de anomalias baseada na comparação direta de similaridade entre "patches" (fragmentos) de imagem e texto frequentemente gera falsos positivos em áreas de fundo e tem dificuldade em localizar anomalias de tamanhos e formas variadas, pois não considera o contexto espacial ou a escala adequada.

2. Metodologia: FiLo

O autores propõem o FiLo, um método que integra duas componentes principais para superar essas limitações: FG-Des (Descrição de Alta Granularidade) e HQ-Loc (Localização de Alta Qualidade).

A. FG-Des: Descrição de Alta Granularidade (Fine-Grained Description)

• Geração de Descrições com LLMs: Em vez de usar termos genéricos, o método utiliza Grandes Modelos de Linguagem (LLMs) para gerar listas específicas de tipos de anomalias para cada categoria de objeto (ex: para "noz", gera-se "fissuras", "mofo", "casca deformada").
• Templates de Texto Adaptativos: Substitui os templates manuais fixos (ex: "Uma foto de um objeto [estado]") por vetores de texto aprendíveis (learnable text vectors). Esses vetores são treinados para se adaptarem melhor ao contexto de detecção de anomalias, combinando o estado (normal/anormal), a classe do objeto e a descrição detalhada da anomalia gerada pelo LLM.
• Objetivo: Melhorar a precisão da detecção global e a interpretabilidade, permitindo que o modelo identifique não apenas se há um defeito, mas qual tipo de defeito.

B. HQ-Loc: Localização de Alta Qualidade (High-Quality Localization)
Esta componente visa refinar a localização espacial das anomalias através de três etapas:

1. Localização Preliminar com Grounding DINO: Utiliza o modelo Grounding DINO para gerar caixas delimitadoras preliminares baseadas nas descrições detalhadas das anomalias. Isso ajuda a focar nas regiões de primeiro plano (onde o objeto está) e a suprimir falsos positivos em fundos.
2. Prompts de Texto com Reforço de Posição: As coordenadas das caixas detectadas pelo DINO são incorporadas aos prompts de texto (ex: "anormalidade na parte superior esquerda"), fornecendo ao modelo de linguagem informações espaciais explícitas.
3. Módulo MMCI (Interação Cruzada Multiescala e Multiforma):
   • Inspirado no uso de janelas no WinCLIP, mas mais eficiente.
   • Em vez de inserir múltiplas imagens recortadas no codificador de imagem, o MMCI aplica convoluções de diferentes tamanhos e formas (ex: 1x1, 3x3, 5x5, 1x5, 5x1) diretamente nas características dos patches extraídos pelo CLIP.
   • Isso permite capturar anomalias de diversas escalas e formas sem o custo computacional excessivo de processar dezenas de janelas.

Arquitetura Geral:
O modelo utiliza o CLIP (ViT-L/14) como backbone congelado. Um Adapter (estrutura de gargalo) alinha as características globais da imagem com as características textuais. O treinamento foca na otimização dos vetores de texto, dos parâmetros do MMCI e do Adapter, utilizando funções de perda cruzada (Cross-Entropy) para detecção global e Focal/Dice Loss para a segmentação local.

3. Contribuições Principais

1. FG-Des (Descrição Adaptativa): Introdução de descrições de anomalias de alta granularidade geradas por LLMs e vetores de texto aprendíveis, substituindo descrições genéricas e melhorando tanto a precisão quanto a interpretabilidade.
2. HQ-Loc (Localização Aprimorada): Desenvolvimento de uma estratégia de localização que combina Grounding DINO para filtragem de fundo, prompts com informações de posição e um módulo de interação cruzada (MMCI) com convoluções multiescala/multiforma para detectar defeitos de variados tamanhos e formas.
3. Desempenho SOTA: Demonstração de que o FiLo supera os métodos existentes (como WinCLIP, APRIL-GAN e AnomalyCLIP) em tarefas de detecção e localização zero-shot.

4. Resultados Experimentais

Os experimentos foram realizados nos conjuntos de dados industriais MVTec AD e VisA. O modelo foi treinado em um conjunto e testado zero-shot no outro.

• Desempenho no VisA (Treinado no MVTec):
  • AUC no Nível de Imagem: 83.9% (Superior ao AnomalyCLIP, que obteve 82.1%).
  • AUC no Nível de Pixel: 95.9% (Superior ao AnomalyCLIP, que obteve 95.5%).
• Desempenho no MVTec (Treinado no VisA):
  • AUC no Nível de Imagem: 91.2%.
  • AUC no Nível de Pixel: 92.3%.
• Análise de Ablação:
  • A substituição de descrições genéricas por descrições de alta granularidade geradas por LLMs trouxe ganhos significativos.
  • O uso de vetores aprendíveis superou templates manuais.
  • A adição do módulo MMCI e do reforço de posição foi crucial para melhorar a precisão da localização (Pixel-AUC).

5. Significado e Impacto

O FiLo representa um avanço significativo no campo de Detecção de Anomalias Zero-Shot para controle de qualidade industrial.

• Interpretabilidade: Ao identificar o tipo específico de anomalia (ex: "racha" vs. "mancha"), o sistema torna-se mais transparente e útil para engenheiros de qualidade.
• Eficiência e Precisão: A abordagem de localização híbrida (DINO + MMCI) resolve o problema de falsos positivos em fundos e a dificuldade de detectar defeitos de formas irregulares, sem o custo computacional proibitivo de métodos baseados em janelas múltiplas.
• Generalização: O método demonstra forte capacidade de generalização entre diferentes domínios industriais (de produtos têxteis a eletrônicos), validando a eficácia do uso de conhecimento de LLMs combinado com modelos de visão pré-treinados.

Em resumo, o FiLo estabelece um novo estado da arte (SOTA) ao demonstrar que a combinação de descrições textuais ricas e específicas com mecanismos de localização espacial inteligente é a chave para a detecção de anomalias robusta em cenários sem dados de treinamento.