💻 computer science

CDGP: Contrastive Dual Gaussian Processes for Weakly Supervised Anomaly Segmentation

O artigo propõe o Contrastive Dual Gaussian Processes (CDGP), uma estrutura fracamente supervisionada que combina uma estatística de dominância posterior derivada de processos gaussianos duais com resíduos de reconstrução hierárquicos para alcançar o estado da arte em segmentação de anomalias sem exigir anotações ao nível de pixel.

Autores originais: Seungjun Chu, Seokhee Han, Mateusz Nowak, Peter Chin

Publicado 2026-08-20

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Seungjun Chu, Seokhee Han, Mateusz Nowak, Peter Chin

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No movimentado mundo da manufatura moderna, as máquinas são cada vez mais incumbidas da tarefa delicada de inspecionar produtos em busca de falhas. Uma fábrica pode produzir milhares de componentes idênticos a cada hora, e o objetivo é capturar o item defeituoso raro antes que ele chegue ao cliente. Isso exige duas coisas: decidir se um produto está quebrado e apontar exatamente onde está a quebra. Por décadas, a maneira mais confiável de ensinar computadores a fazer isso foi mostrar-lhes milhares de exemplos perfeitos e deixá-los aprender o que é o "normal". Quando o computador vê algo que desvia desse padrão normal, ele sinaliza como um defeito. Essa abordagem funciona bem porque itens perfeitos são fáceis de encontrar, enquanto os quebrados são raros e variados. No entanto, esse método possui um ponto cego. Ele frequentemente tem dificuldade em distinguir entre uma rachadura genuína e uma textura incomum e inofensiva que, por acaso, parece um pouco estranha. O sistema vê ambos como "não normais" e levanta um alerta para ambos, gerando confusão e perda de tempo.

Pesquisadores há muito se perguntam se poderiam melhorar isso mostrando ao computador exemplos de itens quebrados, mesmo que não soubessem exatamente onde estavam as rachaduras. No mundo real, as fábricas muitas vezes sabem qual lote de produtos falhou em um controle de qualidade, mesmo que não tenham tido tempo de desenhar um mapa de cada falha. Este é o desafio do aprendizado "fracamente supervisionado": usar o rótulo amplo de "defeituoso" para ensinar a máquina a encontrar a localização específica do erro sem um mapa detalhado. Um novo estudo introduz um método chamado Processos Gaussianos Duais Contrastivos, ou CDGP, que aborda este problema mudando a forma como o computador compara o bom e o ruim. Em vez de apenas perguntar o quão estranha uma imagem parece, o sistema faz uma pergunta mais direta: esta parte da imagem se parece mais com um defeito ou mais com um produto normal?

Os pesquisadores construíram um sistema que trata cada pequeno fragmento de uma imagem como um candidato para ser normal ou defeituoso. Imagine a imagem como uma grade de pequenos azulejos. Para cada azulejo, o sistema executa dois modelos mentais distintos simultaneamente. Um modelo é treinado para prever como um azulejo normal deveria ser, enquanto o outro é treinado para prever como um azulejo defeituoso deveria ser. Esses modelos não estão apenas adivinhando; eles são construídos sobre uma estrutura estatística que permite que eles expressem não apenas uma previsão, mas também o quão confiantes estão nessa previsão. O sistema então compara as duas previsões para cada um dos azulejos. Se o modelo "defeituoso" for muito mais propenso a estar correto do que o modelo "normal", e o sistema estiver confiante nessa diferença, esse azulejo é marcado como uma falha. Essa abordagem é poderosa porque força o computador a pesar a evidência de um defeito contra a evidência de normalidade, em vez de apenas procurar por qualquer coisa que pareça estranha.

Para fazer isso funcionar sem mapas detalhados de onde os defeitos estão, a equipe teve que ser astuta sobre como iniciou o treinamento. Eles começaram escaneando as imagens defeituosas e selecionando os azulejos que pareciam mais diferentes dos normais. Estes se tornaram os "candidatos" iniciais para o modelo de defeito aprender. Foi um ponto de partida ruidoso, pois alguns desses candidatos eram apenas partes normais que por acaso pareciam ligeiramente diferentes, mas o sistema foi projetado para aprender através do processo. À medida que o treinamento continuava, o sistema usava o rótulo simples de "defeituoso" ou "normal" para toda a imagem para refinar sua compreensão. Ele aprendeu a elevar as previsões para o modelo de defeito nas áreas que realmente continham falhas, enquanto mantinha o modelo normal forte nas áreas de fundo. Esse processo permitiu que o sistema gradualmente aguçasse seu foco, separando os defeitos reais do ruído de fundo sem nunca ver um único contorno desenhado à mão de uma rachadura.

O estudo também reconheceu que olhar apenas para o panorama geral nem sempre é suficiente para encontrar rachaduras finas, como fios de cabelo. Para resolver isso, eles adicionaram uma segunda camada de inspeção que se concentra na reconstrução. Esta parte do sistema tenta reconstruir uma versão perfeita da imagem a partir de uma versão levemente danificada. Se o sistema tiver dificuldade em reconstruir uma área específica, isso sugere que aquela área era incomum. Ao combinar a comparação direta dos dois modelos com essa verificação de reconstrução, o sistema obtém uma dose dupla de evidência. Os pesquisadores testaram este método em vários conjuntos de dados industriais padrão, incluindo MVTec AD 2, KSDD2 e VisA. Os resultados foram impressionantes. No conjunto de dados MVTec AD 2, que é um benchmark rigoroso para este tipo de trabalho, o novo método superou todas as outras abordagens testadas, ocupando o primeiro lugar em cada métrica usada para medir o quão bem o sistema poderia localizar defeitos. Também apresentou um desempenho de alto nível ou muito competitivo nos outros dois conjuntos de dados.

O que torna este achado particularmente significativo é como ele lida com a incerteza. O sistema não apenas gera uma pontuação; ele calcula uma medida padronizada de quanto mais provável é um defeito do que a normalidade, levando em conta o quão seguros os modelos estão. Isso evita que o sistema seja enganado pelo ruído aleatório. Os pesquisadores também demonstraram que este avanço não se deveu apenas a uma configuração mais complexa, mas especificamente à forma como contrastaram os dois modelos e calibraram sua confiança usando apenas os dados de treinamento. Eles verificaram que o sistema funciona sem a necessidade de um humano desenhar caixas ao redor dos defeitos durante a fase de aprendizado, baseando-se unicamente nos rótulos simples de "bom" ou "ruim" que as fábricas já possuem.

O estudo conclui que, ao modelar explicitamente tanto as possibilidades normais quanto as defeituosas e compará-las diretamente, as máquinas podem aprender a encontrar falhas com muito mais precisão do que antes. Esta abordagem preenche a lacuna entre a abundância de dados normais e a escassez de mapas detalhados de defeitos. Sugere que, em ambientes industriais, onde o tempo e os recursos para anotação detalhada são limitados, podemos alcançar uma inspeção de alta precisão ensinando os computadores a pesar a evidência de uma falha contra a evidência de normalidade, em vez de apenas procurar por qualquer coisa que se destaque. O método posiciona-se como uma solução robusta que ocupa o topo dos benchmarks de desempenho atuais, oferecendo um caminho prático para o controle de qualidade automatizado na manufatura.

Definição do Problema

A inspeção visual industrial requer tanto a detecção de se um produto está defeituoso quanto a localização da região específica do defeito. Embora a segmentação de anomalias em nível de pixel seja crucial para tarefas de jusante, como diagnóstico e controle de qualidade, a coleta de máscaras densas ao nível de pixel é dispendiosa e demorada em muitos ambientes de manufatura. Consequentemente, a maioria dos métodos existentes baseia-se em um paradigma de aprendizado de "apenas normal", treinando exclusivamente em imagens livres de defeitos e identificando anomalias como desvios da normalidade.

No entanto, o paradigma de apenas normal possui limitações:

Ambiguidade: Tanto defeitos reais quanto regiões incomuns, mas normais, podem desviar-se significamente da distribuição normal aprendida, recebendo pontuações de anomalia igualmente altas.
Mudança de Supervisão: Embora evite máscaras de pixel, o treinamento de apenas normal ainda exige conjuntos de dados curados livres de defeitos, deslocando o fardo da anotação para a curadoria de dados.
Lacuna de Supervisão Fraca: Em muitas linhas de produção, rótulos ao nível de imagem (normal/defeituoso) estão disponíveis, mas máscaras de pixel não. Descartar imagens defeituosas nesses cenários desperdiça informações úteis sobre a aparência da anomalia.
Desafio de Localização: Abordagens fracamente supervisionadas padrão (por exemplo, usando Mapas de Ativação de Classe de classificadores de imagem) frequentemente destacam o contexto discriminativo suficiente para o reconhecimento ao nível de imagem, mas falham em alinhar-se com as regiões de defeito reais, especialmente porque as anomalias industriais são heterogêneas e carecem de categorias visuais coerentes.

Metodologia: Processos Gaussianos Duais Contrastivos (CDGP)

O CDGP é um framework fracamente supervisionado que modela as distribuições preditivas de normalidade e anomalia sobre tokens multiescala densos. Em vez de pontuar desvios da normalidade, ele pontua a dominância posterior de uma função de anomalia sobre uma função normal.

1. Representação de Tokens Multiescala Densos

O método utiliza um backbone WideResNet-50 para extrair mapas de características de três estágios. Estes são projetados para uma dimensão latente compartilhada, normalizados e alinhados a uma única resolução espacial para formar uma grade densa de tokens de norma unitária ( $t_{hw}$ ).

2. Inicialização de Indução de Candidatos Difíceis

O CDGP emprega Processos Gaussianos (GPs) esparsos com pontos de indução fixos.

GP Normal ( $Z_N$ ): Os tokens de indução são selecionados de imagens normais usando amostragem de ponto mais distante (farthest-point sampling) gulosa para cobrir o espaço de tokens nominal.
GP de Anomalia ( $Z_A$ ): Como as imagens defeituosas contêm majoritariamente o fundo normal, a amostragem direta é ineficaz. Em vez disso, os tokens de imagens defeituosas são pontuados por sua distância de cosseno em relação a $Z_N$ . Os 20% de tokens mais dissimilares formam um "pool de candidatos ruidosos", a partir do qual $Z_A$ é selecionado via amostragem de ponto mais distante. Isso serve como um prior de inicialização, não como uma pseudo-máscara.

3. Evidência de Dual-GP Contrastiva

O CDGP modela a evidência normal ( $f_N$ ) e de anomalia ( $f_A$ ) como duas funções GP esparsas sobre o espaço de tokens compartilhado usando um kernel linear ( $k(t, t') = t^\top t'$ ).

Distribuições Preditivas: Para cada token, o modelo aprende uma média preditiva ( $\mu$ ) e uma variância ( $\sigma^2$ ) para ambas as classes.
Estatística de Dominância Posterior: A métrica central é a diferença padronizada entre as distribuições preditivas de anomalia e normal:
$g(t) = \frac{\mu_A(t) - \mu_N(t)}{\sqrt{\sigma^2_A(t) + \sigma^2_N(t)}}$
Esta estatística fornece um mapa semântico espacial onde um token é anômalo se a função de anomalia for provavelmente superior à função normal, padronizada pela incerteza conjunta.

4. Treinamento Fracamente Supervisionado

O núcleo Dual-GP é treinado de ponta a ponta usando rótulos ao nível de imagem através de três perdas complementares:

MIL de Margem Máxima: Garante que imagens defeituosas tenham pelo menos um token com uma margem positiva alta ( $\mu_A - \mu_N$ ) e que imagens normais não possuam margens positivas.
Compactação Normal Normalizada por Covariância: Incentiva uma alta evidência normalizada para o GP normal sobre imagens nominais.
Atração de Anomalia Normalizada por Covariância: Reforça a evidência de anomalia normalizada em locais identificados como anômalos pela margem atual (usando um mecanismo de atenção suave).

5. Evidência de Resíduo-Normal Hierárquica

Para abordar a limitação de que a evidência do GP ao nível de token pode sub-resolver defeitos finos, o CDGP incorpora um ramo de estudante reverso apenas-normal hierárquico. Uma rede professora congelada processa imagens normais limpas, enquanto uma rede estudante reconstrói a hierarquia da professora a partir de entradas corrompidas. Os resíduos de reconstrução de cosseno fornecem precisão espacial de escala fina complementar à evidência semântica do GP.

6. Calibração e Inferência

Fusão: O mapa de dominância do GP e o mapa de resíduo de reconstrução são padronizados usando estatísticas de um subconjunto de calibração normal mantido fora do treino e fundidos com uma soma ponderada.
Confiança ao Nível de Imagem: A evidência espacial fundida é agrupada (log-sum-exp) para gerar uma pontuação de anomalia ao nível de imagem, que é calibrada usando um regressor logístico treinado em rótulos de nível de imagem.
Saída Final: O mapa de anomalia final combina a evidência espacial calibrada com a pontuação de confiança ao nível de imagem, garantindo que imagens julgadas como provavelmente normais suprimam todas as pontuações de pixel.

Principais Contribuições

Formulação: O artigo formula a segmentação de anomalias fracamente supervisionada como um problema de dominância posterior entre funções preditivas de normal e anomalia esparsas sobre tokens densos.
Estratégia de Treinamento: Introduz uma inicialização livre de máscara, enriquecida com defeitos, e um objetivo de três perdas mínimas (MIL de margem máxima, compactação normal normalizada por covariância e atração de anomalia normalizada por covariância) para treinar o núcleo Dual-GP.
Arquitetura Híbrida: Complementa o contraste semântico do GP com resíduos de reconstrução normal hierárquicos e calibração apenas durante o treinamento para alcançar predições espacialmente precisas sem ajuste em tempo de teste (test-time fitting).
Desempenho: Sob uma divisão de supervisão fraca correspondente, o CDGP alcança resultados de estado da arte no MVTec AD 2 e resultados competitivos no KSDD2 e VisA.

Resultados Experimentais

Os autores avaliaram o CDGP em MVTec AD 2, KSDD2 e VisA.

MVTec AD 2: O CDGP ocupou o primeiro lugar entre todos os métodos avaliados (tanto de apenas-normal quanto de supervisão de nível de imagem) em todas as três métricas de localização (AUROC-P, AUPRO@0.3, AUPRO@0.05), superando o segundo melhor método por margens significativas (ex: +12,7 pontos em AUPRO@0.3).
KSDD2 e VisA: O CDGP alcançou o primeiro lugar ou desempenho de localização competitivo, posicionando-se entre os dois melhores métodos em todas as métricas.
Estudos de Ablação: Ablações fatoriais confirmaram que tanto o caminho espacial do GP quanto o caminho de calibração ao nível de imagem contribuem de forma complementar. O artigo observa que o ganho da dominância posterior (padronizando pela variância) sobre a simples pontuação de margem de média é um refinamento modesto, sugerindo que o valor principal reside na construção coerente de média e variância das variáveis de indução, e não na expressividade não linear.

Significância e Alegações

O artigo afirma que o CDGP consegue aproveitar com sucesso rótulos ao nível de imagem para aprender segmentação de anomalias sem exigir máscaras de pixel ou ajuste em tempo de teste. Sua significância reside em:

Abordar o Problema "Incomum-mas-Normal": Ao modelar explicitamente as distribuições normal e de anomalia, evita a ambiguidade da pontuação de normalidade unilateral.
Supervisão Fraca Eficiente: Utiliza imagens defeituosas (frequentemente descartadas em métodos de apenas-normal) para aprender características de anomalia, mesmo sem saber a localização exata dos defeitos.
Robustez: O uso de calibração apenas durante o treinamento e a combinação de evidência semântica (GP) e estrutural (reconstrução) permite uma localização robusta através de diversos conjuntos de dados industriais.
Modéstia sobre as Alegações de GP: Os autores declaram explicitamente que o kernel linear torna a margem de treinamento linear; a vantagem advém da variância preditiva dependente do token (incerteza) fornecida pela formulação do GP, e não de uma superioridade universal sobre reparametrizações equivalentes como modelos lineares heterocedásticos projetados. A "alegação de GP" é enquadrada como uma construção compacta de média e incerteza, limitada por controles de cabeça linear correspondentes.