PatchFlow: Leveraging a Flow-Based Model with Patch Features

Resumo Técnico: PatchFlow

Problema
A fundição sob pressão é um processo de fabricação crítico para a produção de peças metálicas complexas e de alta precisão, mas é assolada por defeitos superficiais como bolhas, descamação e porosidade. Esses defeitos, frequentemente causados por contaminantes, umidade ou flutuações de temperatura, comprometem a qualidade e o desempenho do produto. Os métodos de inspeção tradicionais que dependem de verificações visuais manuais são intensivos em mão de obra, demorados e propensos ao erro humano. Embora a detecção de anomalias baseada em visão computacional ofereça uma solução, os métodos existentes enfrentam desafios específicos quando aplicados a ambientes industriais:

1. Desajuste de Distribuição: Extratores de características pré-treinados (por exemplo, no ImageNet) frequentemente falham ao tentar alinhar-se com a distribuição específica de imagens de produtos industriais.
2. Complexidade Computacional: Modelos baseados em fluxo (flow-based models), que oferecem uma estimativa precisa da densidade de probabilidade, tipicamente exigem estruturas complexas com altas cargas computacionais (FLOPs) para mapear distribuições de características para espaços latentes.
3. Granularidade: Alguns modelos de fluxo existentes focam em previsões ao nível da imagem, carecendo da precisão necessária para a localização de defeitos ao nível do pixel.

Metodologia: PatchFlow
Os autores propõem o PatchFlow, um framework de detecção de anomalias em nível de patch que integra características de vizinhança local com modelagem de fluxo de normalização. A arquitetura consiste em quatro componentes primários:

1. Extrator de Características: Um backbone pré-treinado (EfficientNet B5) extrai representações multiníveis das imagens de entrada. O modelo utiliza características de múltiplas camadas hierárquicas (especificamente os blocos 12, 19 e 35) para capturar tanto informações abstratas globais quanto detalhes locais.
2. Agregação de Características: Um módulo constrói características de patch conscientes da vizinhança local através de múltiplas hierarquias e escalas. Ele combina descritores de diferentes camadas interpolando características mais profundas para corresponder às mais rasas e concatenando-as. O sistema processa três escalas distintas para gerar características de hierarquia de patch multiescala.
3. Adaptação de Características (Adapter): Para abordar a lacuna de distribuição entre características pré-treinadas genéricas e dados industriais, um módulo de adaptação leve é introduzido. Este módulo emprega uma única camada totalmente conectada (fully-connected layer) para transformar as características de patch agregadas, alinhando-as com a distribuição de dados industriais sem introduzir parâmetros treináveis significativos.
4. Fluxo de Normalização: As características de patch adaptadas são mapeadas de forma bijetiva para uma distribuição normal padrão ($Z \sim N(0, I)$) usando uma estrutura de camada de acoplamento baseada em RealNVP. Ao contrário de trabalhos anteriores que mapeiam características ao nível da imagem, o PatchFlow mapeia diretamente as características ao nível do patch. Isso permite uma localização de defeitos precisa baseada no desvio de patches específicos da distribuição normal.
   • Eficiência: Os blocos de acoplamento utilizam uma estrutura de gargalo (bottleneck structure) — uma CNN de três camadas com kernels de 1x1 — para reduzir a complexidade computacional (FLOPs) enquanto mantém a capacidade expressiva.

Treinamento e Inferência

• Treinamento: O modelo é treinado exclusivamente em amostras normais (sem defeitos). O objetivo é minimizar a divergência de Kullback-Leibler (KL) entre a distribuição de características estimada e a distribuição de características real, aprendendo efetivamente a distribuição subjacente dos dados normais.
• Inferência: Durante o teste, o modelo calcula a verossimilhança de novas instâncias. Um escore de anomalia é derivado do valor máximo no mapa de anomalia gerado, que é criado através da interpolação bilinear das características latentes normalizadas.

Principais Contribuições

1. Framework PatchFlow: Um novo framework que combina características de patch conscientes da vizinhança local com modelagem de verossimilhança baseada em fluxo para detecção de anomalias.
2. Módulo de Adaptação de Características: Um mecanismo leve que preenche a lacuna de distribuição entre extratores de características pré-treinados genéricos e imagens industriais, melhorando a estabilidade do fluxo e a precisão da detecção.
3. Acoplamento de Gargalo Eficiente: Um design que reduz a complexidade computacional em fluxos de normalização enquanto preserva as capacidades de mapeamento, permitindo redes mais profundas com menos FLOPs.
4. Mapeamento ao Nível do Patch: Uma estratégia que mapeia características de patches individuais em vez de imagens inteiras, facilitando a localização de defeitos de grão fino ao nível do pixel.

Resultados Experimentais
Os autores avaliaram o PatchFlow em três conjuntos de dados: MVTec AD, VisA e um conjunto de dados proprietário de fundição sob pressão.

• Conjunto de Dados MVTec AD: O PatchFlow alcançou um AUROC de nível de imagem de 99,28%, superando o estado da arte PatchCore (99,1%) e reduzindo a taxa de erro em 20%.
• Conjunto de Dados VisA: O modelo alcançou um AUROC de nível de imagem de 96,48%, representando uma redução de erro de 28,2% em comparação ao PatchCore.
• Conjunto de Dados Proprietário de Fundição sob Pressão: Testado em imagens de corpos de válvulas com defeitos sintetizados, o modelo alcançou uma precisão de 95,77% (F1 Score) sem exigir nenhuma amostra anômala para o treinamento. A matriz de confusão mostrou 34/34 amostras normais e 33/36 amostras anômalas identificadas corretamente.
• Eficiência: O modelo opera a aproximadamente 2,7 quadros por segundo (FPS) em uma única GPU Nvidia GeForce RTX 2080Ti, com um total de $1,25 \times 10^{10}$ FLOPs.
• Estudos de Ablação: Experimentos indicaram que o uso de uma pirâmide de imagens de 3 escalas produziu o melhor desempenho, e aumentar o número de etapas de fluxo além de uma na verdade diminuiu o desempenho, sugerindo que uma única etapa de fluxo é ideal para esta configuração.

Significância e Alegações
O artigo afirma que o PatchFlow ilustra o potencial de aproveitar a visão computacional e o aprendizado profundo para avançar as capacidades de inspeção para a indústria de fundição sob pressão. Ao combinar características de vizinhança local com um modelo de fluxo eficiente e um módulo adaptador, o método aborda as restrições específicas da detecção de anomalias industrial: desajuste de distribuição e custo computacional. Os resultados demonstram um caminho viável para melhorar o controle de qualidade e reduzir o desperdício em ambientes de produção industrial, estabelecendo um novo marco para a detecção de anomalias de nível de imagem em benchmarks padrão como MVTec AD e VisA. Os autores enfatizam que sua abordagem alcança o estado da arte sem a necessidade de dados anômalos para treinamento, tornando-a altamente aplicável a cenários do mundo real onde os dados de defeitos são escassos ou indisponíveis.