=== RESUMO ===

Resumo Técnico: CAFM – Um Método de Fusão de Alinhamento Local Cross-Modal para Detecção de Anomalias Industriais RGB-3D

1. Definição do Problema

A detecção de anomalias industriais enfrenta uma limitação fundamental ao depender de dados de modalidade única. Imagens RGB únicas fornecem pistas ricas de textura e semântica, mas têm dificuldade em caracterizar anomalias estruturais geométricas (ex: variações de altura, depressões, saliências) devido à suscetibilidade a mudanças de iluminação e de perspectiva. Por outro lado, nuvens de pontos 3D capturam efetivamente a morfologia espacial e as estruturas geométricas, mas carecem dos detalhes de cor e textura necessários para identificar defeitos baseados em aparência sutis.

Embora a fusão multimodal (combinando RGB e 3D) seja uma direção promissora, as abordagens existentes sofrem de duas falhas críticas:

1. Desalinhamento e Irrelevância: A maioria dos métodos utiliza concatenação de características globais ou interpolação simples. Isso falha em considerar a incompatibilidade inerente de escalas espaciais e formas de representação entre patches de imagem 2D e tokens espaciais 3D, frequentemente introduzindo informações espacialmente irrelevantes que perturbam a detecção de anomalias locais.
2. Compensação de Anomalia: Na detecção de anomalias, o objetivo é maximizar a discrepância entre amostras normais e defeituosas. No entanto, módulos de fusão padrão com alta capacidade de representação podem "compensar" regiões anômalas em uma modalidade usando informações intactas da outra. Isso puxa as características defeituosas para mais perto da distribuição normal, enfraquecendo a habilidade do modelo de distinguir defeitos.

2. Metodologia: CAFM

O método proposto Cross-Modal Local Alignment Fusion (CAFM) aborda essas questões dentro de um paradigma de banco de memória (memory-bank) não supervisionado. O framework consiste em quatro estágios primários:

A. Compressão de Gargalo para Reforço de Características RGB

Para evitar que a corrente RGB, de alta capacidade de representação, compense as anomalias 3D, os autores introduzem uma restrição de compressão de gargalo especificamente na ramificação RGB.

• Mecanismo: As características RGB passam por uma perturbação de dropout aleatório, seguida pela codificação em um espaço de gargalo de baixa dimensão ($Z_r$) e decodificação de volta para o espaço original ($\hat{F}_r$).
• Injeção de Resíduo: Para evitar perda excessiva de informação, uma estratégia de injeção de resíduo controlada é aplicada: $F^b_r = (1-\beta)\hat{F}_r + \beta F_r$.
• Efeito: Isso força o modelo a aprender padrões estruturais estáveis prevalentes em amostras normais. Durante a inferência, perturbações anômalas não podem ser totalmente reconstruídas dentro do espaço latente compacto, criando um deslocamento de embedding proeminente que aumenta a separabilidade das anomalias. A ramificação 3D permanece sem compressão para preservar pistas geométricas finas.

B. Módulo de Fusão de Alinhamento Local Cross-Modal

Em vez de interação global, este módulo estabelece correspondências espaciais finas dentro de janelas locais.

• Mapeamento de Escala: Características RGB e 3D são projetadas em uma dimensão de embedding unificada. Uma função de mapeamento de escala alinha as coordenadas espaciais 3D $(i, j)$ às posições centrais correspondentes $(i', j')$ no mapa de características RGB.
• Atenção de Janela Local: Para cada token 3D, uma região candidata local $\Omega_t$ é definida no mapa RGB. A atenção cross-modal é computada apenas dentro desta janela, onde as características 3D atuam como queries e as características RGB locais atuam como keys/values.
• Benefício: Isso restringe a propagação de informação para vizinhos espacialmente relevantes, reduzindo a complexidade computacional de $O(N_x N_r)$ para $O(N_x K)$ e evitando a diluição de sinais de anomalia local por regiões normais distantes.

C. Aprendizado Contrastivo Simétrico

Para garantir que as características fundidas retenham informações discriminativas de ambas as modalidades sem viés, o aprendizado contrastivo simétrico é empregado.

• Restrições Bidirecionais: As características fundidas são alinhadas tanto com as características as características 3D quanto com as características RGB. A função de perda inclui termos de alinhamento bidirecional ($L_{q \to k}$ e $L_{k \to q}$) para ambas as modalidades.
• Simetria: Isso evita que o embedding fundido derive para a modalidade com informações mais ricas ou otimização mais fácil, garantindo uma representação equilibrada de textura e geometria.

D. Detecção de Multi-Banco de Memória

Seguindo o paradigma M3DM, o sistema constrói três bancos de memória independentes usando apenas amostras de treinamento normais:

1. Banco de memória de características RGB.
2. Banco de memória de características 3D.
3. Banco de memória de características fundidas cross-modais.
   Os escores de anomalia são gerados via métricas de distância de vizinho mais próximo para cada banco, seguidos de fusão de decisão de estágio tardio para produzir mapas de anomalia de nível de imagem e de pixel.

3. Principais Contribuições

1. Alinhamento Local Cross-Modal: Um módulo de fusão que estabelece correspondências espaciais dentro de janelas locais, eliminando interações globais irrelevantes e aumentando a representação de regiões anômalas locais.
2. Restrição de Compressão de Gargalo: Um mecanismo sob medida que limita a capacidade de representação da corrente RGB para evitar a "compensação" de regiões anômalas por informações de modalidade normal, preservando assim a discrepância de características.
3. Aprendizado Contrastivo Simétrico: Uma estratégia de regularização que impõe consistência entre embeddings fundidos e ambos os embeddings de modalidade única, garantindo a retenção equilibrada de textura RGB e informação geométrica 3D.

4. Resultados Experimentais

O método foi avaliado nos datasets MVTec 3D-AD e Eyecandies.

• MVTec 3D-AD:
  • Nível de Imagem (I-AUROC): O CAFM alcançou 0.981, um aumento de 3.6 pontos percentuais sobre o baseline M3DM (0.945) e superou todos os outros competidores (ex: G2SF, CFM, AST).
  • Localização de Nível de Pixel (P-AUPRO): Alcançou 0.977, superando o M3DM em 1.3 pontos.
  • Discriminação de Nível de Pixel (P-AUROC): Alcançou 0.998, ocupando o primeiro lugar entre todos os baselines.
• Eyecandies:
  • Alcançou um I-AUROC médio de 0.901, P-AUPRO de 0.897 e P-AUROC de 0.981, superando consistentemente o M3DM e outros métodos de estado da arte.
• Estudos de Ablação:
  • A remoção da compressão de gargalo ou do módulo de alinhamento local resultou em quedas significativas de desempenho, confirmando que ambos os componentes são essenciais para os ganhos observados.
  • A fusão de alinhamento local contribuiu com aproximadamente 63.9% do total de melhoria de I-AUROC sobre o baseline.

5. Significância e Alegações

O artigo afirma que o CAFM aborda efetivamente os desafios específicos da detecção de anomalias industriais multimodal, particularmente o risco de compensação de anomalia e a necessidade de alinhamento local fino. Ao integrar a compressão de gargalo, a atenção de janela local e o aprendizado contrastivo simétrico, o método cria um espaço de características fundidas onde amostras normais formam manifolds compactos enquanto amostras defeituosas mantêm offsets distintos.

Os autores afirmam que sua abordagem valida a eficácia da interação cross-modal local em vez de global para defeitos industriais, que são tipicamente locais por natureza. Embora o método alcance resultados de estado da arte, os autores reconhecem modestamente as limitações: o tamanho fixo da janela local e a estratégia de fusão unificada podem ter dificuldades com defeitos minúsculos, fronteiras borradas ou casos de disparidades drásticas de resposta cross-modal. Eles sugerem que trabalhos futuros devem explorar mecanismos de alinhamento multiescala ou deformáveis para melhorar ainda mais a adaptabilidade.