=== RESUMEN TÉCNICO ===

Resumen Técnico: CAFM – Un Método de Fusión de Alineación Local Cross-Modal para la Detección de Anomalías Industriales RGB-3D

1. Planteamiento del Problema

La detección de anomalías industriales enfrenta una limitación fundamental cuando se depende de datos de una sola modalidad. Las imágenes RGB individuales proporcionan ricas pistas de textura y semántica, pero tienen dificultades para caracterizar anomalías estructurales geométricas (por ejemplo, variaciones de altura, depresiones, protuberancias) debido a su susceptibilidad a los cambios de iluminación y de perspectiva. Por el contrario, las nubes de puntos 3D capturan eficazmente la morfología espacial y las estructuras geométricas, pero carecen de los detalles de color y textura necesarios para identificar defectos sutiles basados en la apariencia.

Si bien la fusión multimodal (combinando RGB y 3D) es una dirección prometedora, los enfoques existentes sufren dos fallos críticos:

1. Desalineación e Irrelevancia: La mayoría de los métodos utilizan la concatenación de características globales o la interpolación simple. Esto no tiene en cuenta la discrepancia inherente en las escalas espaciales y las formas de representación entre los parches de imágenes 2D y los tokens espaciales 3D, lo que a menudo introduce información espacialmente irrelevante que interrumpe la detección de anomalías locales.
2. Compensación de Anomalías: En la detección de anomalías, el objetivo es maximizar la discrepancia entre las muestras normales y las defectuosas. Sin embargo, los módulos de fusión estándar con alta capacidad de representación pueden "compensar" las regiones anómalas en una modalidad utilizando la información intacta de la otra. Esto acerca las características defectuosas a la distribución normal, debilitando la capacidad del modelo para distinguir los defectos.

2. Metodología: CAFM

El método propuesto de Fusión de Alineación Local Cross-Modal (CAFM) aborda estos problemas dentro de un paradigma de banco de memoria no supervisado. El marco consta de cuatro etapas primarias:

A. Compresión por Cuello de Botella para la Mejora de Características RGB

Para evitar que la corriente RGB, de alta capacidad de representación, compense las anomalías 3D, los autores introducen una restricción de compresión de cuello de botella específicamente en la rama RGB.

• Mecanismo: Las características RGB se someten a una perturbación de dropout aleatorio, seguida de una codificación en un espacio de cuello de botella de baja dimensión ($Z_r$) y una decodificación de vuelta al espacio original ($\hat{F}_r$).
• Inyección de Residuos: Para evitar una pérdida excesiva de información, se aplica una estrategia de inyección de residuo controlada: $F^b_r = (1-\beta)\hat{F}_r + \beta F_r$.
• Efecto: Esto obliga al modelo a aprender patrones estructurales estables prevalentes en las muestras normales. Durante la inferencia, las perturbaciones anómalas no pueden reconstruirse completamente dentro del espacio latente compacto, creando un desplazamiento de embedding prominente que mejora la separabilidad de las anomalías. La rama 3D permanece sin comprimir para preservar las claves geométricas finas.

B. Módulo de Fusión de Alineación Local Cross-Modal

En lugar de la interacción global, este módulo establece correspondencias espaciales finas dentro de ventanas locales.

• Mapeo de Escala: Las características RGB y 3D se proyectan en una dimensión de embedding unificada. Una función de mapeo de escala alinea las coordenadas espaciales 3D $(i, j)$ con las posiciones centrales correspondientes $(i', j')$ en el mapa de características RGB.
• Atención de Ventana Local: Para cada token 3D, se define una región candidata local $\Omega_t$ en el mapa RGB. La atención cross-modal se computa únicamente dentro de esta ventana, donde las características 3D actúan como queries y las características RGB locales actúan como keys/values.
• Beneficio: Esto restringe la propagación de la información a los vecinos espacialmente relevantes, reduciendo la complejidad computacional de $O(N_x N_r)$ a $O(N_x K)$ y evitando la dilución de las señales de anomalía local por parte de regiones normales distantes.

C. Aprendizaje Contrastivo Simétrico

Para asegurar que las características fusionadas retengan información discriminativa de ambas modalidades sin sesgo, se emplea el aprendizaje contrastivo simétrico.

• Restricciones Bidireccionales: Las características fusionadas se alinean tanto con las características 3D como con las características RGB. La función de pérdida incluye términos de alineación bidireccional ($L_{q \to k}$ y $L_{k \to q}$) para ambas modalidades.
• Simetría: Esto evita que el embedding fusionado se desplace hacia la modalidad con más información o de optimización más fácil, asegurando una representación equilibrada tanto de la textura como de la geometría.

D. Detección de Multi-Banco de Memoria

Siguiendo el paradigma M3DM, el sistema construye tres bancos de memoria independientes utilizando únicamente muestras de entrenamiento normales:

1. Banco de memoria de características RGB.
2. Banco de memoria de características 3D.
3. Banco de memoria de características fusionadas cross-modales.
   Las puntuaciones de anomalía se generan mediante métricas de distancia de vecino más cercano para cada banco, seguidas de una fusión de decisión en la etapa final para producir mapas de anomalías finales a nivel de imagen y de píxel.

3. Contribuciones Clave

1. Alineación Local Cross-Modal: Un módulo de fusión que establece correspondencias espaciales dentro de ventanas locales, eliminando las interacciones globales irrelevantes y mejorando la representación de las regiones anómalas locales.
2. Restricción de Compresión por Cuello de Botella: Un mecanismo diseñado para limitar la capacidad de representación de la corriente RGB para evitar la "compensación" de las regiones anómalas por la información modal normal, preservando así la discrepancia de las características.
3. Aprendizaje Contrastivo Simétrico: Una estrategia de regularización que impone la consistencia entre los embeddings fusionados y los embeddings de una sola modalidad, asegurando la retención equilibrada de la textura RGB y la información geométrica 3D.

4. Resultados Experimentales

El método fue evaluado en los conjuntos de datos MVTec 3D-AD y Eyecandies.

• MVTec 3D-AD:
  • Nivel de Imagen (I-AUROC): CAFM logró 0.981, una mejora de 3.6 puntos porcentuales sobre el baseline M3DM (0.945) y superando a todos los demás competidores (p. ej., G2SF, CFM, AST).
  • Localización a Nivel de Píxel (P-AUPRO): Logró 0.977, superando a M3DM por 1.3 puntos.
  • Discriminación a Nivel de Píxel (P-AUROC): Alcanzó 0.998, situándose en primer lugar entre todos los baselines.
• Eyecandies:
  • Logró un I-AUROC promedio de 0.901, P-AUPRO de 0.897 y P-AUROC de 0.981, superando consistentemente a M3DM y otros métodos de última generación.
• Estudios de Ablación:
  • Eliminar la compresión de cuello de botella o el módulo de alineación local resultó en caídas significativas de rendimiento, confirmando que ambos componentes son esenciales para las ganancias observadas.
  • La fusión de alineación local contribuyó aproximadamente con el 63.9% de la mejora total de I-AUROC sobre el baseline.

5. Significado y Reivindicaciones

El artículo afirma que CAFM aborda eficazmente los desafíos específicos de la detección de anomalías industriales multimodales, particularmente el riesgo de compensación de anomalías y la necesidad de una alineación local fina. Al integrar la compresión de cuello de botella, la atención de ventana local y el aprendizaje contrastivo simétrico, el método crea un espacio de características fusionadas donde las muestras normales forman manifolds compactos mientras que las muestras defectuosas mantienen desplazos distintos.

Los autores aseguran que su enfoque valida la efectividad de la interacción cross-modal local en lugar de la global para los defectos industriales, que son típicamente locales por naturaleza. Aunque el método alcanza resultados de vanguardia, los autores reconocen modestamente las limitaciones: el tamaño fijo de la ventana local y la estrategia de fusión unificada pueden tener dificultades con defectos diminutos, bordes difusos o casos con discrepancias drásticas de respuesta cross-modal. Sugieren que el trabajo futuro debería explorar mecanismos de alineación multiescala o deformables para mejorar aún más la adaptabilidad.