Multi-view Patch Inference with Frozen DINOv3 for Industrial Anomaly Detection

Resumen Técnico: Inferencia de Parches Multivista con DINOv3 Congelado para la Detección de Anomalías Industriales

Planteamiento del Problema
La detección de anomalías industriales (IAD, por sus siglas en inglés) tiene como objetivo identificar defectos sutiles en sistemas de inspección visual automatizados sin depender de anotaciones de anomalías a gran escala. Aunque los modelos de Vision Transformers (ViTs) preentrenados como DINO han demostrado sólidas capacidades de representación de características, los métodos existentes dependen típicamente de una partición de parches de rejilla única durante la inferencia. Este enfoque sufre dos limitaciones principales:

1. Pérdida de Información de Frontera: Los defectos ubicados en los límites de los parches a menudo se pasan por alto o se debilitan porque la partición de rejilla única no logra capturar el contexto completo de la anomalía.
2. Modelado de Contexto Local Limitado: La inferencia de vista única tiene dificultades con defectos de pequeña escala e irregulares incrustados en fondos ruidosos, lo que conduce a un rendimiento degradado en la localización robusta de defectos.
   Además, muchos marcos de reconstrucción existentes requieren arquitecturas complejas (por ejemplo, codificadores-decodificadores pesados o modelado de imagen enmascarada) o bancos de memoria que incurren en altos costos de almacenamiento y sobrecarga computacional.

Metodología
Los autores proponen un marco ligero basado en un backbone DINOv3 congelado que integra dos innovaciones centrales: Inferencia de Parches Multivista (MVPI) y un Transformer de Fusión de Reconstrucción Multiescala (MRFT).

1. Backbone DINOv3 Congelado:

   • El modelo utiliza un DINOv3 preentrenado (de escala 7B) como extractor de características congelado, aprovechando sus "Register Tokens" para el anclaje semántico global y su alta capacidad de representación para texturas finas.
   • Las características se extraen de tres capas específicas para capturar información jerárquica:
     • Capa 2: Características de bajo nivel (estructuras de bordes, gradientes de textura fina).
     • Capa 5: Características de nivel medio (estructura de nivel de parte, consistencia geométrica local).
     • Capa 8: Características de alto nivel (consistencia semántica, estructura a nivel de objeto).

2. Inferencia de Parches Multivista (MVPI):

   • Para mitigar la pérdida de información de frontera, la imagen de entrada se procesa a través de múltiples vistas espaciales superpuestas generadas mediante un mecanismo de ventana deslizante.
   • Cada vista es codificada independientemente por el backbone DINOv3 congelado.
   • Las características de las regiones superpuestas se agregan mediante un promedio ponderado, donde los pesos se determinan implícitamente por la frecuencia de cobertura espacial. Esto crea un ensamble implícito que mejora la consistencia de la frontera y reduce el aliasing espacial.

3. Transformer de Fusión de Reconstrucción Multiescala (MRFT):

   • En lugar de decodificadores complejos, un módulo transformer ligero realiza una reconstrucción de características jerárquica.
   • Procesa las características a través de tres etapas (superficial, intermedia y profunda) para refinar la información de textura, estructura y semántica, respectivamente.
   • Las salidas de estas etapas se fusionan para producir una reconstrucción estable de las distribuciones de características normales.
   • Regularización por Jitter: Se añade ruido gaussiano a las características de entrada durante el entrenamiento para evitar el sobreajuste a patrones normales exactos.

4. Puntuación de Anomalía:

   • La puntuación de anomalía se calcula basándose en la distancia de coseno entre las características de entrada y las características reconstruidas ($S = 1 - \cos(z, \hat{z})$).
   • Agregación a Nivel de Imagen: Para manejar el ruido y los valores atípicos, el método aplica suavizado gaussiano seguido de un Top-K pooling (seleccionando los 100 valores extremos más altos) en lugar de un pooling de máximo global o promedio global. Esto equilibra la supresión de ruido con la retención de señales de defectos sutiles.

Contribuciones Clave

• Inferencia de Parches Multivista (MVPI): Una estrategia que construye vistas espaciales superpuestas para eliminar la pérdida de información de frontera, mejorando significativamente la detección de defectos pequeños y ubicados en los bordes.
• Transformer de Fusión de Reconstrucción Multiescala (MRFT): Un módulo ligero que fusiona características jerárquicas de múltiples capas de transformer para modelar distribuciones normales de manera más estable que los enfoques de escala única, sin requerir estructuras de decodificador pesadas.
• Marco de Backbone Congelado Eficiente: Un sistema que logra un rendimiento de vanguardia utilizando un backbone DINOv3 congelado, evitando la sobrecarga computacional de los bancos de memoria o arquitecturas de destilación complejas, manteniendo una alta eficiencia de despliegue.

Resultados Experimentales
El método fue evaluado en tres conjuntos de datos de referencia: MVTec AD, BTAD y el desafiante conjunto de datos UltraChip (centrado en micro-defectos en semiconductores).

• Conjunto de Datos UltraChip: El método propuesto logró un I-AUC medio de 81.9%, superando a modelos recientes como URD y SuperSimpleNet. Los resultados cualitativos mostraron una resaltación precisa de defectos sin el ruido de fondo de falsos positivos generalizado común en otros métodos.
• MVTec AD: El método obtuvo las puntuaciones más altas en todas las métricas entre los baselines comparados, logrando 99.5% I-AUC, 99.2% P-AUC y 96.0% PRO. Demostró un rendimiento superior sobre métodos SOTA como Dinomaly y Subspace.
• BTAD: El marco mantuvo una ventaja constante con un I-AUC promedio de 97.3%, demostrando robustez contra variaciones de iluminación y topologías complejas.
• Estudios de Ablación:
  • La combinación de capas {2, 5, 8} fue identificada como la óptima, equilibrando la captura de textura fina con la estabilidad semántica.
  • Se demostró que el Top-K Pooling (K=100) es superior al Global Max-pooling (vulnerable al ruido) y al Global Average-pooling (sobre-suavizado), proporcionando el mejor equilibrio para la puntuación a nivel de imagen.

Significancia y Reclamaciones
El artículo afirma que la combinación de la inferencia multivista con representaciones de vision transformer congeladas ofrece una solución robusta para la detección de anomalías industriales. La significancia radica en:

1. Precisión vs. Eficiencia: El marco logra una precisión de detección de vanguardia mientras reduce drásticamente el uso de memoria GPU y la sobrecarga computacional en comparación con los métodos pesados de reconstrucción o basados en bancos de memoria.
2. Robustez ante Defectos Pequeños: La estrategia MVPI aborda específicamente los modos de falla de los métodos de rejilla única, permitiendo la detección de defectos sutiles (por ejemplo, diminutos arañazos en las puntas de tornillos) que a menudo son omitidos por los enfoques convencionales.
3. Diseño Minimalista: El enfoque se adhiere a una "filosofía de reconstrucción pura minimalista", operando enteramente en el espacio de características semánticas y evitando la necesidad de generación compleja de pseudo-anomalías o problemas de mapeo de identidad.

Los autores señalan que, si bien el backbone congelado introduce cierta latencia de inferencia, el método demuestra capacidades prometedoras de generalización zero-shot, particularmente en el conjunto de datos UltraChip, lo que sugiere una posible expansión futura hacia escenarios zero-shot o few-shot. El marco actual opera bajo un paradigma de entrenamiento de clase única, lo cual los autores identifican como una limitación para el desarrollo futuro multi-clase unificado.