MuRF: Unlocking the Multi-Scale Potential of Vision Foundation Models

1. El Problema

Los Modelos Fundacionales de Visión (VFMs), como DINOv2 o SigLIP, se han convertido en la piedra angular de la visión por computadora moderna. Aunque las técnicas de entrenamiento recientes permiten a estos modelos manejar tamaños de entrada variables, la inferencia estándar sigue siendo rígida, limitándose a una única resolución fija (generalmente la más alta disponible o una "óptima").

Los autores identifican que este paradigma de "escala única" ignora una propiedad fundamental de la percepción visual:

• Vistas de baja resolución: Son excelentes para la reconstrucción semántica global y el reconocimiento coherente debido a sus parches relativos más grandes, pero carecen de detalles finos.
• Vistas de alta resolución: Son esenciales para el refinamiento de detalles de alta frecuencia y bordes precisos, pero a menudo introducen ruido o pierden el contexto global, lo que puede llevar a segmentaciones incompletas.

Al restringir la inferencia a una sola escala, los métodos actuales comprometen inevitablemente ya sea la coherencia global o la precisión local.

2. Metodología: Multi-Resolution Fusion (MuRF)

MuRF es una estrategia simple pero universal diseñada para aprovechar la sinergia de múltiples resoluciones durante la inferencia, sin necesidad de reentrenar el modelo base (backbone).

Proceso Técnico:

1. Construcción de la Pirámide de Entrada: Una imagen de entrada $x$ se redimensiona a un conjunto de factores de escala diferentes ($S_{res} = \{s_1, s_2, ..., s_k\}$).
2. Extracción de Características Congelada: Cada imagen redimensionada se procesa a través del mismo VFM congelado (por ejemplo, DINOv2). Esto genera mapas de características independientes para cada escala ($\mathcal{F}_s$).
3. Alineación Espacial: Todos los mapas de características se muestrean hacia arriba (upsample) mediante interpolación bilineal a una resolución espacial común (típicamente el tamaño original de la imagen).
4. Fusión por Concatenación: En lugar de sumar o promediar las características (lo que podría causar interferencia destructiva entre señales de diferentes escalas), MuRF concatena los mapas de características a lo largo del canal.
   • La representación final $\mathcal{F}_{MuRF}$ tiene una dimensión de canal $D = |S_{res}| \times d$, donde $d$ es la dimensión original.
   • Esto preserva la independencia de las señales de "reconocimiento" (baja resolución) y "refinamiento" (alta resolución).
5. Adaptación a Tareas Específicas: Se utilizan cabezas (heads) ligeras y entrenables sobre esta representación fusionada para tareas específicas (segmentación, detección de anomalías, etc.), manteniendo el backbone congelado.

Variantes por Tarea:

• Predicción Densa (Segmentación/Profundidad): Se usa una cabeza convolucional simple para proyectar los canales fusionados a la salida deseada.
• Detección de Anomalías No Supervisada: Se calculan mapas de puntuación de anomalía independientes para cada resolución (usando distancias a vecinos más cercanos en bancos de memoria) y luego se promedian después del upsampling.
• Modelos de Lenguaje Multimodal (MLLM): Las características fusionadas se proyectan al espacio de embeddings del LLM, manteniendo la misma longitud de secuencia de tokens visuales que la base de una sola escala para evitar sobrecarga computacional.

3. Contribuciones Clave

• Universalidad y Libres de Entrenamiento: MuRF no está atado a una arquitectura específica ni requiere reentrenar el VFM. Funciona como una mejora fundamental a la representación visual que se puede aplicar a cualquier VFM congelado.
• Sinergia Reconocimiento-Refinamiento: Demuestra que la fusión de vistas complementarias en el espacio de características resuelve el compromiso tradicional entre contexto global y detalles locales.
• Validación en Múltiples Familias de Modelos: Se valida principalmente en DINOv2, pero también demuestra generalización exitosa en modelos contrastivos como SigLIP2.
• Eficiencia: Aunque procesa múltiples resoluciones, la arquitectura está diseñada para que el costo computacional adicional sea manejable y los beneficios en rendimiento sean significativos.

4. Resultados Experimentales

Los autores validaron MuRF en cuatro tareas críticas, mostrando mejoras consistentes sobre las líneas base de escala única:

• Segmentación Semántica (ADE20K, PASCAL VOC):

  • MuRF superó significativamente a las líneas base de una sola escala. En ADE20K, mejoró el mIoU en un 4.2% y en PASCAL VOC en un 5.9% sobre la mejor configuración de una sola escala (DINOv2-ViT-B/14).
  • Las visualizaciones muestran bordes más nítidos y una mejor coherencia de objetos grandes.

• Estimación de Profundidad (NYU Depth V2, SUN RGB-D):

  • Logró menores errores RMSE (Root Mean Squared Error). En NYU Depth V2, redujo el error de 0.394 (base) a 0.368.
  • La fusión permite una mejor razonamiento geométrico global y precisión en los límites de los objetos.

• Comprensión Visual Multimodal (VQA con LLaVA):

  • Al integrar MuRF en LLaVA (usando DINOv2 y SigLip2 como codificadores visuales), se mejoraron las puntuaciones en benchmarks como MME, GQA y MMBench.
  • El modelo puede razonar simultáneamente sobre escenas macroscópicas y detalles microscópicos sin aumentar la longitud de la secuencia de tokens del LLM.

• Detección de Anomalías No Supervisada (MVTec AD 2):

  • En un régimen totalmente libre de entrenamiento, MuRF alcanzó resultados State-of-the-Art (SOTA) en el subconjunto TESTpriv,mix, superando a métodos como PatchCore y SuperAD.
  • La capacidad de detectar tanto defectos estructurales grandes (con baja resolución) como rasguños microscópicos (con alta resolución) fue decisiva.

5. Significado e Impacto

El trabajo de MuRF establece que la agregación multi-resolución en la inferencia es un principio general para desbloquear el potencial completo de los codificadores visuales preentrenados.

• Cambio de Paradigma: Sugiere que no es necesario desarrollar arquitecturas complejas de entrenamiento multi-escala para obtener beneficios de escala; una estrategia de fusión inteligente en la fase de inferencia es suficiente y altamente efectiva.
• Eficiencia de Recursos: Permite mejorar drásticamente el rendimiento de modelos existentes (incluso los más grandes y costosos) sin el costo computacional de reentrenarlos, simplemente cambiando el protocolo de inferencia.
• Robustez: Proporciona representaciones visuales más ricas y robustas que son esenciales para aplicaciones del mundo real donde los objetos aparecen a diferentes escalas y niveles de detalle.

En resumen, MuRF demuestra que la "división del trabajo" entre resoluciones bajas y altas es real y explotable, ofreciendo una solución simple, universal y potente para la visión por computadora moderna.