Suppressing Non-Semantic Noise in Masked Image Modeling Representations

Resumen Técnico: Supresión de Ruido No Semántico en Representaciones de MIM

1. El Problema: Ruido Posicional en MIM

El aprendizaje auto-supervisado (SSL) mediante Modelado de Imágenes Enmascaradas (MIM) se ha convertido en un paradigma dominante para obtener backbones de visión robustos (ej. MAE, DINOv2, iBOT). Sin embargo, los autores identifican un problema fundamental: las funciones de objetivo de MIM causan que las representaciones aprendidas retengan una cantidad significativa de información no semántica, específicamente ruido posicional.

• La Causa: Para predecir las parches enmascaradas, el modelo no solo necesita entender el contenido semántico, sino también la ubicación exacta de los parches. Esto lleva a que el modelo "haga trampa" (cheating), dedicando capacidad de representación a codificar coordenadas y patrones espaciales (como sesgos de izquierda/derecha o arriba/abajo) en lugar de puramente características semánticas.
• La Consecuencia: Este ruido persiste incluso en imágenes que carecen de contenido semántico (ruido sintético). Cuando se utilizan estas representaciones para tareas de inferencia zero-shot (sin ajuste fino), el ruido posencial interfiere con las señales semánticas, degradando el rendimiento en tareas densas como la segmentación saliente o la segmentación semántica.
• Diferencia con otros métodos: Los modelos basados en aprendizaje contrastivo (como DINO original) o supervisados no muestran este sesgo posicional tan pronunciado en sus componentes principales.

2. Metodología Propuesta

Los autores proponen un enfoque en dos etapas: primero, cuantificar el ruido y, segundo, eliminarlo sin reentrenar el modelo.

A. Puntuación de Invarianza Semántica (Semantic Invariance Score - SI)
Para medir cuánto ruido no semántico contiene un modelo, introducen una métrica agnóstica al modelo:

1. Análisis PCA: Se aplica Análisis de Componentes Principales (PCA) a los parches de las imágenes para descomponer las representaciones en direcciones de varianza dominante.
2. Comparación de Activaciones: Se comparan las activaciones de los componentes principales en dos conjuntos de datos:
   • Imágenes Reales ($X$): Imágenes semánticamente informativas (ej. ImageNet).
   • Imágenes Sintéticas ($X^c$): Imágenes generadas artificialmente que contienen ruido (ruido rosa, blanco modulado y campos de gradiente) pero sin contenido semántico.
3. Definición del Score: Un componente se considera "invariante semánticamente" (y por tanto, ruido) si responde de manera similar tanto a imágenes reales como a sintéticas. Se define una puntuación $s_d$ basada en la similitud de las distribuciones de activación (similar al coeficiente de Dice, pero ajustado para manejar la incertidumbre). Un puntaje alto indica que el componente es ruido posicional.

B. Proyección de Artefactos Ortogonales Semánticamente (SOAP)
Basándose en la puntuación SI, proponen SOAP, un método de post-procesamiento (post-hoc) que no requiere entrenamiento:

• Mecanismo: Utiliza la base de los componentes principales (PCA) obtenida previamente.
• Proyección: Define un proyector lineal que elimina o atenúa los componentes identificados como invariantes semánticamente (ruido).
• Función de Escala: Para evitar eliminar información útil, aplican una función de ventana de Fermi (una función sigmoide suave) sobre los puntajes SI. Esto permite suprimir selectivamente solo los componentes más ruidosos (los de mayor invarianza) mientras se preservan los componentes semánticos.
• Implementación: SOAP se puede adjuntar a cualquier backbone pre-entrenado como una sola cabeza lineal. Es computacionalmente eficiente y se aplica directamente a las representaciones antes de la inferencia.

3. Contribuciones Clave

1. Análisis Exhaustivo: Demostraron que los objetivos de MIM sesgan sistemáticamente las representaciones hacia la codificación de ruido posicional, un fenómeno que es omnipresente en modelos MIM modernos (incluyendo aquellos con codificaciones posicionales avanzadas como RoPE) pero casi inexistente en modelos contrastivos puros.
2. Nueva Métrica de Diagnóstico: Introdujeron la Puntuación de Invarianza Semántica (SI), una herramienta cuantitativa para diagnosticar el equilibrio entre ruido posicional y señal semántica en representaciones SSL.
3. Método SOAP: Propusieron una estrategia de denoising post-hoc, agnóstica al modelo y sin entrenamiento, que mejora consistentemente el rendimiento zero-shot al suprimir el ruido no semántico.

4. Resultados Experimentales

Los autores evaluaron SOAP en múltiples modelos (MAE, DINOv2, DINOv3, iBOT, CAPI, I-JEPA) y tareas:

• Segmentación Saliente (Zero-shot con TokenCut):
  • La aplicación de SOAP mejoró significativamente el rendimiento en conjuntos de datos como ECSSD, DUTS y DUT-OMRON.
  • Los modelos MIM corregidos alcanzaron o superaron el rendimiento de modelos contrastivos (como DINO) que originalmente funcionaban mejor en esta tarea.
  • En algunos casos, SOAP permitió a TokenCut generar predicciones salientes donde las representaciones crudas fallaban completamente.
• Segmentación Semántica (kNN en ADE20k y PascalVOC):
  • Se observaron mejoras consistentes en el IoU (Intersección sobre Unión) y la precisión de píxeles para todos los modelos MIM evaluados.
  • El modelo MAE mostró mejoras notables, pasando de un IoU muy bajo a uno competitivo tras la corrección.
• Clasificación (kNN en ImageNet):
  • Se observaron mejoras, aunque más modestas que en las tareas densas. Esto es esperado, ya que la clasificación de instancias depende menos de la semántica local fina y más de la información global, por lo que el ruido posicional afecta menos a esta tarea específica.
• Comparación con RASA:
  • SOAP superó a RASA (un método previo que requiere entrenamiento para suprimir pistas de ubicación). SOAP es superior porque no necesita aprender las pistas de posición, sino que las identifica y elimina directamente mediante proyección lineal, siendo además más simple (una sola capa lineal vs. 9 capas entrenadas).

5. Significado e Impacto

• Comprensión Fundamental: El trabajo revela una compensación (trade-off) inherente en el aprendizaje auto-supervisado basado en MIM: la capacidad de reconstruir píxeles enmascarados incentiva al modelo a aprender atajos posenciales que perjudican la fidelidad semántica pura.
• Herramienta Práctica: SOAP ofrece una solución inmediata y de bajo costo computacional para mejorar modelos pre-entrenados existentes sin necesidad de re-entrenamiento costoso.
• Robustez Semántica: Al eliminar el ruido posicional, las representaciones se vuelven más robustas para tareas que requieren una comprensión fina de la estructura del objeto y la relación entre parches, facilitando la adopción de modelos MIM en aplicaciones de visión por computadora del mundo real donde el fine-tuning no es viable.

En conclusión, el paper demuestra que el "ruido" en los modelos MIM no es un defecto aleatorio, sino una consecuencia directa de su objetivo de entrenamiento, y que este ruido puede ser mitigado eficazmente mediante una proyección lineal basada en la invarianza semántica.