SVD-ViT: Does SVD Make Vision Transformers Attend More to the Foreground?

Resumen Técnico: SVD-ViT

1. El Problema: Ruido de Fondo y Artefactos en ViT

Los Vision Transformers (ViT) han revolucionado la visión por computadora gracias a su mecanismo de auto-atención global. Sin embargo, el artículo identifica una debilidad fundamental: al basarse en la similitud entre parches sin un sesgo inductivo de localidad (como el que tienen las CNN), los ViT carecen de un mecanismo explícito para distinguir entre el objeto principal (foreground) y el fondo (background).

Esto provoca dos problemas principales:

• Contaminación por el fondo: El token de clasificación [CLS] puede agregar características irrelevantes del fondo, degradando la precisión.
• Artefactos de alta norma: En capas profundas, aparecen componentes de alta magnitud que no contienen información semántica (ruido/artefactos), lo que distorsiona la representación de las características.

2. Metodología Propuesta: SVD-ViT

Los autores proponen SVD-ViT, una arquitectura que integra la Descomposición en Valores Singulares (SVD) directamente en el proceso de extracción de características. La hipótesis central es que, en el espacio de características, el objeto principal exhibe una mayor varianza que el fondo, y la SVD puede utilizarse para separar ambos.

La arquitectura se compone de tres elementos clave:

• Módulo SPC (Spatial Principal Components): Es el núcleo del método. En lugar de depender únicamente del token [CLS] tradicional, el módulo SPC utiliza la SVD para extraer los vectores singulares de la izquierda (que capturan la estructura espacial) y genera nuevos tokens llamados [SPC] tokens. Estos tokens representan las componentes principales espaciales donde se concentra la información del objeto, actuando como un mecanismo de agregación de características robusto al ruido.
• SSVA (Spatial Singular Value Aggregator): Un módulo plugin que mejora la selectividad. Dado que los componentes con mayor varianza no siempre son los más útiles para la tarea, el SSVA utiliza un mecanismo dependiente de la entrada para ponderar y combinar selectivamente los vectores singulares, creando bases reconstruidas que son más relevantes para la clasificación.
• ID-RSVD (Input-Dependent Randomized SVD): Para evitar el alto costo computacional de la SVD estándar, utilizan la SVD aleatorizada (RSVD). Sin embargo, para evitar que el ruido del fondo domine la proyección, proponen el ID-RSVD, que sustituye la matriz de proyección aleatoria fija por una matriz de boceto (sketching) aprendible y dependiente de la entrada. Esto permite que el modelo "busque" activamente los subespacios que contienen información discriminativa.

3. Contribuciones Clave

1. Análisis Espectral de ViT: Demuestran mediante visualización que los vectores singulares líderes de los mapas de características de un ViT capturan efectivamente las regiones del objeto principal.
2. Nueva Aplicación de SVD: A diferencia de los usos tradicionales de SVD en deep learning (que se centran en comprimir pesos estáticos), este trabajo aplica la SVD a los mapas de características dinámicos para mejorar la extracción de información.
3. Arquitectura de Agregación de Tokens: Introducen un nuevo paradigma de agregación de información mediante tokens derivados de la descomposición espectral.

4. Resultados Experimentales

El modelo fue evaluado en cinco conjuntos de datos (CUB-200-2011, FGVC-Aircraft, Stanford Cars, Food-101 y CIFAR-100). Los resultados principales indican:

• Mejora de la precisión: SVD-ViT supera consistentemente al modelo base (ViT) en todos los datasets.
• Ganancias significativas: Se observaron mejoras de hasta +2.38 puntos porcentuales en CUB-200-2011 y +2.82 puntos en FGVC-Aircraft.
• Eficacia en capas profundas: El análisis de inserción de capas mostró que el módulo SPC es más efectivo cuando se inserta en las capas finales (más abstractas), donde la representación del objeto es más coherente.
• Supresión de artefactos: Las visualizaciones cualitativas confirman que SVD-ViT logra estructuras espaciales continuas alineadas con el objeto, eliminando los "picos" de alta norma (artefactos) que presenta el ViT estándar.

5. Significado y Conclusión

El trabajo de Murata y Hotta demuestra que la descomposición espectral es una herramienta poderosa para dotar a los Transformers de un sesgo inductivo espacial. Al forzar al modelo a atender a las componentes de mayor importancia estructural, SVD-ViT logra una separación más limpia entre objeto y fondo, mejorando la robustez y la precisión en tareas de clasificación, especialmente en escenarios de clasificación de grano fino (fine-grained classification) donde los detalles del objeto son críticos.