Resumen Técnico: Inducción de Localidad Espacial en Vision Transformers a través del Protocolo de Entrenamiento

Declaración del Problema

Los Vision Transformers (ViTs) han logrado un rendimiento competitivo en la clasificación de imágenes, pero difieren fundamentalmente de las Redes Neuronales Convolucionales (CNN) en sus sesgos inductivos. Mientras que las CNN incorporan explícitamente la localidad espacial a través de convoluciones y campos receptivos limitados, los ViTs utilizan autoatención global, permitiendo que cada token atienda a cualquier otro token sin restricción espacial. Aunque esta flexibilidad permite capturar dependencias de largo alcance, hace necesario que el modelo aprenda a atender localmente si dicho comportamiento es beneficioso para la tarea.

Trabajos anteriores de Raghu et al. [12] demostraron que la localidad en las primeras capas de ViT emerge principalmente a través de preentrenamiento a gran escala (por ejemplo, en JFT-300M) o cuando la capacidad del modelo es baja en relación con el tamaño de los datos. Sin embargo, sigue sin estar claro si el propio protocolo de entrenamiento, específicamente las técnicas de aumento y regularización aplicadas durante el entrenamiento desde cero, puede inducir localidad espacial en conjuntos de datos de escala moderada (50.000–100.000 imágenes) sin necesidad de un preentrenamiento masivo.

Metodología

Los autores diseñaron un experimento controlado para aislar los efectos de los protocolos de entrenamiento sobre la estructura interna de atención de los ViTs.

Configuración Experimental

• Arquitectura: Un ViT compacto (Profundidad $L=8$, Incrustación $D=192$, 8 cabezas, $\approx$2,4 millones de parámetros) entrenado desde cero. El dropout interno se estableció en 0,0 para asegurar que cualquier efecto observado fuera atribuible únicamente al protocolo de entrenamiento y no a la regularización estocástica dentro de la red.
• Conjuntos de datos: Se utilizaron tres conjuntos de datos de complejidad creciente: CIFAR-10, CIFAR-100 y Tiny-ImageNet. Para garantizar la comparabilidad de las métricas espaciales, todas las imágenes se procesaron en $N_p=64$ parches (una cuadrícula de $8 \times 8$).
• Protocolos:
  • Línea base: Aumento mínimo (Recorte Aleatorio, Volteo Horizontal Aleatorio) y pérdida estándar de Entropía Cruzada.
  • Moderno: Incorpora tres componentes estándar en el entrenamiento eficiente de Transformers: AutoAugment (o ColorJitter para Tiny-ImageNet), CutMix y Suavizado de Etiquetas.
• Métricas: El estudio caracteriza los patrones de atención utilizando dos métricas por cabeza:
  1. Distancia Media de Atención (MAD): Cuantifica la distancia espacial promedio de los tokens atendidos. Valores más bajos indican atención local.
  2. Entropía de Atención Normalizada: Mide la concentración de la distribución de atención. Valores más bajos indican atención concentrada en pocos tokens.

Estudio de Ablación

Para identificar el impulsor específico de la localidad, se realizó un estudio de ablación sistemático en CIFAR-100. Esto implicó:

1. Eliminar componentes individuales del protocolo Moderno.
2. Añadir componentes individuales al protocolo de Línea base.
   Este diseño cubrió las ocho combinaciones posibles de los tres componentes (AutoAugment, CutMix, Suavizado de Etiquetas).

Resultados Clave

1. Comparación de Protocolos

En los tres conjuntos de datos, el protocolo Moderno produjo consistentemente una atención más local y concentrada en las primeras capas en comparación con la Línea base.

• CIFAR-100: El efecto fue más pronunciado. La MAD mínima disminuyó de 0,316 (Línea base) a 0,008 (Moderno).
• Espacio de Comportamiento: En el espacio MAD-Entropía, el protocolo de Línea base mostró una distribución uniforme de cabezas en la región de alta distancia y alta entropía (atención global y difusa). El protocolo Moderno indujo una trayectoria donde las primeras capas se desplazaron hacia la región de baja distancia y baja entropía (local y concentrada), imitando la estructura jerárquica de las CNN antes de converger hacia una atención global en capas más profundas.

2. Hallazgos de la Ablación

El estudio de ablación identificó a CutMix como el único factor determinante para la emergencia de la localidad espacial.

• Separación Binaria: Todas las condiciones que contenían CutMix (Moderno, $-$AutoAugment, $-$Suavizado de Etiquetas, $+$CutMix) exhibieron una MAD mínima $\le 0,024$. Por el contrario, todas las condiciones sin CutMix (Línea base, $-$CutMix, $+$AutoAugment, $+$Suavizado de Etiquetas) permanecieron en MAD $\ge 0,210$.
• Independencia de otros componentes: AutoAugment y el Suavizado de Etiquetas no mostraron ningún efecto independiente sobre la localidad. Añadir solo AutoAugment o Suavizado de Etiquetas a la Línea base resultó en valores de MAD casi idénticos a los de la Línea base.
• Precisión vs. Localidad: Tanto CutMix como AutoAugment mejoraron la precisión de prueba en márgenes comparables sobre la Línea base ($\approx$6–7 puntos porcentuales). Sin embargo, solo CutMix alteró la geometría de la atención para inducir localidad.

Significado y Afirmaciones

El artículo afirma demostrar que los protocolos de entrenamiento pueden inducir localidad espacial en Vision Transformers entrenados desde cero en conjuntos de datos de escala moderada, desafiando la noción de que tal comportamiento requiere preentrenamiento a gran escala o restricciones arquitectónicas específicas.

• Mecanismo: Los autores postulan que CutMix induce localidad al obligar al modelo a clasificar correctamente utilizando solo regiones parciales de la imagen. Esta presión incentiva a las primeras capas a extraer información discriminativa de vecindades locales, creando efectivamente un sesgo inductivo similar al de las CNN.
• Distinción con trabajos anteriores: Mientras que Raghu et al. [12] establecieron la escala de los datos como un factor crítico para la localidad, este trabajo identifica la presión para clasificar desde regiones parciales (a través de CutMix) como un factor alternativo y suficiente.
• Insight Estructural: El estudio destaca que las mejoras en la precisión de clasificación no necesariamente se correlacionan con cambios en la estructura interna de atención. Técnicas como AutoAugment y CutMix pueden producir ganancias de precisión similares, pero operan a través de mecanismos internos fundamentalmente diferentes (aumentar la diversidad de entrada vs. inducir extracción de características locales).

Limitaciones

Los autores reconocen varias limitaciones:

• Los experimentos se realizaron en una única arquitectura compacta; la generalización a modelos más grandes (por ejemplo, ViT-B, ViT-L) requiere validación.
• El estudio utilizó una única semilla de inicialización.
• El estudio de ablación se realizó exclusivamente en CIFAR-100.
• No se analizaron las dinámicas temporales de cuándo emerge la localidad durante el entrenamiento.

El trabajo futuro propuesto incluye validación con múltiples semillas, replicación en otros conjuntos de datos, extensión a arquitecturas más grandes y análisis temporal de la emergencia de la localidad.