Resumen Técnico: Las Codificaciones Posicionales Anclan la Estructura Espacial en los Vision Transformers

Planteamiento del Problema

Los Vision Transformers (ViTs) carecen de los sesgos inductivos inherentes de localidad y equivariancia de traslación que se encuentran en las redes neuronales convolucionales. En consecuencia, dependen de las Codificaciones Posicionales (PEs) para inyectar información espacial, permitiendo que el modelo distinga los tokens basándose en su ubicación. Sin embargo, el papel funcional de las PEs sigue siendo ambiguo. Trabajos previos indican que los ViTs pueden retener un rendimiento sustancial incluso cuando las PEs se eliminan o degradan, lo que sugiere que la estructura espacial puede emerger parcialmente a partir del contenido de los parches por sí solo.

Esto crea un enigma central: si la estructura espacial puede surgir sin una guía posicional explícita, ¿qué papel específico desempeñan las PEs? Los estudios existentes han abordado esto principalmente mediante comparaciones de rendimiento en tareas posteriores y variaciones arquitectónicas, dejando en gran medida inexplorado el impacto mecanístico de las PEs en la geometría representacional interna y su relación específica con la robustez ante cambios en la distribución.

Metodología

Los autores adoptan una perspectiva geométrica para analizar cómo las PEs moldean las representaciones de los tokens a través de la pila (stack) del transformer. La metodología se basa en tres componentes principales:

1. Correlación de Distancia de Similitud Espacial (SSDC):
   Una métrica novedosa introducida para cuantificar la estructura espacial. La SSDC calcula la correlación de rango de Spearman entre la matriz de similitud de tokens ($S$) y la matriz de distancia espacial negativa ($D$) entre pares de tokens.
   $$SSDC = \rho_{Spearman} (\{S_{ij}\}_{i<j}, \{-D_{ij}\}_{i<j})$$
   Valores más altos de SSDC indican que los tokens espacialmente próximos tienen representaciones más similares. Los autores utilizan la SSDC como un proxy comparativo para rastrear cambios a través de la profundidad y la sensibilidad a las intervenciones, en lugar de como una medida absoluta de un mecanismo específico.

2. Intervenciones de Permutación:
   Para distinguir entre la organización espacial basada en índices (anclada a la posición del token) y la basada en contenido (impulsada por el contenido del parche visual), los autores emplean dos intervenciones:

   • Permutación Aleatoria en Inferencia (RPI): El orden de los tokens se desordena durante la inferencia mientras los índices posicionales permanecen fijos. Esto rompe el vínculo entre el contenido del token y la ubicación espacial. Si la estructura espacial persiste, está anclada al índice; si colapsa, es impulsada por el contenido.
   • Permutación Aleatoria en Entrenamiento (RPT): Los tokens se desordenan en cada paso hacia adelante (forward pass) durante el entrenamiento, mientras las PEs permanecen fijas a los índices originales. Esto evita que el modelo aprenda un mapeo consistente de índice-a-ubicación, destruyendo efectivamente el marco de referencia posicional estable.

3. Evaluación de Robustez:
   Los autores evalúan los modelos bajo cambios de distribución que alteran el contenido (compresión JPEG y desenfoque gaussiano) utilizando una Puntuación de Fragilidad (FS), definida como la caída relativa en la precisión ($1 - A_{shift}/A_{normal}$).

4. Escalamiento Posicional:
   Para investigar el vínculo causal entre la organización espacial y la robustez, la magnitud de las codificaciones posicionales absolutas (APE) aprendidas se escala por un factor $\alpha \in [0, 1]$ durante la inferencia. Esto permite la degradación continua de la señal espacial basada en el índice sin necesidad de reentrenamiento.

Principales Contribuciones y Resultados

1. Emergencia de la Estructura Impulsada por el Contenido sin PEs

Incluso en modelos entrenados sin PEs ("ablados"), emerge una estructura espacial no trivial durante el entrenamiento. Sin embargo, esta estructura es impulsada por el contenido. Bajo RPI, la SSDC de los modelos ablados colapsa a casi cero en todas las capas, indicando que su organización espacial depende enteramente del contenido del parche y falla cuando se rompe la correspondencia contenido-ubicación.

2. Las PEs Inducen una Organización Espacial Anclada al Índice

Los modelos entrenados con PEs (Absolutas Aprendidas, Sinusoidales y Rotativas/RoPE) exhiben un cambio distintivo hacia una organización espacial anclada al índice.

• Bajo RPI, estos modelos muestran una recuperación sustancial de la SSDC, indicando que sus representaciones permanecen parcialmente ancladas a los índices de los tokens incluso cuando el contenido de los parches se permuta.
• Trayectorias según la Profundidad: Aunque todos los tipos de PE inducen este cambio, difieren en cómo se desarrolla la estructura:
  • APE y Sinusoidales: Exhiben un aumento rápido de la SSDC en las capas iniciales, lo que sugiere una inyección temprana de estructura espacial mediante señales aditivas.
  • RoPE: Muestra una acumulación gradual y continua de estructura a través de la profundidad, consistente con su integración multiplicativa en los mecanismos de atención.

3. La Primacía de un Marco de Referencia Estable

El estudio demuestra que la presencia de un marco de referencia posicional estable es el factor crítico para la robustez, más que el mecanismo de codificación específico.

• Modelos RPT: A pesar de tener PEs presentes, los modelos entrenados con RPT (donde el mapeo índice-ubicación es inconsistente) no logran recuperar la SSDC bajo RPI y exhiben puntuaciones de fragilidad similares a los modelos ablados.
• Conclusión: La mera presencia de PEs no es suficiente; el modelo debe aprender un mapeo consistente entre los índices de los tokens y las ubicaciones espaciales para lograr la robustez.

4. La Robustez se Correlaciona con la Organización Basada en Índices

Existe una fuerte correlación entre la estabilidad de la organización espacial basada en índices y la robustez ante cambios de distribución que alteran el contenido:

• Puntuaciones de Fragilidad: Los modelos con organización estable anclada al índice (APE, Sinusoidal, RoPE) son significativamente más robustos a la compresión JPEG (Fragilidad $\sim 0.30–0.43$) que los modelos ablados o RPT (Fragilidad $\sim 0.66$).
• Variación Secundaria: Aunque todos los modelos basados en PE son robustos, RoPE logra consistentemente la menor fragilidad, sugiriendo que el mecanismo de codificación juega un papel secundario, posiblemente debido a su integración progresiva a través de la profundidad.
• Experimentos de Escalamiento: A medida que se reduce la magnitud de la APE ($\alpha$), la $\Delta SSDC$ (la recuperación de la estructura espacial) colapsa, y la fragilidad aumenta drásticamente. Una vez que la organización espacial se disrumpe por completo ($\alpha \le 0.4$), la fragilidad se estabiliza. Esto confirma que la degradación de la robustez sigue a la pérdida de la estructura espacial.

Significado y Reivindicaciones

El artículo proporciona una explicación geométrica de cómo funcionan las codificaciones posicionales en los Vision Transformers. Los autores afirman que:

1. La robustez depende del marco de referencia: El principal motor de la robustez ante cambios de distribución que alteran el contenido es el establecimiento de una organización espacial estable y anclada al índice, no la forma matemática específica de la PE (aprendida vs. fija, aditiva vs. multiplicativa).
2. Evidencia basada en intervenciones: La relación entre la organización espacial y la robustez se identifica mediante intervenciones controladas (RPI, RPT, escalamiento). Los autores declaran explícitamente que, si bien la evidencia es sólida, identifica una relación en lugar de un mecanismo causal estrictamente aislado.
3. Implicaciones de diseño: Los futuros esquemas de codificación deben priorizar la capacidad de establecer un marco de referencia posicional consistente. El mecanismo de codificación específico importa menos que la estabilidad del mapeo índice-ubicación aprendido durante el entrenamiento.

Los autores mantienen la modestia respecto a la generalización, señalando que estos hallazgos se basan en modelos ViT-S entrenados desde cero en ImageNet-100 y que la evaluación de robustez es específica para perturbaciones que alteran el contenido, no extendiéndose necesariamente a cambios adversarios o cambios de distribución semántica.