Resumen Técnico: Dinámicas Recurrentes por Bloques en Vision Transformers (ViTs)

1. Planteamiento del Problema

A medida que los Vision Transformers (ViTs) se convierten en el estándar para la visión por computadora, surge la necesidad urgente de comprender su fenomenología computacional desde una perspectiva mecanicista. Aunque las arquitecturas de ViTs presentan pistas que sugieren una estructura dinámica (como las conexiones residuales), no existe un marco consolidado que interprete la profundidad de un Transformer como un flujo bien caracterizado.

El problema central es determinar si la profundidad de un ViT entrenado (compuesta por $L$ capas) es realmente una secuencia de operaciones únicas o si, por el contrario, oculta una simplicidad subyacente: ¿puede la computación de estas $L$ capas ser reescrita utilizando solo un pequeño número $k \ll L$ de bloques distintos aplicados de manera recurrente? La similitud representacional entre capas no garantiza necesariamente una equivalencia funcional; por lo tanto, es crucial verificar si estas "fases" observadas reflejan una reutilización genuina de la computación.

2. Metodología

Los autores proponen y validan la Hipótesis de Recurrencia por Bloques (BRH, Block-Recurrent Hypothesis) a través de un enfoque constructivo y empírico.

A. La Hipótesis de Recurrencia por Bloques (BRH)

La BRH postula que, tras el entrenamiento, la profundidad de un ViT se organiza en unas pocas fases contiguas. La computación original de $L$ capas puede ser aproximada con alta precisión utilizando solo $k$ bloques distintos ($k \ll L$) que se aplican recurrentemente, manteniendo el mismo costo computacional. Formalmente, una función $f$ satisface la BRH si su trayectoria interna puede ser reconstruida mediante la composición de bloques con parámetros atados (weight-tied).

B. Descubrimiento de Fases (Algoritmo Max-Cut)

Para identificar dónde comienzan y terminan estas fases recurrentes, los autores desarrollan un algoritmo basado en la similitud representacional capa a capa:

1. Se calculan matrices de similitud (coseno) entre las activaciones de todas las capas.
2. Se observa una estructura de matriz diagonal por bloques, indicando que capas contiguas dentro de un bloque son muy similares entre sí, pero diferentes de otros bloques.
3. Se utiliza un algoritmo de Max-Cut (problema de corte máximo) resuelto mediante programación dinámica para particionar la profundidad en segmentos contiguos que maximizan la similitud intra-bloque y minimizan la inter-bloque.

C. Validación Constructiva: Modelos "Raptor"

Para probar si esta estructura es funcionalmente reutilizable, los autores entrenan Raptor (Recurrent Approximations to Phase-structured TransfORmers):

• Arquitectura: Son aproximaciones recurrentes de ViTs preentrenados, compuestas por $k$ bloques con parámetros atados.
• Entrenamiento: Se utiliza una estrategia de dos etapas para superar la inestabilidad del entrenamiento recurrente:
  1. Teacher Forcing (Forzamiento del Profesor): Cada bloque aprende a predecir la siguiente capa utilizando las activaciones reales (ground-truth) del ViT maestro.
  2. Entrenamiento Autoregresivo: Los bloques se conectan y el modelo se entrena end-to-end usando sus propias predicciones como entrada para la siguiente iteración, asegurando consistencia en bucle cerrado.
• Objetivo: No solo imitar la salida final, sino reconstruir la trayectoria completa de activaciones intermedias del ViT original.

D. Análisis de Sistemas Dinámicos

Una vez validada la BRH, los autores utilizan la estructura recurrente para aplicar herramientas de interpretabilidad dinámica:

• Análisis de convergencia direccional en la esfera unitaria.
• Estudio de la velocidad angular y la coherencia de los tokens.
• Descomposición de modos dinámicos (DMD) para analizar la dimensión de las actualizaciones.

3. Contribuciones Clave

1. Evidencia Empírica de la BRH: Demostración de que ViTs diversos (desde modelos pequeños hasta fundacionales como DINOv2) exhiben una estructura de fases contiguas que permite comprimir la red en pocos bloques recurrentes.
2. Validación Constructiva con Raptor: Creación de modelos Raptor que recuperan el 96% de la precisión de DINOv2 (ViT-Base) en ImageNet-1k utilizando solo 2 bloques recurrentes, y el 98% con 3 bloques, manteniendo un costo de inferencia equivalente. Esto prueba que la reutilización funcional es real y no solo una coincidencia de salida.
3. Marco de Interpretabilidad Dinámica: Desarrollo de un programa para analizar ViTs como sistemas dinámicos discretos, revelando:
   • Convergencia direccional hacia "cuencas angulares" dependientes de la clase.
   • Dinámicas específicas por tipo de token (el token cls realiza reorientaciones tardías agudas, mientras que los tokens de parche muestran coherencia colectiva).
   • Colapso de las actualizaciones a subespacios de bajo rango en las capas profundas.
4. Análisis de Complejidad: Demostración teórica de que la BRH implica una baja complejidad de Levin (descripciones algorítmicas compactas sin sacrificar el tiempo de ejecución), sugiriendo que los ViTs exitosos descubren soluciones normativas de baja complejidad.

4. Resultados Principales

• Rendimiento en Modelos Fundacionales: En DINOv2 (ViT-Base), un modelo Raptor con $k=2$ bloques alcanza un 96.1% de la precisión del modelo original en ImageNet-1k. Con $k=3$, alcanza un 98.2%.
• Similitud de Activaciones: Los modelos Raptor no solo coinciden en la salida final, sino que mantienen una alta similitud de coseno (>0.7) con las activaciones intermedias del ViT maestro a lo largo de toda la profundidad.
• Efecto de la Profundidad Estocástica (Stochastic Depth): Experimentos en ViTs pequeños muestran que aumentar la tasa de dropout estocástico durante el entrenamiento fomenta una mayor similitud entre capas y mejora la capacidad de los modelos Raptor para reconstruir el ViT maestro. Esto sugiere que la regularización promueve la emergencia de la estructura recurrente.
• Intercambiabilidad de Capas: Se demostró que intercambiar capas dentro del mismo bloque (intra-bloque) no degrada significativamente el rendimiento, mientras que intercambiar capas entre bloques diferentes (inter-bloque) causa un colapso del modelo, confirmando la identidad funcional única de cada fase.
• Dinámica de Tokens:
  • Los tokens de parche convergen rápidamente hacia una dirección media (efecto de campo medio).
  • El token cls mantiene una trayectoria más compleja y realiza ajustes finales agudos para la clasificación.
  • Las actualizaciones en las capas tardías colapsan a un rango bajo (aprox. 6 dimensiones), indicando un atractor de baja dimensión.

5. Significado e Impacto

Este trabajo ofrece un cambio de paradigma en la comprensión de los Transformers de visión:

1. Simplicidad Subyacente: Desafía la noción de que los ViTs profundos son inherentemente complejos y únicos en cada capa. En su lugar, proponen que estos modelos descubren y reutilizan un conjunto compacto de primitivas algorítmicas.
2. Interpretabilidad Mecanicista: Al reducir la profundidad a un sistema dinámico recurrente de bajo rango, se abren nuevas vías para analizar, diagnosticar y verificar el comportamiento de estos modelos, lo cual es crucial para aplicaciones de seguridad crítica.
3. Eficiencia Algorítmica: La demostración de que se pueden recuperar casi todas las capacidades de un modelo masivo con muy pocos bloques recurrentes sugiere que la "profundidad" en los ViTs actuales es, en parte, redundante desde una perspectiva algorítmica, ofreciendo un camino hacia arquitecturas más eficientes y comprensibles.

En conclusión, el artículo establece que la profundidad de los ViTs puede entenderse como el despliegue temporal de un sistema dinámico simple, donde la recurrencia es el principio organizador fundamental que permite tanto la alta capacidad de generalización como la interpretabilidad mecánica.