Transformer Geometry Observatory TGO-II: Representational Similarity Observatory

Resumen Técnico: TGO-II: Observatorio de Similitud Representacional

Planteamiento del Problema
Aunque los Vision Transformers (ViTs) han alcanzado un rendimiento de vanguardia, la evolución geométrica de sus representaciones internas durante el entrenamiento supervisado sigue sin comprenderse suficientemente. Investigaciones previas, incluyendo el trabajo anterior de los autores (TGO-I), se han centrado intensamente en los mecanismos de atención, las redes de alimentación hacia adelante (feed-forward networks) y las propiedades espectrales (autovalores, rango efectivo) de la covarianza de características. Sin embargo, la similitud espectral por sí sola no confirma si las capas realizan computaciones similares, ya que las capas pueden compartir características espectrales mientras ocupan subespacios representacionales distintos. Además, los análisis existentes carecen a menudo de una investigación sistemática sobre cómo la similitud de representación, la complejidad del manifold y las estructuras de interacción de tokens coevolucionan a lo largo del proceso de entrenamiento.

Metodología
Los autores presentan TGO-II (Transformer Geometry Observatory-II), un marco diseñado para analizar la geometría representacional de un modelo ViT-Small/16 entrenado en ImageNet-100 durante 100 épocas. El estudio utiliza un subconjunto fijo de 1,000 imágenes de validación para asegurar una observabilidad consistente. La metodología emplea cuatro herramientas analíticas primarias:

1. Similitud de Representación: Medida mediante Alineación de Núcleos Centrados (CKA) y Análisis de Correlación Canónica de Vectores Singulares (SVCCA) para cuantificar la alineación geométrica y la similitud entre las representaciones de las capas a lo largo del entrenamiento.
2. Dimensionalidad Intrínseca: Estimada mediante la métrica de Dimensión Intrínseca de Dos Vecinos Más Cercanos (TwoNN-ID) para evaluar la complejidad y los grados de libertad dentro del manifold de la representación aprendida.
3. Estructura de Interacción de Tokens: Analizada mediante matrices de covarianza de tokens y una relación de acoplamiento de tokens. Este enfoque examina las relaciones de pares entre tokens para determinar si se vuelven estadísticamente independientes (desacoplados) o si permanecen acoplados a medida que el entrenamiento progresa.
4. Vistas Complementarias: El marco trata la covarianza del espacio de características ($C_{feat} \propto A^T A$) y la covarianza del espacio de tokens ($C_{token} \propto AA^T$) como vistas complementarias de la misma geometría de representación subyacente, que comparten idénticos autovalores no nulos.

Resultos Clave
Los experimentos arrojaron tres observaciones primarias sobre la evolución geométrica de las representaciones de los ViT:

• Especialización Progresiva: Tanto las puntuaciones de CKA como las de SVCCA exhiben un declive progresivo a lo largo del entrenamiento. Esto indica que, conforme avanza el entrenamiento, las capas del transformer se vuelven cada vez más especializadas, desarrollando geometrías representacionales distintas en lugar de mantener la redundancia. Ocurre una transición notable entre las Capas 4 y 5, donde la similitud cae antes de estabilizarse en las capas más profundas.
• Expansión del Manifold: La dimensionalidad intrínseca (TwoNN-ID) aumenta consistentemente durante las etapas iniciales del entrenamiento antes de estabilizarse. Esta tendencia sugiere una expansión progresiva del manifold de representación hacia un conjunto mayor de grados de libertad localmente accesibles. La dimensionalidad alcanza su máximo en las capas intermedias (específicamente la Capa 8) y disminuye en los bloques finales, lo que indica un perfil de complejidad dependiente de la profundidad.
• Acoplamiento de Tokens Persistente: Contrario a la hipótesis de que el aumento de la complejidad surge de que los tokens se vuelvan independientes, el análisis de la covarianza de tokens revela que las estructuras de interacción fuerte persisten durante todo el entrenamiento. En lugar de converger a una matriz diagonal, la covarianza de los tokens evoluciona hacia estructuras organizadas de tipo rayado, particularmente en las capas más profundas. Esto demuestra que la complejidad representacional crece mientras los tokens permanecen fuertemente acoplados.

Contribuciones Clave

• Introducción del Marco: La propuesta de TGO-II como un observatorio sistemático para estudiar la dinámica de aprendizaje de los transformers a través de la geometría de la representación, complementando el enfoque espectral de TGO-I.
• Evidencia Empírica de Coevolución: Proporcionar evidencia de que el aumento de la complejidad representacional (expansión del manifold) coexiste con la disminución de la similitud inter-capa (especialización) y el acoplamiento persistente de los tokens.
• Refutación del Desacoplamiento de Tokens: Desafiar la hipótesis de "Diversificación de Tokens" al demostrar que los tokens no alcanzan la independencia estadística completa; más bien, la complejidad emerge a través de transformaciones sofisticadas de sistemas de tokens acoplados.
• Identificación de Zonas de Transición: Destacar un cambio de comportamiento distintivo alrededor de las Capas 4–5, lo que sugiere una transición del procesamiento de interacción de tokens de bajo nivel hacia una representación abstracta y dependiente del contexto.

Significancia y Reivindicaciones
El artículo sostiene que estos hallazgos motivan una nueva hipótesis de trabajo: Los Vision Transformers aumentan la complejidad representacional a través de transformaciones progresivamente más ricas de sistemas de tokens altamente acoplados, en lugar de a través de la independencia progresiva de los tokens.

Los autores posicionan a TGO-II como un paso necesario más allá del análisis espectral, argumentando que comprender la geometría de las representaciones mismas es crucial para una imagen completa del aprendizaje de los transformers. El trabajo sugiere que la expansión espectral observada (notada en TGO-I) es probablemente impulsada por la Hipótesis de Expansión del Manifold, donde el manifold de representación subyacente se expande hacia dimensiones intrínsecas más altas, permitiendo relaciones de características más ricas sin requerir el desacoplamiento de los tokens.

El artículo mantiene la modestia respecto a las afirmaciones semánticas, señalando que, si bien se observa la especialización representacional, TGO-II no mide directamente el contenido semántico o la separación de clases. Por consiguiente, la hipótesis de "Expansión Semántica" permanece inconclusa a la espera de trabajos futuros. Los autores enmarcan estos hallazgos como una base para futuros observatorios (TGO-III a TGO-VI) destinados a vincular la evolución geométrica con la estructura semántica, la dinámica de los tokens, los mecanismos de atención y los paisajes de optimización.