Resumen Técnico: TGO-I: Observatorio de Geometría Espectral

Planteamiento del Problema

A pesar de la adopción generalizada de los Vision Transformers (ViT) en la visión por computadora, la comprensión fundamental de su geometría representacional y de cómo evoluciona durante el entrenamiento permanece subexplorada en comparación con las adaptaciones a nivel de aplicación. La literatura existente a menudo limita el análisis a capas específicas, etapas de entrenamiento aisladas o observables individuales, dejando un vacío en la comprensión de cómo la geometría de la representación evoluciona conjuntamente a través de la profundidad de la red y el tiempo de entrenamiento. Específicamente, cuestiones sobre cómo cambia la utilización dimensional, cómo se distribuye la varianza a través de las direcciones representacionales y cómo emergen las representaciones globales dentro de las arquitecturas transformer carecen de una investigación empírica sistemática.

Metodología

Para abordar estas brechas, los autores introducen el Transformer Geometry Observatory (TGO), un marco modular diseñado para instrumentar y analizar sistemáticamente la geometría interna de las representaciones de los transformers. La primera entrega, TGO-I, se centra específicamente en la Geometría Espectral.

La configuración experimental involucra los siguientes componentes:

• Modelo y Conjunto de Datos: Un modelo ViT-Small/16 entrenado en el conjunto de datos ImageNet-100 durante 100 épocas.
• Protocolo de Observación: Las activaciones se extraen mediante hooks de propagación hacia adelante (forward hooks) desde el Patch Embedding, el Positional Embedding, los 12 bloques Transformer y la representación final del token CLS.
• Consistencia de Datos: Para asegurar la consistencia observacional, todas las mediciones espectrales se realizan sobre un subconjunto de análisis fijo de 1,000 imágenes de validación, en lugar de mini-batches de entrenamiento dinámicos. Esto resulta en una matriz de representación agregada de tamaño $197,000 \times 384$ (donde $B=1000$ imágenes, $T=197$ tokens, $D=384$ dimensiones).
• Análisis Espectral: El marco computa la matriz de covarianza de características ($C_l$) para cada capa y realiza la descomposición en autovalores (eigendecomposition). Luego deriva un conjunto de observables espectrales para caracterizar la geometría:
  • Rango Efectivo ($r_{eff}$): El exponencial de la entropía de la distribución de autovalores normalizada.
  • Rango Estable ($r_{stable}$): La relación entre la energía espectral total y la dirección espectral dominante.
  • Ratio de Participación (PR): Una estimación del número efectivo de dimensiones que contribuyen al espectro.
  • Entropía Espectral: Cuantifica la uniformidad de la distribución de autovalores.
  • Anisotropía Espectral: Mide el dominio de la dirección espectral principal relativo a la varianza total.
  • Visualizaciones: Análisis directo de matrices de covarianza, eigenspectros, espectros de valores singulares y curvas de decaimiento espectral.

Resultados Clave

El estudio revela un patrón consistente de redistribución espectral progresiva a través de la red conforme el entrenamiento progresa:

1. Aumento de la Utilización Dimensional: Existe un aumento consistente en el Rango Efectivo, el Rango Estable y el Ratio de Participación a través de casi todas las capas monitoreadas. Esto indica que la varianza se está distribuyendo a través de un mayor número de direcciones espectrales en lugar de concentrarse en unas pocas.
2. Disminución de la Anisotropía: La Anisotropía Espectral disminuye significativamente, particularmente en las capas más profundas. Esto sugiere una reducción en el dominio de cualquier dirección espectral única.
3. Aumento de la Entropía Espectral: La Entropía Espectral aumenta, indicando que la distribución de autovalores se vuelve más uniforme y menos concentrada con el tiempo.
4. Evolución de la Estructura de Covarianza: Las matrices de covarianza se vuelven progresivamente más diagonales. Las correlaciones fuera de la diagonal se debilitan, y la representación CLS final exhibe dimensiones de características mayormente descorrelacionadas con la varianza concentrada a lo largo de la diagonal.
5. Dinámicas Específicas de Capa:
   • Embeddings de Patch y Posicionales: Muestran una estabilidad relativa en el rango y la geometría durante todo el entrenamiento.
   • Bloques Transformer: Exhiben aumentos progresivos en la dimensionalidad efectiva y disminuciones en la anisotropía.
   • Token CLS: La representación CLS final muestra los efectos más pronunciados, logrando la mayor dimensionalidad efectiva, la mayor entropía espectral y la menor anisotropía en la red.
6. Aplanamiento Espectral: Los eigenspectros y los espectros de valores singulares se vuelven progresivamente más planos, con el dominio de los autovalores principales disminuyendo en relación con el resto del espectro.

Significado y Reivindicaciones

El artículo posiciona a TGO-I no como un estudio causal que explique por qué ocurren estos cambios geométricos, sino como un marco observacional fundacional que establece mediciones reproducibles de la dinámica de aprendizaje de los transformers.

• Contribución Empírica: El trabajo proporciona evidencia empírica que contradice la intuición común de que el entrenamiento concentra la información en un pequeño número de direcciones dominantes. En su lugar, las representaciones de ViT se vuelven progresivamente menos concentradas espectralmente y cada vez más distribuidas.
• Utilidad del Marco: TGO-I establece un pipeline sistemático para rastrear la evolución geométrica, sirviendo como una línea base para futuras investigaciones.
• Generación de Hipótesis: Aunque el artículo no prueba definitivamente los mecanismos subyacentes, los datos observados motivan tres hipótesis plausibles para investigaciones futuras:
  1. Diversificación de Tokens: Los tokens se vuelven cada vez más distinguibles, ocupando más direcciones espectrales.
  2. Expansión Semántica: El modelo descubre y codifica un mayor número de direcciones de características semánticamente significativas.
  3. Reducción de Redundancia: El entrenamiento reorganiza la información existente en una base más eficiente y menos redundante, reduciendo la dependencia estadística entre características.

Los autores concluyen que distinguir entre estas hipótesis requiere observatorios futuros (TGO-II a TGO-V) capaces de analizar la dinámica de los tokens, la similitud de las representaciones, la geometría de la atención y los paisajes de optimización. El valor principal de TGO-I reside en su capacidad para generar mediciones sistemáticas y reproducibles que identifican fenómenos inesperados y motivan indagaciones mecánicas.