Resumen Técnico: Geometría de la Trayectoria de las Representaciones de los Transformers a través de las Capas

Planteamiento del Problema

La interpretabilidad mecánica actual de los modelos transformer opera mayoritariamente en dos regímenes: el rastreo de circuitos computacionales específicos (por ejemplo, cabezales de inducción, capas MLP) o el sondeo de embeddings capa por capa para características lingüísticas preespecificadas. Ambos paradigmas tratan las capas de la red como instantáneas independientes, ignorando la estructura geométrica continua de cómo evolucionan las representaciones a lo largo de la profundidad de la red. Este artículo aborda el problema abierto de comprender cómo evolucionan las representaciones de los transformers a través de las capas, en lugar de simplemente qué codifican en un punto estático.

Metodología

Los autores reformulan el paso hacia adelante (forward pass) del transformer como una trayectoria de población discreta a través de una variedad de representación de alta dimensión ($\mathbb{R}^d$). Inspirado en los análisis de trayectorias de población en la neurociencia computacional, el estudio evita la reducción de dimensionalidad para el cálculo métrico, operando enteramente en el espacio ambiente completo para evitar artefactos de proyección.

Marco Central

1. Extracción de la Trayectoria: Para una secuencia de entrada, se extraen los estados ocultos en cada capa $l$ (desde los embeddings de entrada $h^{(0)}$ hasta los salidas finales $h^{(L)}$). Las representaciones a nivel de secuencia se obtienen mediante el agrupamiento medio (mean pooling) sobre los tokens sin relleno (non-padding).
2. Métricas Geométricas: Se definen cinco métricas directamente en $\mathbb{R}^d$:
   • Longitud de la Trayectoria ($L$): Desplazamiento euclidiano total a través de las capas.
   • Curvatura ($\kappa$): El ángulo de giro entre vectores de desplazamiento consecutivos; la curvatura media ($\bar{\kappa}$) mide la no linealidad.
   • Índice de Convergencia Semántica (CI): Mide la compresión de prompts semánticamente relacionados frente a otros no relacionados ($D_{entre} - D_{dentro}$).
   • Similitud de Coseno por Capa (SIM): Similitud angular entre capas adyacentes para detectar transiciones de fase.
   • Estabilidad Representacional: Similitud entre un prompt y su perturbación léxica para medir la abstracción de la forma superficial.
3. Diseño Experimental:
   • Modelos: Tres familias de decodificadores (decoder-only): GPT-2 Small, TinyLlama-1.1B y Qwen2.5-1.5B.
   • Prompts: 150 prompts controlados semánticamente a través de cinco familias: Categorías Semánticas, Variaciones Léxicas, Razonamiento Analógico, Razonamiento de Múltiples Pasos y Conceptos Ambiguos.
   • Controles: Cuatro controles rigurosos (Etiquetas Aleatorias, Embeddings Aleatorios, Orden de Capas Mezclado, Múltiples Métodos de Proyección) para distinguir la computación aprendida de los artefactos geométricos.

Contribuciones Clave

El artículo introduce un marco de geometría de trayectoria para la interpretabilidad de los transformers que es independiente de sondas (probe-free) y agnóstico al modelo. Define cinco métricas de alta dimensión para caracterizar la dinámica de la representación sin requerir clasificadores o ajuste fino (fine-tuning). Los autores lanzan un flujo de trabajo de código abierto que permite este análisis para cualquier modelo de lenguaje causal.

Resultados Clave

A través de las tres arquitecturas y validado contra los controles, el estudio reporta cuatro hallazgos principales:

1. Convergencia Semántica en Pozos de Atracción: Los prompts semánticamente relacionados experimentan una convergencia estadísticamente significativa en las capas medias y tardías. El Índice de Convergencia aumenta bruscamente desde valores cercanos a cero en las capas iniciales hasta alcanzar valores pico de 0.41–0.58 en las capas posteriores ($p < 0.001$). Este efecto desaparece bajo los controles de etiquetas aleatorias, lo que sugiere una dinámica de tipo atractor impulsada por la semántica aprendida.
2. la Curvatura como Lectura de Complejidad: Las tareas de razonamiento y analogía producen trayectorias con una curvatura media significativamente mayor que las variaciones léxicas.
   • Razonamiento (Múltiples Pasos/Analogía): 0.71–0.83 rad.
   • Variaciones Léxicas: 0.27–0.31 rad.
   • Esta diferencia es consistente entre modelos ($p < 0.001$), lo que sugiere que la curvatura media codifica la complejidad computacional. Los picos de curvatura ocurren en una "zona de inflexión computacional" (aprox. 20–45% de la profundidad de la red), alineándose con los conocidos cabezales de inducción y las capas de recuperación de MLP.
3. La Desambiguación como Bifurcación de la Trayectoria: Los tokens ambiguos (por ejemplo, "banco" en diferentes contextos) exhiben una bifurcación de trayectoria medible. Las representaciones para diferentes contextos comienzan siendo casi idénticas en la capa 0 pero se separan progresivamente, alcanzando una razón de separación de 5.6× hacia la capa final. El inicio de esta bifurcación es consistente en un ~20–25% de la profundidad de la red en todas las arquitecturas, lo que indica un cronograma universal de desambiguación progresiva en lugar de una resolución instantánea.
4. Estructura Computacional Universal de Tres Fases: La similitud de coseno por capa revela una estructura consistente de tres fases en todos los modelos:
   • Fase I (Codificación): Cambio representacional rápido (baja similitud).
   • Fase II (Elaboración): Similitud estabilizada, coincidiendo con la convergencia semántica y la alta curvatura.
   • Fase III (Preparación de Salida): Una caída secundaria en la similitud a medida que las representaciones se recalibran hacia el vocabulario de salida.
     Esta estructura colapsa bajo los controles de embeddings aleatorios, confirmando que es producto de la computación entrenada.

Significado y Reivindicaciones

El artículo argumenta que el paso hacia adelante del transformer no es una secuencia arbitraria de estados, sino un flujo geométricamente estructurado. La importancia de este trabajo radica en:

• Interpretabilidad Independiente de Sondas (Probe-Free): Proporcionar una lente para analizar el comportamiento del modelo sin preespecificar características o entrenar clasificadores.
• Puente con los Sistemas Dinámicos: Conectar conceptos de la neurociencia computacional (variedades, atractores, curvatura) con el aprendizaje profundo, ofreciendo una visión unificada de cómo evolucionan las representaciones.
• Información Accionable: Los hallazgos sugieren que las intervenciones para la desambiguación o el direccionamiento (steering) deberían dirigirse a fases específicas de la trayectoria (por ejemplo, antes del inicio de la bifurcación) en lugar de a capas arbitrarias.
• Universalidad: La consistencia de estos patrones geométricos a través de modelos con diferentes escalas, arquitecturas y corpus de entrenamiento sugiere que la geometría de la trayectoria puede estar impulsada por la estructura misma del lenguaje.

Los autores mantienen la modestia respecto a la causalidad, señalando que, si bien la estructura geométrica se correlaciona con propiedades semánticas y computacionales, el artículo establece correlación, no causalidad. Identifican la verificación causal mediante el parcheo de activaciones (activation patching) como el siguiente paso necesario.