Resumen Técnico: Estratificación Geométrica y Conductual en los Flujos Residuales de los Transformers

Planteamiento del Problema

Investigaciones recientes han establecido que los modelos transformer entrenados desarrollan "bases privilegiadas": ejes de coordenadas específicos con propiedades estadísticas distintas al resto del flujo residual. Sin embargo, el rol funcional y la naturaleza geométrica de estas direcciones privilegiadas siguen siendo poco claros. Aunque trabajos previos identificaron estos ejes como conjuntos de coordenadas anómalos, no explicaron qué dirección específica seleccionan ni cómo organizan la computación de alta dimensión del modelo.

Este artículo aborda la brecha entre la naturaleza de alta dimensión de la computación de los transformers (miles de dimensiones) y la naturaleza de baja dimensión de la lectura lineal (una única proyección sobre los logits del vocabulario). El autor investiga si la dirección de predicción —el vector de desembebido (unembedding) del token que el modelo predice actualmente— sirve como un ancla privilegiada definida por el contenido que organiza la geometría y el comportamiento del flujo residual.

Metodología

El autor introduce la PDSF (Descomposición de Características de Subespacio Anclada a la Predicción), un sistema de coordenadas que particiona el estado del flujo residual ($h$) en cada capa en cuatro componentes estrictamente ortogonales, ordenados por su proximidad a la dirección de predicción actual del modelo ($\hat{u}$):

1. P (Predictivo): La proyección de rango 1 de $h$ sobre el vector de desembebido normalizado $\hat{u}$ del token argmax actual.
2. D (Discriminativo): Las direcciones principales de PCA (top-$k$) del residual tras eliminar $P$.
3. S (Situacional): Las direcciones principales de PCA (top-$k$) del residual tras eliminar tanto $P$ como $D$.
4. F (Marco/Complemento): El remanente ortogonal, que representa la gran mayoría de las dimensiones del flujo residual.

La región combinada $P + D + S$ se denomina la interfaz de predicción, mientras que $F$ es el complemento distal de la predicción.

Configuración Experimental:

• Banco de pruebas: 18 modelos transformer de 6 familias de arquitecturas (Llama, Gemma, Mistral, Mixtral, Qwen, GPT-OSS), que abarcan desde 7B hasta 120B de parámetros, incluyendo variantes base e instruidas (instruction-tuned).
• Conjuntos de Prompts: Tres conjuntos estructurados diseñados para sondear diferentes variaciones:
  • SpecA: Prompts con restricciones con respuestas fijas pero formas superficiales variadas (224 prompts).
  • SpecB: Continuaciones narrativas abiertas (80 prompts).
  • Diverse: Prompts a través de 8 regímenes lingüísticos (narrativa, código, matemáticas, etc.) (84 prompts).
• Intervenciones: El autor emplea intervenciones dirigidas, incluyendo perturbaciones de paso único, rotación de dispersión persistente (rotaciones de medida de Haar aplicadas aproximadamente al 70% de la profundidad) y atenuación de magnitud, para probar roles causales.

Contribuciones Clave y Resultados

1. Una Interfaz de Predicción Invariante de Escala

La dimensionalidad efectiva de los subespacios próximos a la predicción ($D$ y $S$) es baja e invariante de escala.

• En prompts con restricciones, el rango efectivo de $D$ es consistentemente de un solo dígito (media $\approx 4$) en todos los modelos, independientemente de la dimensión oculta ($d_{model}$ variando de 2,880 a 8,192).
• La dimensionalidad de la interfaz está determinada por la complejidad semántica del prompt, no por la anchura del modelo.
• El ajuste por instrucciones (instruction tuning) agudiza la organización interna de la interfaz (aumentando la discriminación y reduciendo la sensibilidad al parafraseo) pero no la ensancha.
• Conclusión: El escalado aumenta el tamaño del complemento distal de la predicción ($F$), no la interfaz de predicción.

2. Estratificación Geométrica: Ortogonalidad y Complejidad de la Variedad

• Ortogonalidad: La dirección de predicción es casi ortogonal (ángulo medio $\approx 84^\circ$–$86^\circ$) a los ejes de varianza principal del flujo residual. Las direcciones de alta varianza están desplazadas lejos del eje de lectura.
• Gradiente de Complejidad de la Variedad (Manifold Complexity): Existe un gradiente pronunciado en la complejidad de la variedad a lo largo del eje de proximidad a la predicción.
  • Proximal a la predicción ($D$): Geometría altamente plegada y estructurada (alta densidad de información).
  • Distal a la predicción ($F$): Geometría plana y uniforme.
  • Este gradiente es significativamente más pronunciado cuando se mide con respecto a la dirección de predicción en comparación con los controles de PCA estándar ordenados por varianza, especialmente en prompts lingüísticamente heterogéneos.

3. Anti-discriminación en el Complemento

Contrario a la expectativa de que la discriminación de grupo se desvanece con la distancia de la dirección de predicción, el complemento ($F$) exhibe anti-discriminación.

• Los prompts de la misma agrupación semántica están sistemáticamente más alejados en el espacio $F$ que los prompts de grupos diferentes.
• Esto sugiere que $F$ transporta una configuración específica del prompt que compensa las variaciones en los estados proximales a la predicción para lograr resultados de lectura similares.

4. Dirección sobre Magnitud (Hipótesis de la Capa Delgada o Thin-Shell)

El artículo valida la hipótesis de la "capa delgada": la variación del flujo residual es impulsada por la dirección, no por la magnitud.

• Disruptar la dirección del complemento ($F$) mediante rotación causa una divergencia inmediata y severa en la salida.
• Reducir la magnitud de $F$ (atenuación) preservando la dirección tiene un efecto insignificante.
• Esto confirma que el complemento actúa como un sustrato direccional esencial para la computación, a pesar de su débil alineación con la lectura.

5. Estratificación Conductual

Las intervenciones de rotación persistente revelan una jerarquía conductual alineada con el eje de proximidad a la predicción:

• Subespacio $D$ (Encuadre Inmediato): La disrupción causa una divergencia inmediata (media del primer token de divergencia $\approx 1.2$) y frecuentes cambios de encuadre de la tarea (por ejemplo, cambiar de responder a metacomentario).
• Subespacios $S$ y $F$-topK (Trayectoria): La disrupción causa una divergencia retardada (media del primer token de divergencia $\approx 5.6$ para $S$, $\approx 6.5$ para $F$-topK) y una sustitución de contenido dentro de un encuadre de tarea preservado.
• Esto indica que $D$ controla el encuadre inicial de la respuesta, mientras que $S$ y la parte de alta varianza de $F$ controlan la trayectoria subsiguiente.

6. Partición Estática/Dinámica del Complemento

El complemento $F$ está organizado además por la dinámica temporal:

• Se divide en un andamio estático (media temporal) y una envoltura dinámica (actualizaciones de token a token).
• La envoltura dinámica es causalmente portadora de carga (causally load-bearing): inyectar un $F$ "obsoleto" (retrasado un paso) causa una divergencia universal en la salida desde el primer token.
• Rotar las direcciones de la envoltura dinámica causa un fallo catastrófico (tasa de fallo del 92.3%), distinto de la redirección causada por rotar $D$ o $S$.

Significancia y Reivindicaciones

El artículo afirma establecer la dirección de predicción como un ancla privilegiada y definida por el contenido que organiza la geometría del flujo residual de una manera distinta a los ejes descritos previamente basados en coordenadas.

• Restricción Arquitectónica: Los hallazgos sugieren que la lectura lineal impone una restricción de "relación señal-ruido", obligando al modelo a aislar la estructura relevante para la predicción en una interfaz estrecha y escalable, mientras expande el sustrato computacional ($F$) de forma ortogonal.
• Ceguera de Evaluación: Debido a que la mayor parte del flujo residual (el complemento) está débilmente alineada con la lectura, las métricas de evaluación basadas en la salida (logits, precisión del siguiente token) probablemente subestiman la computación interna y los cambios estructurales que ocurren en el modelo a medida que escala.
• Interpretabilidad: La estratificación geométrica ofrece un marco para la interpretabilidad a nivel de características, sugiriendo que el encuadre de la tarea reside en $D$, mientras que la trayectoria y el mantenimiento del estado residen en $S$ y $F$.
• Geometría vs. Varianza: El artículo argumenta que la organización geométrica no es simplemente una sombra de la estructura de varianza; anclar a la dirección de predicción revela principios organizativos (como la anti-discriminación de $F$ y la jerarquía conductual) que los análisis basados únicamente en la varianza no logran capturar.

El autor concluye que los flujos residuales de los transformers deben entenderse no como activaciones de alta dimensión difusas, sino como geometrías estratificadas que presentan una interfaz de predicción fija embebida en un sustrato dinámico, causalmente portador de carga.