Resumen Técnico: La Escala Determina si los Modelos de Lenguaje Organizan la Geometría de Representación para la Predicción

Enunciado del Problema

En los modelos de lenguaje (LM), el contenido semántico de una representación está determinado por la geometría de su espacio de representación, específicamente por las distancias entre puntos y no por sus activaciones absolutas. Si bien las herramientas existentes caracterizan la forma de esta geometría (por ejemplo, rango, decaimiento espectral, convergencia entre modelos), no abordan la pregunta funcional: ¿para qué está organizada esta geometría?

Los marcos teóricos sugieren que las representaciones deberían organizarse en torno a la tarea predictiva del modelo, específicamente la matriz de desincrustación $W_U$, que mapea los estados ocultos a la distribución del siguiente token. Sin embargo, sigue siendo una cuestión empírica si las capas intermedias alinean sus estructuras de distancia con este subespacio de lectura. Las métricas actuales, como la Lente de Logits (que prueba la decodificabilidad de puntos individuales) o las métricas espectrales (que describen la forma de la variedad), no capturan si la disposición geométrica de las distancias está orientada funcionalmente hacia la predicción. Además, se desconoce si esta organización se mantiene uniformemente en todas las capas y escalas de modelos.

Metodología: PGA de Subespacio

Los autores introducen la Alineación Geométrica Predictiva de Subespacio (Subspace PGA), una métrica diseñada para cuantificar el grado en que la estructura de distancias de una capa se alinea con la lectura predictiva del modelo.

1. Definición del Subespacio de Lectura: La matriz de desincrustación $W_U$ se descompone mediante Descomposición en Valores Singulares (SVD). Los $k$ vectores singulares derechos superiores definen el subespacio de lectura ($V_k$), que representa las direcciones en el espacio oculto que $W_U$ amplifica más para producir predicciones.
2. Preservación de Distancias: Para una capa dada $\ell$, los autores calculan las distancias coseno por pares entre los estados ocultos en el espacio completo de $d$ dimensiones ($d_{full}$) y en el subespacio de lectura proyectado ($d_{proj}$).
3. Distribución Nula: Para aislar la contribución específica de la lectura, los autores comparan la correlación de Spearman entre $d_{full}$ y $d_{proj}$ contra una distribución nula. Esta nula se genera proyectando los mismos estados ocultos sobre 100 subespacios aleatorios de $k$ dimensiones muestreados uniformemente desde la Grassmanniana.
4. Cálculo de Puntuación Z: La PGA de Subespacio se define como la puntuación z:
   $$PGA(\ell) = \frac{\rho_{lectura} - \mu_{nulo}}{\sigma_{nulo}}$$
   Una $z$ positiva alta indica que la geometría está organizada para la predicción (la lectura preserva más estructura que los subespacios aleatorios). Una $z \approx 0$ implica que no hay alineación especial, y $z < 0$ implica que la lectura está menos alineada con la estructura de distancias que los subespacios aleatorios.
5. Corrección de Anisotropía: Para evitar que la dirección de varianza dominante (que infla la similitud coseno) confunda la métrica, los autores aplican la centración de la media seguida de CCR-1 (eliminación del componente principal líder) antes de calcular las distancias.

Resultados Clave

El estudio evalúa siete modelos Pythia (de 70M a 6.9B parámetros) y tres modelos de diferentes familias (OLMo, Phi, Gemma).

1. Organización Dependiente de la Escala

• Modelos Grandes ($d \ge 2048$): Estos modelos mantienen una fuerte organización predictiva a lo largo de todas las capas intermedias. Las puntuaciones $z$ permanecen significativamente positivas (alcanzando un pico de $z=9–24$ en capas medias), lo que indica que la estructura de distancias está consistentemente alineada con el subespacio de lectura.
• Modelos Pequeños ($d \le 1024$): Estos modelos exhiben un régimen de "desvío". Si bien establecen una organización predictiva temprano en el entrenamiento y en las primeras capas, pierden progresivamente esta alineación en capas tardías pero no finales (por ejemplo, capas 20–23 en Pythia-410M). En estas "zonas de colapso", las puntuaciones $z$ caen significativamente (por ejemplo, a $-32$), lo que indica que la estructura de distancias se desalinea con la lectura, incluso mientras la pérdida de validación del modelo sigue mejorando.
• Recuperación: En los modelos pequeños, la capa final recupera la alineación, proyectando la geometría de nuevo al subespacio de lectura antes de la salida.

2. Mecanismo: Compensación de Capacidad y Enmascaramiento

La pérdida de organización en los modelos pequeños no es una destrucción de la información predictiva, sino un efecto de enmascaramiento causado por restricciones de capacidad.

• Migración de la Dirección Dominante: En las capas tardías de los modelos pequeños, la dirección de mayor varianza en la corriente residual (PC1) gira alejándose del subespacio de lectura hacia direcciones "oscuras" (ortogonales a $W_U$).
• Enmascaramiento: Dado que la dirección de varianza dominante transporta la mayor parte de la estructura de distancias, los subespacios aleatorios (que capturan una fracción de esta varianza) terminan preservando la estructura de distancias tan bien como, o mejor que, el subespacio de lectura. Esto provoca que la puntuación $z$ caiga.
• Restauración: Eliminar los primeros componentes principales (CCR-5 o CCR-10) restaura las puntuaciones $z$ positivas en todas las capas de modelos con $d \ge 768$. Esto confirma que la estructura predictiva estaba intacta pero oscurecida por unas pocas direcciones dominantes irrelevantes para la predicción.

3. Independencia de Métricas Espectrales y Pérdida

• Ceguera Espectral: Las métricas espectrales estándar (RankMe, $\alpha$-ReQ, isotropía, número de condición) no logran detectar esta distinción. En las zonas de colapso de los modelos pequeños, las métricas espectrales permanecen estables o planas mientras que la PGA de Subespacio oscila más de 40 desviaciones estándar.
• Insensibilidad a la Pérdida: Las curvas de pérdida de validación son casi idénticas entre modelos pequeños y grandes, sin capturar la reorganización geométrica que ocurre en las capas intermedias.

4. Convergencia Trans-Arquitectónica

El subespacio de lectura concentra la estructura convergente entre arquitecturas. Al comparar diferentes modelos (por ejemplo, Pythia vs. OLMo), la correlación de Spearman de las distancias por pares es mayor en el subespacio de lectura de 100 dimensiones que en el espacio completo o en subespacios aleatorios. Esto sugiere que lo que los modelos entrenados independientemente coinciden geométricamente está específicamente vinculado a la función predictiva.

5. Utilidad en Tareas Posteriores

En los modelos grandes, las capas con altas puntuaciones $z$ de PGA de Subespacio también producen mayor precisión para sondas lineales en tareas posteriores (AG News). En los modelos pequeños, la precisión de la sonda se mantiene alta incluso en la "zona de colapso" donde $z$ es negativa, lo que demuestra aún más que las características subyacentes se preservan pero simplemente están desalineadas con la interfaz de lectura.

Significado y Afirmaciones

El artículo afirma que la escala determina no solo qué tan bien predice un modelo, sino cómo se organiza su geometría de representación para hacerlo.

• Dos Regímenes Geométricos: Los autores identifican un régimen "directo" (modelos grandes) donde la geometría se mantiene alineada con la predicción, y un régimen de "desvío" (modelos pequeños) donde las capas tardías enrutan temporalmente el cálculo a través de direcciones irrelevantes para la predicción antes de corregir en la salida.
• Orientación Funcional: El estudio desplaza el enfoque de caracterizar la forma de la geometría de representación a comprender su orientación funcional. Demuestra que la geometría puede estar altamente estructurada y, sin embargo, estar funcionalmente desalineada con el objetivo del modelo.
• Limitaciones de las Métricas Actuales: El trabajo destaca que las curvas de pérdida y las métricas espectrales son insuficientes para diagnosticar la organización funcional de las representaciones intermedias. La PGA de Subespacio proporciona una métrica libre de tareas y coincidente en dimensionalidad para detectar estos fenómenos.
• Capacidad vs. Arquitectura: El fenómeno se atribuye a la capacidad representacional (ancho) y no a especificidades arquitectónicas, ya que se observa en diferentes familias de modelos cuando las dimensiones son pequeñas.

Los autores concluyen que el "desvío" en los modelos pequeños es un efecto secundario de la capacidad limitada que fuerza una colisión entre las direcciones de cálculo intermedio y las direcciones alineadas con la lectura, en lugar de una estrategia de enrutamiento aprendida explícitamente. Esta distinción es invisible para las señales de entrenamiento estándar pero crítica para comprender los mecanismos internos de los modelos de lenguaje.