Same Geometry, Opposite Noise: Transformer Magnitude Representations Lack Scalar Variability

Título: Misma Geometría, Ruido Opuesto: Las Representaciones de Magnitud de los Transformers Carecen de Variabilidad Escalar

1. El Problema

Los sistemas biológicos de magnitud (como la percepción del tiempo o la cantidad) se caracterizan por dos propiedades fundamentales derivadas del marco de codificación eficiente:

1. Geometría log-compresiva: Las distancias internas siguen una función logarítmica de la magnitud del estímulo (Ley de Weber).
2. Variabilidad escalar (Propiedad Escalar): El ruido de representación escala proporcionalmente con la magnitud, resultando en un coeficiente de variación (CV) constante. Esto significa que la incertidumbre relativa es la misma para números pequeños y grandes.

La pregunta central de la investigación es si los Modelos de Lenguaje Grandes (LLMs), específicamente los transformadores, exhiben esta segunda propiedad (variabilidad escalar) o si, al carecer de restricciones metabólicas (presupuestos de ruido fijos, límites de tasa de disparo), solo reproducen la geometría sin el patrón de ruido biológico.

2. Metodología

El estudio analizó la dispersión de las representaciones de estados ocultos en tres modelos de 7–8 mil millones de parámetros: Llama-3-8B-Instruct, Mistral-7B-Instruct-v0.3 y Llama-3-8B-Base.

• Datos: Se extrajeron vectores de estado oculto en la posición del token de magnitud (pre-RMSNorm) para 26 magnitudes numéricas (desde 1 hasta 1000) a través de 5 oraciones portadoras diferentes.
• Medidas de Variabilidad:
  • $V_{eucl}$: Distancia euclidiana media de los 5 vectores de oración desde su centroide en cada magnitud y capa.
  • $V_{residual}$: Variabilidad corregida por identidad de la oración (restando la media de la oración para eliminar sesgos contextuales sistemáticos).
  • $V_{proj}$: Desviación estándar proyectada sobre el primer componente principal (PC1) de los centroides, aislando la dispersión relevante para la magnitud.
• Análisis Estadístico: Se regresó $\log(V)$ sobre $\log(n)$ (donde $n$ es la magnitud) en 16 capas principales (16–31) para estimar el exponente de escalado ($\alpha$).
  • Hipótesis nula (Sistema biológico): $\alpha = 1$ (variabilidad escalar).
  • Hipótesis del estudio: Se esperaba que $\alpha < 1$ debido a la falta de restricciones metabólicas.
• Registro: El estudio fue pre-registrado en OSF antes del análisis.

3. Contribuciones Clave

• Prueba de disociación: Proporciona evidencia empírica de que la geometría log-compresiva y la variabilidad escalar son propiedades dissociables en sistemas artificiales.
• Caracterización del ruido en LLMs: Demuestra que los transformadores no solo carecen de variabilidad escalar, sino que exhiben un patrón anti-escalar (la variabilidad disminuye a medida que aumenta la magnitud).
• Análisis de frecuencia de corpus: Establece una correlación fuerte entre la frecuencia de los números en el corpus de entrenamiento y la variabilidad de su representación, sugiriendo que la diversidad contextual, no la magnitud intrínseca, impulsa la dispersión.

4. Resultados

Los hallazgos contradijeron la hipótesis de que los modelos imitan el ruido biológico:

• Exponente de Escalado Negativo ($\alpha < 0$): En lugar de un $\alpha \approx 1$ (variabilidad escalar), todos los modelos mostraron un exponente negativo.
  • En el espacio de dimensión completa: $\alpha \approx -0.04$.
  • En el eje de magnitud (PC1): $\alpha \approx -0.19$.
  • Esto indica que la variabilidad representacional disminuye a medida que aumenta la magnitud numérica.
• Consistencia del Patrón Anti-Escalar:
  • El patrón fue consistente en las 16 capas principales de los tres modelos.
  • La reducción de variabilidad en grandes magnitudes fue 3 a 5 veces más fuerte a lo largo del eje de magnitud que en dimensiones ortogonales.
• Correlación con Frecuencia de Corpus: La variabilidad por magnitud se correlacionó fuertemente con la frecuencia logarítmica en el corpus de entrenamiento ($\rho = .84$). Los números pequeños (más frecuentes y diversos contextualmente) mostraron mayor dispersión, mientras que los números grandes (raros y contextos estereotipados) mostraron clusters más tight.
• Efecto del Ajuste (Instruction Tuning): El modelo Llama-Instruct mostró un $\alpha$ más negativo que el Llama-Base, lo que sugiere que el ajuste fino amplifica la compresión de las representaciones de números raros.

5. Significado e Implicaciones

• Insuficiencia del Aprendizaje Distribucional: El aprendizaje puramente distribucional (basado en estadísticas de frecuencia) es suficiente para generar la geometría log-compresiva (Ley de Weber), pero es insuficiente para generar la estructura de ruido escalar (CV constante).
• Rol de las Restricciones Metabólicas: La variabilidad escalar en sistemas biológicos parece depender de la interacción entre la codificación eficiente y restricciones metabólicas (presupuestos de ruido fijos que fuerzan una asignación proporcional). Los transformadores, al no tener tales límites, asignan menos variabilidad a las magnitudes grandes simplemente porque aparecen en contextos más limitados en los datos de entrenamiento.
• Limitaciones de los Modelos Actuales: Aunque los LLMs capturan la estructura geométrica de la magnitud humana, carecen de la firma de ruido estocástico característica de los sistemas biológicos. Esto sugiere que para lograr una cognición artificial más similar a la biológica, podrían ser necesarias arquitecturas o objetivos de entrenamiento que incorporen restricciones de capacidad o ruido fijo.

En conclusión, el estudio demuestra que los transformadores reproducen la "forma" de la representación de magnitud biológica pero no su "ruido", revelando una disociación fundamental entre la geometría inducida por la distribución de datos y la escalabilidad del ruido inducida por restricciones fisiológicas.