💬 NLP

Weber's Law in Transformer Magnitude Representations: Efficient Coding, Representational Geometry, and Psychophysical Laws in Language Models

Este estudio demuestra que, aunque los modelos de lenguaje transformer desarrollan consistentemente una geometría de representación logarítmica de magnitudes impulsada por las estadísticas de sus datos de entrenamiento, dicha estructura geométrica no garantiza por sí sola la competencia conductual en tareas de discriminación.

Autores originales: Jon-Paul Cacioli

Publicado 2026-03-24

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Jon-Paul Cacioli

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que los modelos de lenguaje (como los que impulsan a ChatGPT) son como bibliotecarios gigantes que han leído casi todo lo escrito en internet. Una pregunta fascinante es: ¿cómo guardan en su "mente" los números, las distancias o el tiempo? ¿Los ven como una regla lineal (1, 2, 3, 4...) o como una escala comprimida donde los números pequeños tienen mucho espacio y los grandes se apilan juntos?

Este estudio es como un detective de la mente artificial que resolvió un gran misterio usando las herramientas de la psicología humana. Aquí te explico qué descubrieron, usando analogías sencillas:

1. El Misterio: ¿Cómo ven los números los robots?

Antes de este estudio, los científicos estaban peleados. Unos decían: "¡Los robots ven los números en una línea recta!" (como una regla). Otros decían: "¡No, los ven en círculos!" o "¡Los ven comprimidos como una espiral!".

La solución del estudio:
Los investigadores usaron una lupa muy potente llamada Ley de Weber (una regla de la psicología que dice que para notar la diferencia entre dos cosas, la diferencia debe ser un porcentaje fijo, no una cantidad fija. Por ejemplo, notar la diferencia entre 1kg y 2kg es fácil, pero entre 100kg y 101kg es muy difícil).

El hallazgo principal:
¡Todos los modelos de lenguaje (Llama, Mistral, Qwen) guardan los números de forma comprimida y logarítmica!

La analogía: Imagina que el cerebro del robot es un mapa de un país. En este mapa, las ciudades pequeñas (números como 1, 2, 10) están muy separadas y tienen mucho espacio detallado. Pero las ciudades gigantes (números como 1.000, 10.000, 1 millón) están apretujadas en un solo punto al final del mapa.
Por qué pasa esto: No es porque los robots tengan "cerebros biológicos" limitados, sino porque los números en internet siguen esta misma regla. Hay muchísimos más textos sobre el número "1" que sobre el número "1 millón". El robot aprendió a ser eficiente: comprime lo que ve muy seguido y deja espacio para lo raro. Es como un armario inteligente que pone los zapatos que usas todos los días en la puerta (fáciles de alcanzar) y guarda los de gala en el ático (apretujados).

2. La Gran Sorpresa: Tener el mapa no significa saber usarlo

Aquí viene la parte más divertida. El estudio descubrió que tener el mapa correcto no garantiza saber llegar a destino.

El modelo "Llama": Tenía el mapa logarítmico perfecto y, además, sabía usarlo. Cuando le preguntabas "¿cuál es más grande: 50 o 70?", respondía bien y seguía la regla de los porcentajes (como un humano).
El modelo "Mistral": Tenía exactamente el mismo mapa logarítmico en su interior, pero fallaba estrepitosamente en las preguntas. Cuando le preguntabas lo mismo, adivinaba al azar.
La analogía: Imagina a dos conductores. Ambos tienen un GPS perfecto en el coche (la geometría logarítmica). Pero el conductor A (Llama) sabe leer el GPS y conducir. El conductor B (Mistral) tiene el GPS encendido, pero no sabe cómo girar el volante. El mapa está ahí, pero el "sistema de conducción" está roto.

3. El Truco de las Capas: ¿Dónde ocurre la magia?

Los modelos de lenguaje tienen muchas "capas" de procesamiento (como capas de una cebolla).

Lo que pensábamos: Que la parte más profunda y compleja del modelo (las capas finales) era donde se tomaban las decisiones.
Lo que descubrieron: ¡Al revés! Las capas iniciales (las primeras capas de la cebolla) son las que realmente "piensan" y comparan los números. Las capas finales, que tienen el mapa más bonito y ordenado, en realidad no hacen nada para comparar números; solo guardan la información como un archivo de memoria.
La analogía: Es como una fábrica de coches. La capa inicial es el taller donde los mecánicos ensamblan el motor y prueban si funciona. La capa final es el showroom donde el coche se ve muy bonito y brillante, pero ya no se está construyendo. Si quieres saber si el coche funciona, debes ir al taller, no al showroom.

4. ¿Por qué fallan con el tiempo y el espacio?

El estudio también probó si los robots podían comparar tiempos ("¿1 hora es más que 60 minutos?") o distancias ("¿1 km es más que 500 metros?").

Resultado: ¡Fracasaron! Aunque tenían el mapa logarítmico para el tiempo y la distancia, no podían compararlos.
La razón: El robot es muy literal. Para él, "1 hora" y "60 minutos" son palabras diferentes, como si fueran dos frutas distintas. No sabe que son lo mismo. Solo funciona bien con los números puros (1, 2, 3) porque ahí no hay confusión de palabras.

En resumen: ¿Qué nos dice esto?

El entrenamiento es clave: Los robots aprenden a comprimir los números (hacer el mapa logarítmico) simplemente leyendo internet, sin necesidad de tener un cerebro biológico. Es una consecuencia natural de los datos.
La geometría no es suficiente: Que un robot "vea" los números de forma inteligente no significa que sepa usarlos. Necesita un "entrenamiento especial" (instrucciones) para aprender a usar ese mapa.
La inteligencia es una capa: La parte "inteligente" que toma decisiones está en las capas iniciales, no en las profundas y complejas donde todo parece tan ordenado.

La moraleja: Los modelos de lenguaje son como bibliotecarios geniales que han memorizado el mapa del mundo, pero a veces olvidan cómo usar la brújula para llegar a la meta. Tienen la estructura perfecta, pero necesitan aprender a actuar con ella.

Título: Ley de Weber en las Representaciones de Magnitud de los Transformadores: Codificación Eficiente, Geometría Representacional y Leyes Psico-físicas en Modelos de Lenguaje

1. El Problema

Existe una contradicción significativa en la literatura reciente sobre cómo los modelos de lenguaje basados en transformadores (LLMs) representan internamente las magnitudes (numéricas, temporales y espaciales). Algunos estudios sugieren un espaciado logarítmico, otros un codificado lineal, y otros representaciones circulares por dígito. La falta de un marco unificado ha impedido determinar la forma funcional real de estas representaciones y su relación con el comportamiento del modelo. El artículo propone que la psicofísica (el estudio cuantitativo de la relación entre estímulos y representaciones mentales) ofrece el marco metodológico necesario para resolver estas discrepancias, aplicando conceptos como la Ley de Weber, fracciones de Weber y análisis de similitud representacional (RSA).

2. Metodología

Los autores emplearon un enfoque riguroso basado en cuatro paradigmas convergentes aplicados a tres dominios de magnitud (numérico, temporal, espacial) en tres modelos de 7–9B parámetros (Llama-3-8B, Mistral-7B y Qwen-2.5-7B, este último como exploratorio).

Modelos: Llama-3-8B-Instruct, Mistral-7B-Instruct-v0.3 y Qwen-2.5-7B-Instruct. Se incluyó también la versión base de Llama para comparar el ajuste de instrucciones.
Paradigma A (Geometría Representacional): Se extrajeron estados ocultos y se calculó la disimilitud entre pares de magnitudes. Se compararon matrices de disimilitud representacional (RDM) con modelos teóricos (Lineal, Weber/Logarítmico, Stevens/Potencia) utilizando Análisis de Similitud Representacional (RSA) con pruebas de permutación de Mantel.
Paradigma B (Discriminación Conductual): Tareas de comparación forzada (ej. "¿Cuál es mayor: 3 docenas o 28?") para medir la precisión y calcular la Fracción de Weber (WF), que indica el umbral de diferencia relativa necesaria para discriminar.
Paradigma C (Gradiente de Precisión): Se midió la densidad representacional local para verificar si la precisión disminuye a medida que aumenta la magnitud (predicción de codificación eficiente).
Paradigma D (Intervención Causal): Se utilizó "patching" de activaciones (modificación de vectores de activación) a lo largo de la dirección de magnitud para determinar causalmente qué capas son funcionales para la comparación.
Análisis de Corpus: Se verificó la distribución de frecuencias de enteros en los datos de entrenamiento (OpenWebText) para confirmar la precondición de codificación eficiente (distribución de ley de potencia).

3. Contribuciones Clave

Marco de Psicofísica para LLMs: Primera aplicación integral de herramientas de psicofísica (fracciones de Weber, funciones psicométricas, RSA, intervenciones causales) para desentrañar la naturaleza de las representaciones de magnitud en IA.
Resolución Empírica de Conflictos: Demostración de que la geometría es consistentemente logarítmica a nivel global, reconciliando estudios previos que encontraron linealidad (debido a la naturaleza local de las sondas lineales) y logarítmica (medida global).
Disociaciones Informativas: Identificación de tres disociaciones críticas:
- Geometría sin competencia conductual (geometría logarítmica presente, pero falla en tareas de discriminación).
- Lectura específica del modelo (Llama muestra comportamiento humano, Mistral no).
- Inversión de capas causales (las capas tempranas son funcionalmente relevantes, no las capas tardías donde la geometría es más fuerte).

4. Resultados Principales

Geometría Logarítmica Universal (H1 Soportada):
- En todas las capas principales (16/16), dominios y modelos, la geometría representacional fue logarítmica.
- Las correlaciones RSA con la matriz de disimilitud de Weber oscilaron entre .68 y .96.
- El exponente de Stevens ( $\beta$ ) convergió a ~0.01, indicando una compresión logarítmica casi pura, mucho más agresiva que en sistemas biológicos.
- La geometría lineal nunca fue el modelo preferido.
Disociación entre Geometría y Comportamiento (H2 Parcialmente Soportada):
- Llama: Mostró una fracción de Weber (WF) de 0.20 en tareas numéricas, dentro del rango humano (0.10–0.25), siguiendo la Ley de Weber.
- Mistral: No mostró comportamiento de Ley de Weber (WF = 0.53, explicado por diferencias absolutas) y falló en tareas de comparación simbólica (50% de precisión, sesgo de posición).
- Dominios Temporales y Espaciales: Ambos modelos poseían geometría logarítmica en estos dominios, pero fallaron al azar en las tareas de discriminación. Esto sugiere que la geometría es necesaria pero no suficiente; la falta de abstracción entre unidades (ej. "minutos" vs "horas") impide la competencia conductual.
Intervención Causal y Capas (H7 y Exploratorio E5):
- Se descubrió una inversión de capas: Las capas tempranas (donde la geometría es más débil) son las que tienen relevancia causal para la comparación (especificidad 4.1x al hacer patching).
- Las capas tardías (donde la geometría es más fuerte y el RSA es máximo) no mostraron efectos causales significativos bajo intervención lineal. Esto sugiere que las capas tardías estructuran la información para la predicción de tokens, pero no se utilizan activamente en el circuito de comparación.
Codificación Eficiente:
- El análisis de corpus confirmó que las frecuencias de enteros en los datos de entrenamiento siguen una ley de potencia ( $\alpha = 0.77$ ), cumpliendo la precondición estadística para que la optimización de entropía cruzada genere una codificación logarítmica, incluso sin restricciones biológicas (costo metabólico).

5. Significado e Implicaciones

Estadísticas de Datos vs. Restricciones Biológicas: El estudio sugiere que las estadísticas de los datos de entrenamiento (distribución de ley de potencia) son suficientes para producir una geometría logarítmica en transformadores, sin necesidad de restricciones biológicas. Sin embargo, la competencia conductual (Ley de Weber) depende de mecanismos de lectura (readout) específicos del modelo.
Ajuste de Instrucciones como Interruptor: La geometría se establece durante el pre-entrenamiento, pero la capacidad de comportarse según la Ley de Weber es un producto del ajuste de instrucciones (fine-tuning). El modelo base tiene la geometría pero no el comportamiento; el modelo ajustado puede desarrollar la capacidad de lectura.
Metodología para Interpretabilidad: El trabajo establece que la estructura representacional (detectable por sondas o PCA) no garantiza el uso funcional. Para entender la computación interna, es necesario combinar análisis geométrico con intervenciones causales.
Convergencia Funcional: A pesar de arquitecturas y datos de entrenamiento diferentes, los transformadores convergen en una solución de codificación eficiente (logarítmica) ante estímulos con distribución de escala invariante, imitando la solución biológica pero con parámetros cuantitativos distintos (compresión más extrema).

En conclusión, el paper demuestra que los LLMs desarrollan una geometría de magnitud logarítmica robusta impulsada por las estadísticas de sus datos, pero que esta estructura interna no se traduce automáticamente en competencia conductual humana, la cual depende de cómo el modelo aprende a "leer" y utilizar esas representaciones durante el ajuste de instrucciones.