💬 NLP

Language Models Learn Universal Representations of Numbers and Here's Why You Should Care

Este trabajo demuestra que los modelos de lenguaje grandes desarrollan representaciones sinusoidales universales y casi perfectamente intercambiables para los números, lo cual es fundamental para evaluar con precisión su capacidad numérica y reducir sus errores aritméticos mediante mejoras mecánicas en dicha estructura.

Autores originales: Michal Štefánik, Timothee Mickus, Marek Kadlčík, Bertram Højer, Michal Spiegel, Raúl Vázquez, Aman Sinha, Josef Kuchař, Philipp Mondorf, Pontus Stenetorp

Publicado 2026-04-23

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Michal Štefánik, Timothee Mickus, Marek Kadlčík, Bertram Højer, Michal Spiegel, Raúl Vázquez, Aman Sinha, Josef Kuchař, Philipp Mondorf, Pontus Stenetorp

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

¡Claro que sí! Imagina que los Modelos de Lenguaje Grandes (como los que usan para chatear o escribir) son como genios muy inteligentes, pero un poco extraños, que piensan en todo de una manera muy diferente a como lo hacemos nosotros.

Este paper (artículo científico) descubre un secreto fascinante sobre cómo estos genios entienden los números. Aquí te lo explico con una analogía sencilla:

🌊 El Secreto: Los Números son como Ondas de Radio

Imagina que cuando tú ves el número "5", tu cerebro piensa en la palabra "cinco". Pero para la computadora, el número "5" no es una palabra, es una onda de radio.

Los autores del estudio descubrieron que, sin importar si el modelo es grande, pequeño, o de qué empresa es (Llama, OLMo, Phi), todos aprenden a representar los números exactamente igual: como una onda senoidal (una onda suave que sube y baja, como las olas del mar o una cuerda de guitarra vibrando).

La analogía: Imagina que todos los modelos de IA tienen una "radio interna". Cuando reciben un número, sintonizan una frecuencia específica. El número "1" es una onda suave, el "2" es una onda un poco más rápida, y así sucesivamente. Es como si todos los modelos del mundo hubieran decidido usar el mismo código Morse, pero en lugar de puntos y rayas, usan ondas musicales.

🧩 ¿Por qué es importante esto? (La parte divertida)

El estudio nos dice tres cosas muy importantes que cambian la forma en que debemos entender a la IA:

1. Todos hablan el mismo "idioma de ondas"

Antes pensábamos que cada modelo de IA tenía su propia forma de entender los números. Pero el estudio demuestra que, si tomas un modelo de una empresa y otro de otra, sus "ondas" de números son casi idénticas.

Analogía: Es como si todos los humanos, sin importar de qué país vinieran, tuviéramos el mismo mapa del tesoro en la cabeza para encontrar los números. Si un modelo sabe "leer" la onda del número 100, otro modelo diferente también podrá entenderla perfectamente. ¡Es un lenguaje universal!

2. ¡Cuidado con las herramientas equivocadas!

Los científicos usaban herramientas antiguas para mirar dentro de la mente de la IA (llamadas "probes" o sondas). Estas herramientas eran como intentar escuchar una radio usando un martillo.

El problema: Las herramientas antiguas decían: "Oye, la IA no entiende bien los números grandes o los cálculos complejos".
La realidad: La IA sí los entendía, pero la herramienta era tan torpe que no podía "sintonizar" la onda correcta.
La solución: Los autores crearon una nueva herramienta (un "sintonizador de radio" especial) diseñada específicamente para leer estas ondas. Con esta nueva herramienta, descubrieron que la IA es mucho más precisa de lo que pensábamos. ¡Podía leer números gigantes y entender contextos reales (como noticias o recetas) mucho mejor!

3. Podemos "arreglar" los errores de la IA

Lo más emocionante es que, al entender que los números son ondas, los científicos pudieron arreglar los errores de la IA.

La analogía: Imagina que la IA está intentando sumar dos números y se equivoca porque su "onda interna" se ha desajustado (se ha vuelto un poco fea o ruidosa).
El truco: Como saben exactamente cómo debería sonar la onda correcta, pueden "empujar" suavemente la mente de la IA para que la onda vuelva a su forma perfecta.
El resultado: ¡Pudieron corregir hasta un 40% de los errores en divisiones y multiplicaciones simplemente ajustando estas ondas! Es como afinar una guitarra para que suene perfecta.

📅 No solo son números

El estudio también encontró que la IA usa este mismo truco de las ondas para otras cosas que tienen un orden, como los días de la semana o los meses.

Analogía: La IA ve el "Lunes" y el "Domingo" no como palabras sueltas, sino como puntos en un círculo (como un reloj). Esto les permite entender que el día después del domingo es el lunes, de una forma muy natural y matemática.

🏁 En resumen: ¿Por qué deberías importarte?

Este estudio nos enseña que:

La IA es más inteligente de lo que pensábamos con las herramientas viejas.
Necesitamos herramientas nuevas (como el "sintonizador de ondas") para entenderla bien, especialmente cuando hacemos matemáticas o lógica.
Podemos hacer que la IA sea más fiable. Si sabemos cómo "suenan" los números en su cerebro, podemos corregir sus errores y hacer que sea mucho más útil para tareas importantes como calcular facturas, resolver problemas de ciencia o analizar datos médicos.

Básicamente, los autores nos dieron el manual de instrucciones para entender cómo la IA "cuenta", y ahora podemos usar ese conocimiento para hacerla más precisa y confiable. ¡Es como aprender a afinar el instrumento antes de tocar la música! 🎻🤖

Resumen Técnico: Representaciones Universales de Números en Modelos de Lenguaje

1. El Problema

Aunque los Modelos de Lenguaje Grandes (LLMs) han mostrado avances en razonamiento matemático, su fiabilidad y robustez interna siguen siendo cuestionables. La literatura previa ha identificado que las representaciones de números en los LLMs poseen una estructura sinusoidal (basada en funciones trigonométricas), pero estos estudios adolecen de limitaciones críticas:

Alcance limitado: Se han centrado principalmente en embeddings de entrada o en contextos sintéticos (comandos aritméticos artificiales), ignorando el contexto del lenguaje natural.
Falta de cuantificación: No se ha medido rigurosamente la alineación de estas representaciones entre diferentes familias de modelos.
Herramientas inadecuadas: Las herramientas de interpretabilidad generales (como TunedLens o sondas lineales) pueden no capturar la naturaleza no lineal y periódica de los datos numéricos, llevando a conclusiones erróneas sobre la precisión y los mecanismos internos de los modelos.

El objetivo de este trabajo es cerrar estas brechas para comprender cómo los LLMs procesan la información numérica en escenarios reales y cómo esto afecta su rendimiento aritmético.

2. Metodología

Los autores proponen un enfoque holístico que combina análisis de similitud, descomposición de Fourier y el desarrollo de nuevas herramientas de sondas (probes).

Análisis de Similitud Representacional (RSA) y Fourier:
- Se compararon los embeddings de entrada de ocho modelos de diferentes tamaños y familias (OLMo 2, Llama 3, Phi 4).
- Se utilizó RSA para medir la similitud estructural entre pares de modelos.
- Se aplicó una transformación PCA seguida de una Transformada de Fourier para identificar las frecuencias base dominantes en las representaciones de los tokens numéricos.
Desarrollo de una Nueva Sonda Sinusoidal (param-sin):
- Se diseñó una nueva arquitectura de sonda que impone una restricción estricta de sinusoides. A diferencia de sondas anteriores que solo añadían un sesgo inductivo, esta asigna una única onda sinusoidal a cada característica latente, optimizando directamente la frecuencia, el desfase y la amplitud.
- Fórmula clave: $f_{param-sin}(x) = S^T (W_{in}x)$ , donde $S$ modela ondas sinusoidales con parámetros aprendibles.
Evaluación en Contextos Diversos:
- Se entrenaron sondas en cuatro dominios de lenguaje natural: temporal, aritmético, médico y culinario (en lugar de solo comandos sintéticos).
- Se evaluó la generalización cruzada: entrenar en un contexto (ej. natural) y probar en otro (ej. matemático sintético), y viceversa.
- Se realizó un análisis de transferencia entre capas: entrenar sondas en una capa específica y evaluarlas en otras capas del mismo modelo.
Intervención Mecanística (Steering):
- Para probar la causalidad, se realizaron intervenciones activas (activation steering). Se modificaron las activaciones de las capas internas de los modelos hacia el patrón sinusoidal esperado para corregir predicciones erróneas en operaciones de multiplicación y división.

3. Contribuciones Clave

Nueva Sonda de Precisión: Desarrollo de una sonda (param-sin) más precisa y generalizable para extraer valores numéricos de las representaciones internas de los LLMs.
Universalidad Cuantificada: Evidencia empírica de que las representaciones sinusoidales son casi perfectamente universales: diferentes familias de modelos convergen en la misma topología y frecuencias dominantes, tanto en embeddings de entrada como en capas internas.
Importancia del Contexto Natural: Demostración de que las sondas entrenadas con datos de lenguaje real generalizan mucho mejor que las entrenadas con contextos matemáticos sintéticos, lo que invalida conclusiones basadas únicamente en entornos artificiales.
Evidencia Mecanística: Prueba de que la precisión de la sinusoidalidad en la representación interna determina directamente la precisión de salida en tareas aritméticas.

4. Resultados Principales

Universalidad de las Representaciones:
- Los modelos de diferentes tamaños y arquitecturas aprenden representaciones de números con la misma estructura sinusoidal.
- Existe un acuerdo perfecto (IoU = 1.0) en las frecuencias Fourier dominantes (top k=63) entre todos los modelos analizados para tokens numéricos, algo que no ocurre con tokens de palabras aleatorias.
Consistencia a través de Capas y Contextos:
- Las sondas sinusoidales alcanzan una precisión superior al 80-90% en la mayoría de las capas y modelos, confirmando que la naturaleza sinusoidal se mantiene durante todo el procesamiento interno.
- Hallazgo crítico: Las sondas entrenadas en lenguaje natural son robustas y generalizan a contextos matemáticos sintéticos. Por el contrario, las sondas entrenadas en contextos sintéticos fallan al generalizar a lenguaje natural. Esto sugiere que los estudios previos basados en sintaxis artificial pueden haber subestimado la capacidad real de los modelos.
Números Multitoken y Herramientas de Interpretabilidad:
- Al analizar números grandes (2-6 tokens), las sondas sinusoidales lograron recuperar el valor del token anterior con un 99% de precisión.
- En contraste, herramientas generales como TunedLens subestimaron drásticamente esta capacidad (mostrando ~50% de precisión o cero), fallando en detectar el mecanismo de superposición de información numérica. Esto demuestra que las herramientas de propósito general son inadecuadas para datos ordinales.
Corrección de Errores mediante Intervención:
- Al forzar las activaciones internas a seguir el patrón sinusoidal correcto en casos de error, se logró corregir hasta un 30% de los errores en multiplicación y hasta un 42% en división.
- Esto confirma que la degradación de la precisión aritmética está directamente vinculada a la pérdida de la estructura sinusoidal en las representaciones internas.
Generalización a Datos Ordinales:
- La metodología también funcionó para datos ordinales no numéricos (días de la semana, meses), validando que los LLMs codifican estas estructuras cíclicas de manera sinusoidal, incluso con conjuntos de datos extremadamente pequeños.

5. Significado e Impacto

Este trabajo tiene implicaciones profundas para el campo de la interpretabilidad y la seguridad de los LLMs:

Reevaluación de la Interpretabilidad: Se demuestra que las herramientas de interpretabilidad "de propósito general" pueden ser engañosas cuando se aplican a datos con estructuras específicas (como números). Es necesario diseñar herramientas que respeten la naturaleza intrínseca de los datos (ej. periodicidad para números).
Robustez y Fiabilidad: La capacidad de los modelos para realizar cálculos precisos depende de mantener una representación sinusoidal interna. Entender esto permite desarrollar métodos para detectar y corregir fallos aritméticos mediante intervenciones mecánicas.
Generalización Realista: La investigación subraya que los experimentos basados en contextos sintéticos no son suficientes para entender el comportamiento de los LLMs en el mundo real. El entrenamiento y evaluación deben realizarse en contextos de lenguaje natural para obtener conclusiones válidas.
Universalidad de la Arquitectura: El hecho de que modelos diversos converjan en la misma representación matemática sugiere que esta es una solución óptima y causal (no un artefacto accidental) que emerge de la optimización y la arquitectura de los transformadores.

En conclusión, el papel establece que los LLMs no solo "aprenden" números, sino que lo hacen de una manera sistemática, universal y matemáticamente elegante, y que reconocer esta estructura es fundamental para mejorar, auditar y confiar en estos modelos.