💬 NLP

LLMs Know More About Numbers than They Can Say

El estudio revela que, aunque los modelos de lenguaje grandes (LLMs) a menudo fallan al comparar numéricamente números con notaciones mixtas, sus estados internos codifican con precisión sus magnitudes logarítmicas y su clasificación, lo que demuestra que poseen un conocimiento numérico latente que puede ser aprovechado mediante sondas lineales y ajuste fino para mejorar su rendimiento verbal.

Autores originales: Fengting Yuchi, Li Du, Jason Eisner

Publicado 2026-02-18

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Fengting Yuchi, Li Du, Jason Eisner

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

🧠 El Gran Secreto: "Saben más de lo que pueden decir"

Imagina que tienes un amigo, llamémosle "El Genio", que es increíblemente inteligente. Puede resolver ecuaciones complejas, escribir poemas y entender la física cuántica. Pero, si le preguntas: "¿Qué es más grande: 5.7 veces 100 o 580?", a veces te responde con un error tonto, como si nunca hubiera visto esos números antes.

Los autores de este paper descubrieron algo fascinante: El Genio no es tonto; simplemente tiene un problema de comunicación.

1. La Caja Negra y el Mapa del Tesoro 🗺️

Los investigadores decidieron mirar dentro de la "caja negra" de estos modelos (sus capas internas de procesamiento) para ver qué está pasando realmente.

La Analogía: Imagina que el modelo es una biblioteca gigante. Cuando lee un número como 5.7 × 10², en su interior (en sus "capas ocultas"), tiene un mapa del tesoro muy preciso que le dice exactamente dónde está ese número en el universo de los números.
El Hallazgo: Usando una herramienta llamada "sonda" (como un detector de metales), descubrieron que el modelo sí sabe el tamaño real de los números. De hecho, si leemos ese mapa interno, podemos recuperar el número con un error de apenas un 2% (en textos sintéticos) o un 19% (en papers científicos reales).
La Comparación: El modelo también sabe comparar dos números. Si le preguntas internamente "¿Cuál es más grande?", su "cerebro" interno acierta más del 90% de las veces.

2. El Problema: El "Barrido de la Lengua" 🗣️

Entonces, si el mapa del tesoro es perfecto, ¿por qué falla al hablar?

La Analogía: Es como tener un chef experto que sabe exactamente cómo se siente y huele un plato perfecto (su conocimiento interno), pero cuando intenta describirlo en palabras para un cliente, se le olvida cómo usar los adjetivos correctos o se confunde con la receta escrita.
La Realidad: Cuando pedimos al modelo que diga cuál número es más grande (la "verbalización"), su precisión cae drásticamente al 50-70% (casi como adivinar al azar).
El Conflicto: El modelo tiene el conocimiento ("sé que 580 es más grande"), pero falla al convertir ese conocimiento interno en una respuesta de texto coherente. Es como si tuviera la respuesta escrita en su mente, pero al intentar escribirla en un papel, le salen las letras torcidas.

3. La Prueba Definitiva: Entrenando el "Músculo" de la Comunicación 🏋️‍♂️

Los investigadores no se quedaron solo en observar; quisieron arreglarlo.

El Experimento: Imagina que le dices al chef: "No solo cocines el plato perfecto, sino que también te obligo a practicar cómo describirlo mientras lo cocinas".
La Técnica: Agregaron una "tarea extra" durante el entrenamiento del modelo. Mientras el modelo aprendía a escribir, también se le obligaba a "mirar" su propio mapa interno de los números para asegurarse de que estaba entendiendo bien la magnitud.
El Resultado: ¡Funcionó! Al forzar al modelo a mejorar su comprensión interna, su capacidad para decir la respuesta correcta mejoró notablemente (hasta un 99% en algunos casos).

🎯 Conclusión en una frase

Los modelos de lenguaje actuales son como genios con amnesia momentánea: tienen el conocimiento matemático perfectamente guardado en su interior, pero a veces olvidan cómo traducirlo en palabras. Sin embargo, si les enseñamos a confiar más en su "sentido numérico" interno, aprenden a hablar con mucha más precisión.

En resumen:

Saben: Tienen un mapa interno preciso de los números.
Fallan: A veces no saben cómo decirlo en voz alta.
Solución: Si entrenamos su "sentido interno", su "boca" mejora automáticamente.

¡Es una prueba de que a veces, para que una IA hable mejor, primero hay que hacerla "pensar" mejor!

Resumen Técnico: LLMs Know More About Numbers than They Can Say

1. El Problema

A pesar de que los Modelos de Lenguaje Grandes (LLMs) de última generación pueden resolver problemas matemáticos complejos, se ha observado que cometen errores frecuentes al comparar números con notación mixta (por ejemplo, comparar $5.7 \times 10^2$ con $580$).

La pregunta fundamental: ¿Realmente los LLMs "saben" qué tan grandes son estos números internamente, o simplemente manipulan los tokens textuales sin comprender su magnitud numérica real?
La discrepancia: Existe una brecha significativa entre la capacidad de los modelos para generar respuestas verbales correctas (que a menudo están cerca del azar, 50-70%) y la información que se presume que poseen en sus estados ocultos.

2. Metodología

Los autores investigaron la "numerosidad" interna de varios LLMs de código abierto (7B–8B parámetros) y modelos cerrados (GPT-4.1) mediante tres enfoques principales:

Probing (Sondeo) de Estados Ocultos:
- Se extrajeron los estados ocultos de las capas de los modelos al procesar tokens numéricos.
- Regresión Lineal: Se entrenaron proyectores lineales simples para predecir el logaritmo de la magnitud ( $\log_2$ ) de los números a partir de los estados ocultos.
- Clasificación Binaria: Se entrenaron clasificadores logísticos en los estados ocultos (específicamente en el token final del prompt) para predecir directamente cuál de dos números es mayor ( $a > b$ ).
Evaluación de Verbalización:
- Se midió la precisión de los modelos al responder preguntas de comparación de notación mixta utilizando prompts de uno o pocos ejemplos (few-shot), sin entrenamiento previo para esta tarea específica.
Afinamiento (Fine-tuning) con Pérdida Auxiliar:
- Para probar la causalidad, se añadió la pérdida de entrenamiento del clasificador de sondeo (probe loss) como un objetivo auxiliar durante el fine-tuning del modelo, junto con la pérdida estándar de modelado de lenguaje.

3. Contribuciones Clave y Resultados

A. Representación Interna Lineal de Magnitudes

Los estados ocultos de los LLMs codifican linealmente la magnitud logarítmica de los números, tanto en notación decimal como científica.
Precisión de la regresión: Un solo proyector lineal puede recuperar los números con un error relativo mediano de ~2.3% en datos sintéticos y ~19.06% en artículos científicos reales (arXiv).
Esto demuestra que la información numérica existe en una forma accesible linealmente dentro de la red neuronal.

B. Codificación de Comparaciones Internas

Los estados ocultos no solo contienen la magnitud, sino también la relación de orden entre dos números.
Un clasificador lineal entrenado en los estados ocultos alcanza una precisión superior al 90% (y hasta 98% en algunos modelos) para determinar qué número es mayor, incluso cuando los números son muy cercanos.
Paradoja: Aunque los modelos tienen esta información interna con alta precisión, su capacidad para verbalizarla es deficiente.

C. La Brecha de Verbalización

Cuando se les pide explícitamente comparar números en notación mixta, los modelos de 7B-8B alcanzan solo una precisión del 50% al 70% (cerca del azar).
Los modelos más grandes (GPT-4.1) mejoran ligeramente (~92%), pero aún cometen errores, especialmente cuando los números son cercanos.
Correlación: Existe una fuerte correlación entre la precisión de los sondeos en las primeras capas del modelo y la precisión de la verbalización final. Esto sugiere que la calidad de la representación interna es un predictor de la capacidad de generación.

D. Mejora mediante Fine-tuning Asistido por Sondeo

Al incluir la pérdida del clasificador de sondeo como objetivo auxiliar durante el fine-tuning, se logra una mejora significativa en la verbalización.
Resultado: Se obtuvo una mejora adicional del 3.22% en la precisión de verbalización sobre los modelos base.
En modelos específicos (como Mistral y Qwen), esta técnica corrigió más de 2/3 de los errores restantes, llevando a algunos modelos a una precisión $\ge 99\%$ .

4. Significado e Implicaciones

Conocimiento vs. Expresión: El estudio confirma que los LLMs poseen un "sentido numérico" sofisticado y representaciones internas precisas, pero carecen de la capacidad de acceder y verbalizar esa información de manera fiable durante la generación de texto estándar.
Causalidad: La mejora en la verbalización al optimizar las representaciones internas demuestra que el conocimiento numérico y la capacidad de expresión están causalmente vinculados. Mejorar lo que el modelo "sabe" internamente mejora directamente lo que puede "decir".
Limitaciones y Futuro:
- Los hallazgos se basan principalmente en datos sintéticos y modelos de tamaño medio (7B-8B).
- El uso de sondeos lineales puede ser insuficiente para datos complejos del mundo real (como el contexto semántico de unidades de medida), aunque el fine-tuning podría ayudar a reorganizar estas representaciones.
- Se destaca la necesidad de investigar cómo estos mecanismos escalan en modelos más grandes y cómo manejar el contexto semántico (ej. 5 millas vs. 50 metros).

Conclusión

El artículo establece que los LLMs actuales saben más sobre los números de lo que pueden decir. La información numérica está presente y codificada linealmente en sus estados ocultos, pero el proceso de generación de lenguaje falla al extraerla correctamente. Sin embargo, mediante técnicas de fine-tuning que alinean las representaciones internas con la tarea de comparación, es posible desbloquear y mejorar significativamente la capacidad de razonamiento numérico verbal de estos modelos.