Resumen Técnico: Numeracidad Eficiente en Modelos de Lenguaje mediante Codificaciones de Números de Un Solo Token

Declaración del Problema

Los Modelos de Lenguaje Grandes (LLM) actualmente tienen dificultades para procesar datos numéricos y resolver cálculos complejos de manera eficiente. Aunque los modelos de vanguardia pueden lograr una alta precisión en tareas aritméticas, a menudo dependen de dos estrategias ineficientes:

1. Uso de Herramientas Externas: Delegar los cálculos a calculadoras o intérpretes de código. Esto introduce latencia, posibles errores en la selección de herramientas y evita que el modelo genere representaciones numéricas intermedias durante un paso hacia adelante.
2. Cadenas de Razonamiento: Generar texto extenso paso a paso para descomponer problemas. Como se ilustra en el artículo, resolver una sola multiplicación puede requerir decenas de miles de tokens, limitando la complejidad y la longitud de los problemas resolubles debido a las restricciones de la ventana de contexto y los costos.

La causa raíz identificada es la estrategia de tokenización estándar, que trata los números como texto, dividiéndolos en múltiples tokens de subpalabras (por ejemplo, dígitos o tripletes). Esta fragmentación interrumpe la lógica interna requerida para la aritmética, como la propagación de llevadas, y obliga a los modelos a aprender algoritmos ineficientes.

Metodología

1. Evaluación de LLMs de Vanguardia

Los autores evaluaron inicialmente ocho LLMs de vanguardia (incluyendo GPT-5, Gemini 2.5, DeepSeek v3.1 y Llama 4) en nueve tareas numéricas: comparación (Mínimo/Máximo, Intervalo, Ordenación), aritmética básica (Suma, Multiplicación, División) y operaciones de múltiples pasos (Exponenciación, Media, Desviación Estándar).

• Hallazgos: Los modelos sin capacidades de razonamiento tuvieron un rendimiento deficiente en multiplicación, división y exponenciación (a menudo <60% de log-sMAPE). Los modelos con razonamiento "Máximo" lograron una mayor precisión, pero a costa de generar entre 5.000 y 30.000 tokens por cálculo.
• Métrica: El artículo introduce el log-sMAPE, una métrica que mide la fracción de dígitos significativos predichos correctamente antes del primer error, proporcionando una visión más granular de la precisión numérica que la precisión de coincidencia exacta.

2. Requisitos para Codificaciones de Un Solo Token

Para abordar las ineficiencias de la tokenización actual, los autores proponen un conjunto de nueve requisitos (Requisitos) para una codificación ideal de números de un solo token:

• D1 (Eficiencia de Token): Un token por número.
• D2 (Unicidad): Mapeo biyectivo entre el valor y la codificación.
• D3 (Estructura): Geometría que refleje el orden y la distancia numérica.
• D4 (Invarianza de Escala): Soporte para rangos y precisiones amplios.
• D5 (Normalización): Acotado y estable bajo LayerNorm/RMSNorm.
• D6 (Estabilidad): Robusto ante activaciones de baja precisión (por ejemplo, FP8).
• D7 (Continuidad): Variación suave con los valores subyacentes.
• D8 (Robustez): Decodificación fiable bajo ruido.
• D9 (Aritmética): Admitir algoritmos aprendibles para operaciones fundamentales.

3. Análisis de Enfoques Existentes

El artículo analiza dos estrategias existentes de un solo token:

• xVal: Escala un token aprendido por el valor numérico. Falla en D4 (rango/precisión limitados) y D6 debido a las restricciones de normalización.
• FoNE: Utiliza características de Fourier (funciones sinusoidales) para codificar números. Aunque satisface la mayoría de los requisitos, los autores demuestran mediante la Proposición 4.3 que las codificaciones sinusoidales carecen de un mapeo simple y local para la multiplicación. La multiplicación en este espacio requiere un proceso de decodificación no local, convolución y recodificación computacionalmente intensivo, lo que lo hace inadecuado para el aprendizaje eficiente por redes neuronales.

4. Solución Propuesta: BitTokens

Los autores introducen BitTokens, una estrategia de codificación novedosa basada en el formato de punto flotante binario de doble precisión IEEE 754.

• Codificación: Un número se representa como un único token que contiene un vector de 64 dimensiones correspondiente a su bit de signo (1), bits de exponente (11) y bits de significando (52).
• Construcción: El vector binario se escala a $[-1, 1]$ para satisfacer las restricciones de normalización (D5) y se suma a la incrustación de un token [NUM] aprendible.
• Aumento Recíproco: Para facilitar el aprendizaje de la división, la representación binaria del recíproco del número se concatena a la codificación.
• Decodificación: Una "cabeza numérica" dedicada (capa lineal + sigmoide) predice el vector binario a partir del estado oculto. Un umbral fijo (0.5) genera la salida binaria.
• Pérdida: El entrenamiento utiliza la Entropía Cruzada Binaria a Nivel de Bits (BCE) en lugar de regresión sobre el valor reconstruido, ya que esta última es inviable debido a problemas de magnitud y umbralización.

Contribuciones Clave

1. Evaluación Sistemática: Demostró que los LLMs de vanguardia dependen excesivamente de tokens de razonamiento para la aritmética, destacando la necesidad de capacidades numéricas intrínsecas.
2. Marco Teórico: Estableció un conjunto de nueve requisitos para codificaciones de un solo token y demostró teóricamente que las codificaciones sinusoidales (FoNE) son fundamentalmente inadecuadas para la multiplicación debido a la no localidad y la complejidad computacional.
3. Implementación de BitTokens: Propuso y validó una codificación determinista basada en IEEE 754 que satisface los requisitos, permitiendo que incluso modelos pequeños aprendan algoritmos aritméticos.

Resultados

Los experimentos se realizaron utilizando modelos nanoGPT-2 (117 millones de parámetros) entrenados desde cero con 30 millones de muestras por tarea, combinados con datos de texto (FineWeb).

• Rendimiento: BitTokens logró un rendimiento casi perfecto (log-sMAPE > 0.98) en tareas de comparación y aritmética de un solo paso (Suma, Multiplicación, División), superando significativamente a las líneas base de subpalabras, dígitos individuales, xVal y FoNE.
• Eficiencia: BitTokens redujo el costo de tokens para tareas aritméticas a un solo token, en comparación con los miles requeridos por las cadenas de razonamiento.
• Limitaciones:
  • Tareas de Múltiples Pasos: BitTokens tuvo dificultades con tareas complejas de múltiples pasos como Media, Desviación Estándar y Exponenciación en un solo paso hacia adelante. Los autores atribuyen esto a la capacidad limitada del modelo para comprimir resultados de alta precisión en un único paso latente, mientras que los modelos de múltiples tokens pueden refinar iterativamente las respuestas en múltiples pasos hacia adelante.
  • Comparación: En la tarea de Media, los métodos tradicionales de múltiples tokens (dígitos individuales) superaron a BitTokens, probablemente debido a su capacidad para utilizar los tokens generados como una "pizarra" externa para estados intermedios.

Significado y Afirmaciones

El artículo argumenta que BitTokens representan un paso prometedor hacia la numeracidad intrínseca en los LLMs. Al reemplazar la tokenización ineficiente con una representación estructurada de un solo token, los modelos pueden aprender algoritmos de cálculo internamente sin depender de cadenas de razonamiento excesivas o herramientas externas.

Los autores afirdan modestamente que, aunque BitTokens resuelven la aritmética básica de manera eficiente, aún no reemplazan completamente la necesidad de razonamiento en problemas complejos de múltiples pasos. Sugieren que el enfoque futuro más efectivo podría ser una estrategia híbrida: utilizar BitTokens para cálculos intermedios eficientes para liberar el presupuesto de tokens para el razonamiento lógico, expandiendo así la complejidad de los problemas que los LLMs pueden resolver. El trabajo enfatiza que la dependencia de las cadenas de razonamiento largas por parte de los modelos de vanguardia actuales es un síntoma de una representación numérica deficiente, no un límite fundamental de la arquitectura en sí misma.