Resumen Técnico: Representaciones Numéricas Conscientes del Valor para Modelos de Lenguaje Transformer

Planteamiento del Problema

Los Modelos de Lenguaje de Gran Escala (LLM) basados en Transformer demuestran frecuentemente un fuerte rendimiento en tareas de razonamiento matemático complejo, pero siguen siendo frágiles al manejar la comprensión numérica básica y las operaciones aritméticas. La limitación central identificada es que los LLM estándar procesan los números como tokens simbólicos (secuencias de caracteres o subpalabras) cuyos embeddings se aprenden únicamente a partir de las estadísticas de coocurrencia de tokens. En consecuencia, los modelos carecen de una representación explícita y continua de la magnitud numérica. Esto conduce a errores sistemáticos en tareas que requieren comparación de magnitudes, ordenación y aritmética, particularmente a medida que aumenta la longitud de las entradas numéricas. El artículo argumenta que los enfoques actuales intensivos en el razonamiento (por ejemplo, Cadena de Pensamiento o Chain-of-Thought) a menudo enmascaran estas debilidades fundamentales mediante la generación de largos pasos intermedios, pero no resuelven el problema subyacente de que los modelos no "saben" intrínsecamente qué representa un número.

Metodología

Los autores proponen una representación numérica consciente del valor que aumenta los inputs tokenizados estándar con un token de prefijo dedicado, denotado como <num>, insertado inmediatamente antes de los tokens de la forma superficial del número.

Arquitectura y Mecanismo

1. Embedding Condicionado por el Valor: A diferencia de los tokens estándar, el embedding del token <num> no es fijo. En su lugar, se computa como una función $f(x)$ del valor numérico subyacente $x$.

   • Fase de Entrenamiento: El verdadero valor numérico $x$ está disponible. Un módulo de embedding aprendible (ya sea un codificador de punto fijo basado en MLP o un codificador recurrente basado en RNN) computa $f(x)$. Este embedding se inyecta en la secuencia de entrada del modelo junto con los embeddings de los tokens estándar.
   • Fase de Inferencia: El verdadero valor $x$ no está disponible. Un cabezal de proyección mapea el estado oculto $h$ que precede al token <num> hacia un espacio de embedding, aproximando el embedding basado en el valor ($proj(h) \approx f(x)$). Este embedding proyectado condiciona la generación de los tokens numéricos subsiguientes.

2. Variantes del Módulo de Embedding:

   • Basado en MLP: Representa las partes entera y fraccionaria como vectores decimales de longitud fija, concatenados con características auxiliares (signo, conteo de dígitos, decimales), y proyectados a través de una capa de alimentación hacia adelante (feed-forward).
   • Basado en RNN: Procesa las partes entera y fraccionaria de forma independiente utilizando Unidades de Puerta Recurrente (GRU), permitiendo secuencias de longitud variable y precisión arbitraria, seguido de la concatenación con características auxiliares y una proyección lineal.

3. Objetivo de Entrenamiento: Para abordar el desajuste entre entrenamiento y prueba (donde el modelo "hace trampa" al ver el valor real durante el entrenamiento pero debe predecirlo durante la inferencia), los autores emplean una función de pérdida compuesta:

   • Pérdida de Modelado de Lenguaje Estándar ($L_{LM}^{emb}$): Entrena al modelo utilizando el verdadero embedding basado en el valor $f(x)$.
   • Pérdida de Modelado de Lenguaje Proyectada ($L_{LM}^{proj}$): Entrena al modelo utilizando el estado oculto proyectado $proj(h)$ para simular las condiciones de inferencia.
   • Pérdida de Reconstrucción ($L_{rec}$): Minimiza la distancia de coseno entre el estado oculto proyectado y el verdadero embedding basado en el valor para forzar la alineación.
   • La pérdida total es una suma ponderada: $L = L_{LM}^{emb} + L_{LM}^{proj} + \lambda L_{rec}$.

Principales Contribuciones

1. Nuevo Mecanismo de Codificación: La propuesta de un token de prefijo consciente del valor cuyo embedding está explícitamente condicionado por el valor numérico, desacoplando la representación de la magnitud de la tokenización de la forma superficial.
2. Validación Empírica: Demostración de que este enfoque mejora consistentemente el rendimiento en un benchmark diseñado para aislar la competencia aritmética, superando a bases sólidas bajo idénticas condiciones de entrenamiento e inferencia.
3. Compatibilidad Arquitectónica: El método requiere modificaciones mínimas y es directamente aplicable a cualquier arquitectura Transformer de solo decodificador sin alterar los tokenizadores o mecanismos de generación existentes.
4. Código Abierto: Se libera la implementación completa, incluyendo los cambios arquitectónicos, el código de entrenamiento y los scripts de evaluación para apoyar la reproducibilidad.

Resultados Experimentales

El enfoque fue evaluado en el benchmark NUPA (Yang et al., 2024), que aísla habilidades numéricas fundamentales a través de enteros, números de punto flotante, fracciones y notación científica.

• Bases de Comparación (Baselines): Se comparó contra un Transformer Estándar (autorregresivo, solo tokens) y Numerologic (Schwartz et al., 2024), un método que utiliza descripciones de lenguaje natural de la magnitud (por ejemplo, conteo de dígitos) como entrada auxiliar.
• Rendimiento:
  • Los modelos propuestos NumValue-RNN y NumValue-MLP lograron una precisión de Coincidencia Exacta (Exact Match) de 0.724 y 0.720, respectivamente, frente al 0.687 del Transformer Estándar y el 0.633 de Numerologic.
  • Se observaron mejoras en todos los formatos numéricos, tipos de tareas (aritmética, comparación, conversión) y longitudes de operandos (hasta 7 dígitos).
  • La variante basada en RNN mostró puntuaciones de Coincidencia Exacta ligeramente superiores, atribuidas a su capacidad para manejar secuencias de longitud variable, mientras que la variante MLP mostró un rendimiento marginalmente mejor en la alineación de dígitos y la estimación de longitud.
• Robustez: La brecha de rendimiento entre el método propuesto y las bases de comparación se mantuvo constante o se amplió a medida que aumentaba el número de dígitos, lo que indica una mayor robustez a la escala de la entrada.

Significado y Reivindicaciones

El artículo afirma que codificar explícitamente el valor numérico es una forma efectiva y eficiente de mejorar la robustez numérica fundamental en los modelos de lenguaje. Al inyectar información de magnitud directamente en el espacio de entrada, el enfoque aborda la causa raíz de los errores numéricos básicos en lugar de compensarlos mediante cadenas de razonamiento extendidas.

Los autores enfatizan que su método proporciona una alternativa ligera a las estrategias intensivas en razonamiento. Argumentan que la competencia numérica es una capacidad distinta que requiere una representación explícita, no meramente un subproducto de un razonamiento mejorado. Los resultados sugieren que tratar los números como mediciones continuas en lugar de tokens simbólicos discretos mejora significamente la capacidad de un modelo para razonar sobre cantidades numéricas.

Limitaciones señaladas por los autores:

• La evaluación se realiza a nivel de prototipo utilizando modelos entrenados desde cero en un benchmark restringido; los resultados pueden no reflejar plenamente el rendimiento de los modelos grandes pre-entrenados en escenarios complejos de seguimiento de instrucciones.
• El método incurre en un mayor costo de entrenamiento debido al requerimiento de dos pasadas hacia adelante por ejemplo (una para la proyección, otra para la decodificación), aunque esto no afecta la latencia de inferencia.
• No se realizó un ajuste de hiperparámetros dedicado, lo que puede impactar las métricas de rendimiento absoluto pero no altera las comparaciones relativas.