A Triadic Suffix Tokenization Scheme for Numerical Reasoning

Este artículo presenta la Tokenización de Sufijos Triádicos (TST), un esquema determinista que divide los números en grupos de tres dígitos con marcadores de magnitud explícitos para resolver las inconsistencias de las tokenizaciones subpalabra estándar y mejorar el razonamiento numérico en modelos de lenguaje grandes.

Lo esencial

Imagina que las Inteligencias Artificiales (como los modelos de lenguaje que usas hoy) son como niños genios que han leído millones de libros, pero que tienen una dificultad extraña: no entienden bien los números.

Si le preguntas a un niño genio si "9.11" es más grande que "9.9", a veces te dirá que sí, porque ve dos dígitos después del punto y piensa que es más grande, sin entender que el "11" en realidad es solo once centésimas, mientras que el "9" es noventa centésimas.

¿Por qué pasa esto? Porque cuando la computadora "lee" un número, lo rompe en pedazos pequeños y desordenados, como si intentara armar un rompecabezas sin ver la imagen de la caja.

Este paper propone una solución brillante llamada Tokenización de Sufijos Triádicos (TST). Vamos a explicarlo con una analogía sencilla.

🌟 La Analogía: El Sistema de Cajas y Etiquetas

Imagina que tienes que transportar cajas de manzanas.

1. El problema actual (Tokenización normal):
   Imagina que tienes 1.234.567 manzanas. El sistema actual las tira todas en una pila gigante y las etiqueta con códigos extraños como "1", "2", "3", "4"... La computadora tiene que adivinar cuántas manzanas hay en total basándose solo en el orden en que aparecen las cajas. Es como intentar adivinar el peso de una montaña solo mirando piedras sueltas.

2. La solución propuesta (TST):
   El autor propone un sistema de cajas de tres en tres (grupos de mil) con etiquetas mágicas pegadas en cada caja.

   En lugar de escribir 1234567, el sistema lo reescribe así:

   1 millón - 234 mil - 567

   Aquí está la magia:

   • Grupos de tres: Agrupa los números de tres en tres (como hacemos en español: miles, millones, billones).
   • Etiquetas de tamaño (Sufijos): Pega una etiqueta en cada grupo que diga exactamente qué tan grande es.
     • k = mil (thousand)
     • m = millón (million)
     • b = billón (billion)
   • Para los decimales: Si tienes números después del punto (como 0.123456), usa una etiqueta especial p (para "parte") que se repite para indicar qué tan pequeño es el trozo.
     • 123p = 123 milésimas.
     • 456pp = 456 millonésimas.

¿Por qué es genial esto?

1. Elimina las adivinanzas

Antes, la IA tenía que adivinar: "¿Este '123' son 123 manzanas, o 123 mil manzanas?".
Con TST, la etiqueta lo dice claramente: "123k" significa exactamente 123 mil. No hay duda. Es como poner una etiqueta de precio en cada caja en lugar de tener que contar todo el almacén cada vez.

2. Es como leer en voz alta

Cuando nosotros leemos un número, decimos: "Un millón doscientos treinta y cuatro mil...".
El sistema TST hace que la computadora "lea" el número de la misma manera, grupo por grupo, con su tamaño explícito. Le da a la IA el mismo "sentido común" que tenemos los humanos.

3. Precisión perfecta

A veces, escribir 0.1 o 0.100 parece diferente, pero es lo mismo. El sistema TST estandariza esto. Asegura que 0.1 siempre se vea igual internamente, evitando que la computadora se confunda por pequeños detalles de escritura.

Las dos formas de usarlo

El paper sugiere dos formas de implementar esto, como elegir entre dos tipos de herramientas:

• Opción A (Etiquetas separadas): Escribes el número y luego pegas la etiqueta. Ejemplo: 123 + k. Es como tener cajas sueltas y pegatinas sueltas. Es fácil de añadir, pero la computadora tiene que unirlos mentalmente.
• Opción B (Cajas pre-etiquetadas): Creas cajas nuevas que ya vienen con la etiqueta pegada. Ejemplo: Una caja que dice 123k como un solo objeto. Es más rápido para la computadora procesar, pero necesitas más espacio en el "inventario" de palabras (vocabulario) de la IA.

En resumen

Este paper dice: "Dejemos de romper los números en pedazos confusos. Agrupémoslos en tríos y peguemos una etiqueta gigante que diga su tamaño real."

Es como pasar de darle a un niño un montón de letras sueltas para que adivine una palabra, a darle la palabra completa escrita en mayúsculas con un signo de exclamación gigante.

¿El resultado? Se espera que las IAs cometan muchos menos errores en matemáticas, ciencia y razonamiento numérico, porque ya no tendrán que adivinar el tamaño de los números, sino que lo verán escrito claramente en cada paso. ¡Y lo mejor es que esto se puede añadir a cualquier IA existente sin tener que cambiar su cerebro, solo cambiando cómo leen los números!

Resumen técnico

Resumen Técnico: Esquema de Tokenización de Sufijos Triádicos (TST)

1. El Problema: La Fragmentación Numérica en los LLMs

Los Modelos de Lenguaje Grandes (LLMs) actuales sufren de una comprensión deficiente de los números, lo que resulta en errores frecuentes en tareas de aritmética y razonamiento científico. Un ejemplo clásico es la incapacidad de distinguir que $9.11 > 9.9$.

La causa raíz identificada es la tokenización estándar de subpalabras (como BPE):

• Fragmentación inconsistente: Los números se dividen en unidades arbitrarias (ej. "100400" se divide en "100" y "400"), perdiendo la estructura posicional y la información de magnitud.
• Inferencia costosa: Los modelos deben aprender las relaciones de magnitud (miles, millones, decimales) desde cero basándose únicamente en patrones posicionales, lo cual es estadísticamente ineficiente.
• Limitaciones de enfoques previos:
  • Tokenización por dígitos (base-10): Precisa pero carece de pistas de magnitud explícitas.
  • Tokenización de derecha a izquierda con comas: Agrupa dígitos pero no indica la magnitud de cada grupo (el modelo debe inferir si "123" son 123, 123.000 o 123.000.000).
  • xVal: Codifica números como embeddings continuos, perdiendo los dígitos exactos (inaceptable para aritmética precisa).

2. Metodología: Tokenización de Sufijos Triádicos (TST)

El artículo propone TST, un esquema determinista que transforma la representación numérica mediante tres principios fundamentales:

1. Agrupación Triádica: Los dígitos se agrupan en triadas (grupos de tres) en base 1000.
2. Anotación de Magnitud Explícita: Cada triada se etiqueta con un sufijo que indica su orden de magnitud.
3. Preservación de Dígitos Exactos: A diferencia de los embeddings continuos, TST mantiene la precisión numérica exacta.

Detalles de la Implementación:

• Parte Entera (Derecha a Izquierda):

  • Se agrupan los dígitos desde la derecha.
  • Se añaden sufijos explícitos: k (miles, $10^3$), m (millones, $10^6$), b (billones, $10^9$), t (trillones, $10^{12}$), q (cuatrillones, $10^{15}$).
  • Ejemplo: 1234567 $\rightarrow$ 1m 234k 567.
  • Ventaja: El sufijo proporciona al modelo el orden de magnitud directamente, sin necesidad de inferirlo por posición.

• Parte Fraccionaria (Izquierda a Derecha):

  • Se agrupan los dígitos decimales en triadas desde la izquierda.
  • Se utilizan marcadores replicados p para indicar la profundidad decimal: p (décimas), pp (milésimas), ppp (millonésimas), etc.
  • Normalización (Relleno a la derecha): Para garantizar una correspondencia 1:1 entre tokens y valores, todas las triadas fraccionarias se rellenan con ceros a la derecha hasta completar 3 dígitos.
  • Ejemplo: 0.0045 $\rightarrow$ 0. 004p 500pp.
  • Esto asegura que 0.1, 0.10 y 0.100 se mapeen a la misma secuencia de tokens (0. 100p), eliminando ambigüedades superficiales.

Variantes de Implementación:

1. Opción A (Tokens Separados): Los grupos de dígitos y los sufijos son tokens separados. Añade solo ~10 tokens al vocabulario.
2. Opción B (Tokens Compuestos): Se crean tokens combinados (ej. "100k", "234m"). Añade hasta 10,000 tokens (1000 triadas $\times$ 10 sufijos), pero reduce la longitud de la secuencia y elimina ambigüedades de agrupación.

3. Contribuciones Clave

• Sesgo Inductivo Explícito: TST proporciona una señal de gradiente consistente al hacer explícitas las relaciones de jerarquía y magnitud, en lugar de dejar que el modelo las infiera implícitamente.
• Escalabilidad: El esquema es escalable linealmente. Se pueden cubrir 33 órdenes de magnitud ($10^{-15}$ a $10^{18}$) y extenderse indefinidamente añadiendo nuevos sufijos sin cambiar la lógica central.
• Independencia de Arquitectura: Es un paso de preprocesamiento "drop-in" (listo para usar) que no requiere modificar la arquitectura del modelo, solo el tokenizador y el vocabulario.
• Compatibilidad con NTL (Number Token Loss): TST opera a nivel de entrada, mientras que NTL opera a nivel de función de pérdida. Son ortogonales y pueden combinarse para mejorar aún más el rendimiento.
• Límites Deterministas: A diferencia de la tokenización probabilística estándar, TST ofrece un mapeo biyectivo y determinista entre el token y su valor numérico real.

4. Resultados y Validación

• Estado Actual: El artículo es principalmente teórico y de propuesta metodológica. La validación experimental se pospone para trabajos futuros.
• Análisis Comparativo: El documento presenta un marco de comparación (Tabla 2) que demuestra que TST supera a otros métodos al preservar dígitos exactos y proporcionar información de magnitud explícita, equilibrando la longitud de la secuencia y la precisión.
• Hiperótesis: Se postula que TST reducirá los errores de inferencia y los costos de entrenamiento al eliminar la necesidad de que el modelo "adivine" la magnitud numérica.

5. Significado e Impacto Potencial

El trabajo de Chetverina aborda una de las debilidades fundamentales de los LLMs: la comprensión numérica.

• Solución Práctica: Ofrece una solución simple y efectiva que no requiere reentrenar modelos masivos desde cero, sino ajustar el tokenizador.
• Aplicabilidad: Es crucial para dominios que requieren alta precisión (finanzas, ciencia, ingeniería) donde los errores de magnitud son críticos.
• Futuro: Si la validación empírica en benchmarks como NumericBench confirma las hipótesis, TST podría convertirse en un estándar para la tokenización numérica en modelos de razonamiento, superando las limitaciones de las comas tradicionales y la tokenización por dígitos sueltos.

En resumen, TST transforma la tokenización numérica de una fuente de ambigüedad y error en una representación estructurada, jerárquica y determinista, facilitando el razonamiento matemático preciso en modelos de lenguaje.