The Effect of Scripts and Formats on LLM Numeracy

Resumen Técnico: El Efecto de los Guiones y Formatos en la Numeracidad de los LLM

Planteamiento del Problema
Si bien los Modelos de Lenguaje de Gran Escala (LLM) han demostrado una impresionante competencia en aritmética básica utilizando numerales hindú-arábicos (HA) estándar y convenciones de formato occidentales, su robustez al encontrarse con representaciones no estandarizadas sigue sin explorarse profundamente. Este trabajo investiga si la numeracidad de los LLM refleja un razonamiento matemático genuino o si está fuertemente condicionada por las formas superficiales específicas (guiones y formatos) prevalentes en sus corpus de entrenamiento. Los autores postulan que las desviaciones de estas convenciones predominantes —como el uso de guiones numerales alternativos (p. ej., devanagari, bengalí) o separadores decimales y de agrupación no estandarizados— pueden introducir brechas de rendimiento significativas, incluso cuando la lógica aritmética subyacente es idéntica. Además, el estudio examina cómo las estrategias de tokenización, que determinan cómo se segmentan los números en unidades de subpalabras, influyen en estos resultados.

Metodología
Los autores introducen un marco de evaluación controlado diseñado para aislar los efectos de la representación numeral de la complejidad aritmética. El núcleo de su metodología consiste en un conjunto de datos de 336 expresiones aritméticas base (suma, resta, multiplicación, división) con operandos enteros y decimales de 1 a 8 dígitos.

1. Conjunto de Datos Multiguion: Cada expresión base se traduce a 20 guiones numerales distintos, que van desde sistemas de altos recursos (p. ej., persa-arábigo, devanagari) hasta guiones de recursos extremadamente bajos (p. ej., osmanya, adlam). Esto permite la evaluación de tres tareas:

   • Identificación de Guiones: Identificar el guion de un número dado.
   • Traducción Numeral: Convertir números de varios guiones a dígitos HA estándar.
   • Computación Aritmética: Realizar cálculos directamente sobre números presentados en guiones no HA.

2. Conjunto de Datos de Variación de Formato: Se retienen las mismas 336 expresiones en dígitos HA, pero modificadas con seis diferentes convenciones de formato. Estas variaciones alteran los marcadores decimales (punto vs. coma) y los separadores de agrupación de dígitos (comas, espacios finos, apóstrofos) y patrones (p. ej., 3-3-3 vs. 3-2-2), reflejando diversos estilos internacionales.

3. Modelos y Evaluación: El estudio evalúa nueve LLM, incluyendo cuatro modelos grandes (Claude Sonnet 4.5, GPT-4o, Gemini 2.5 Pro, Llama-3.3 70B) y cinco modelos de código abierto más pequeños. El rendimiento se mide mediante la coincidencia exacta con la verdad de referencia. Los autores también emplean Modelos Lineales Generalizados de Efectos Mixtos (GLMER) para cuantificar estadísticamente el impacto del guion, el formato, la tokenización y las estrategias de prompting, controlando las mediciones repetidas a través de los mismos problemas.

Resultos Clave
El estudio revela que el rendimiento de los LLM es altamente sensible a las variaciones de representación, sufriendo a menudo caídas sustanciales de precisión a pesar de que las tareas matemáticas sean idénticas.

• Impuesto de Guion (Script Tax): Cambiar de numerales HA estándar a guiones no HA resulta en una caída promedio de rendimiento del 66–87% en todos los modelos evaluados. Aunque los modelos grandes generalmente funcionan bien en la identificación de guiones y la traducción (a menudo con una precisión >90%), sus capacidades aritméticas se degradan significativamente en guiones no HA. Los guiones de bajos recursos (p. ej., osmanya, adlam) muestran una precisión cercana a cero para los modelos más pequeños y caídas significativas para los más grandes.
• Impacto de la Tokenización: El análisis estadístico confirma que el número de tokens por dígito es un predictor significativo del rendimiento. Los guiones que requieren más tokens de subpalabra por dígito (representaciones fragmentadas) se correlacionan fuertemente con una menor precisión aritmética. Por ejemplo, Gemini 2.5 Pro, que tokeniza cada dígito individualmente, exhibe un rendimiento consistentemente más bajo en números formateados en comparación con los modelos que agrupan dígitos.
• Sensibilidad de Formato: Incluso con dígitos HA, las convenciones de formato no estandarizadas (p. ej., usar un punto como separador de miles o espacios finos para la agrupación) reducen la precisión. Los formatos que se asemejan a direcciones IP (p. ej., F2) o convenciones regionales específicas (p. ej., F3, F5) son particularmente desafiantes, lo que a menudo conduce a fallos en el seguimiento de instrucciones donde el modelo no puede reproducir el formato de salida requerido.
• Estrategias de Prompting: El estudio demuestra que el prompting dirigido puede reducir significamente la brecha de rendimiento.
  • Mapeo Explícito: Proporcionar un mapeo explícito entre los dígitos no HA y los dígitos HA (p. ej., "0:0, 1:1...") produce la mayor mejora en las tareas aritméticas.
  • Aprendizaje de Pocos Ejemplos (Few-Shot Learning): Incluir ejemplos de entradas y salidas formateadas mejora la precisión entre un 20–60%, mitigando eficazmente la "penalización de formato".
  • Prompts en el Lenguaje Nativo: Usar el lenguaje del prompt consistente con el guion del numeral también ayuda al rendimiento, aunque de manera menos efectiva que el mapeo explícito.
  • Sugerencias (Hinting): Simplemente mencionar el nombre del guion o describir las reglas de formato sin ejemplos produce una mejora insignificante.

Significancia y Reivindicaciones
Los autores afirman que sus hallazgos resaltan un desafío pasado por alto en el razonamiento numérico multilingüe: la fragilidad de la numeracidad de los LLM bajo cambios de representación. El artículo argumenta que la competencia aritmética observada en los LLM no es puramente algorítmica, sino que está fuertemente condicionada por la prevalencia de guiones y formatos específicos en los datos de preentrenamiento.

La significancia de este trabajo radica en:

1. Identificar el "Impuesto de Guion": Establecer que las representaciones no estandarizadas incurren en una penalización de rendimiento sistemática, lo que sugiere que las evaluaciones actuales pueden sobreestimar la robustez de los modelos en entornos lingüísticos diversos del mundo real.
2. Perspectivas Accionables: Demostrar que esta pérdida de capacidad no es inevitable. Los autores muestran que las intervenciones simples, sin necesidad de parámetros —específicamente el prompting de pocos ejemplos y el mapeo numeral explícito— pueden cerrar eficazmente la brecha, permitiendo que los modelos se adapten a guiones y formatos desconocidos sin necesidad de reentrenamiento.
3. Prácticas de Evaluación: El trabajo aboga por prácticas de evaluación que reflejen la diversidad de las representaciones numéricas encontradas en el uso del lenguaje en el mundo real, yendo más allá de las convenciones estandarizadas de corte occidental que dominan los benchmarks actuales.

El artículo concluye modestamente, señalando que aunque estas estrategias de prompting son efectivas, no abordan todos los métodos potenciales de mejora (como la cadena de pensamiento o el uso de herramientas), y que el estudio se centra en aislar los efectos de la representación en lugar de una optimización exhaustiva.