The Effect of Scripts and Formats on LLM Numeracy

Resumo Técnico: O Efeito de Scripts e Formatos na Numeracia de LLMs

Declaração do Problema
Embora os Grandes Modelos de Linguagem (LLMs) tenham demonstrado uma proficiência impressionante em aritmética básica usando numerais indo-arábicos (HA) padrão e convenções de formatação ocidentais, sua robustez ao encontrar representações não padronizadas permanece pouco explorada. Este trabalho investiga se a numeracia dos LLMs reflete um raciocínio matemático genuíno ou se é fortemente condicionada às formas superficiais específicas (scripts e formatação) prevalentes em seus corpora de treinamento. Os autores postulam que desvios dessas convenções predominantes — como o uso de sistemas de numerais alternativos (ex: Devanagari, Bengali) ou separadores decimais e de agrupamento não padronizados — podem introduzir lacunas significativas de desempenho, mesmo quando a lógica aritmética subjacente é idêntica. Além disso, o estudo examina como as estratégias de tokenização, que determinam como os números são segmentados em unidades de subpalavras, influenciam esses resultados.

Metodologia
Os autores introduzem um framework de avaliação controlado projetado para isolar os efeitos da representação numérica da complexidade aritmética. O núcleo de sua metodologia envolve um conjunto de dados de 336 expressões aritméticas base (adição, subtração, multiplicação, divisão) com operandos inteiros e decimais de 1 a 8 dígitos.

1. Dataset Multisscript: Cada expressão base é traduzida para 20 scripts numerais distintos, variando de sistemas de alto recurso (ex: Perso-Árabe, Devanagari) a scripts de baixíssimo recurso (ex: Osmanya, Adlam). Isso permite a avaliação de três tarefas:

   • Identificação de Script: Identificar o script de um determinado número.
   • Tradução Numeral: Converter números de vários scripts para dígitos HA padrão.
   • Computação Aritmética: Realizar cálculos diretamente em números apresentados em scripts não-HA.

2. Dataset de Variação de Formato: Os mesmos 336 expressões são mantidos em dígitos HA, mas modificados com seis convenções de formatação diferentes. Essas variações alteram marcadores decimais (ponto vs. vírgula) e separadores de agrupamento de dígitos (vírgulas, espaços finos, apóstrofos) e padrões (ex: 3-3-3 vs. 3-2-2), refletindo diversos estilos internacionais.

3. Modelos e Avaliação: O estudo avalia nove LLMs, incluindo quatro modelos grandes (Claude Sonnet 4.5, GPT-4o, Gemini 2.5 Pro, Llama-3.3 70B) e cinco modelos menores de código aberto. O desempenho é medido via correspondência exata contra a verdade fundamental (ground truth). Os autores também empregam Modelos Lineares Mistos Generalizados (GLMER) para quantificar estatisticamente o impacto do script, formato, tokenização e estratégias de prompting, controlando as medições repetidas ao longo dos mesmos problemas.

Resultos Principais
O estudo revela que o desempenho dos LLMs é altamente sensível a variações representacionais, frequentemente sofrendo quedas substanciais de precisão, apesar de tarefas matemáticas idênticas.

• Imposto do Script (Script Tax): Mudar de numerais HA padrão para scripts não-HA resulta em uma queda média de desempenho de 66–87% entre os modelos avaliados. Embora os modelos grandes geralmente performem bem em identificação de script e tradução (frequentemente >90% de precisão), suas capacidades aritméticas degradam significamente em scripts não-HA. Scripts de baixo recurso (ex: Osmanya, Adlam) mostram precisão próxima de zero para modelos menores e quedas significativas para modelos maiores.
• Impacto da Tokenização: A análise estatística confirma que o número de tokens por dígito é um preditor significativo de desempenho. Scripts que exigem mais tokens de subpalavras por dígito (representações fragmentadas) correlacionam-se fortemente com uma menor precisão aritmética. Por exemplo, o Gemini 2.5 Pro, que tokeniza cada dígito individualmente, exibe desempenho consistentemente inferior em números formatados comparado a modelos que agrupam dígitos.
• Sensibilidade de Formatação: Mesmo com dígitos HA, convenções de formatação não padronizadas (ex: usar um ponto como separador de milhar ou espaços finos para agrupamento) reduzem a precisão. Formatos que se assemelham a endereços IP (ex: F2) ou convenções regionais específicas (ex: F3, F5) são particularmente desafiadores, frequentemente levando a falhas de seguimento de instrução onde o modelo não consegue reproduzir o formato de saída exigido.
• Estratégias de Prompting: O estudo demonstra que o prompting direcionado pode reduzir significativamente a lacuna de desempenho.
  • Mapeamento Explícito: Fornecer um mapeamento explícito entre dígitos não-HA e dígitos HA (ex: "0:0, 1:1...") gera o maior aumento nas tarefas aritméticas.
  • Aprendizado Few-Shot: Incluir exemplos de entradas e saídas formatadas melhora a precisão em 20–60%, mitigando efetivamente a "penalidade de formatação".
  • Prompts em Língua Nativa: Usar o idioma do prompt consistente com o script numeral também auxilia o desempenho, embora de forma menos eficaz que o mapeamento explícito.
  • Dicas (Hinting): Apenas declarar o nome do script ou descrever as regras de formatação sem exemplos gera melhoria negligenciável.

Significância e Alegações
Os autores alegam que suas descobertas destacam um desafio negligenciado no raciocínio numérico multilíngue: a fragilidade da numeracia dos LLMs sob mudanças representacionais. O artigo argumenta que a competência aritmética observada nos LLMs não é puramente algorítmica, mas é fortemente condicionada pela prevalência de scripts e formatos específicos em seus dados de pré-treinamento.

A significância deste trabalho reside em:

1. Identificar o "Imposto do Script": Estabelecer que representações não padronizadas incorrem em uma penalidade de desempenho sistemática, sugerindo que as avaliações atuais podem superestimar a robustez dos modelos em ambientes linguísticos diversos do mundo real.
2. Insights Acionáveis: Demonstrar que essa perda de capacidade não é inevitável. Os autores mostram que intervenções simples, sem parâmetros (especificamente few-shot prompting e mapeamento numeral explícito), podem efetivamente preencher a lacuna, permitindo que os modelos se adaptem a scripts e formatos desconhecidos sem retreinamento.
3. Práticas de Avaliação: O trabalho defende práticas de avaliação que reflitam a diversidade de representações numéricas encontradas no uso de linguagem do mundo real, indo além das convenções padrão centradas no Ocidente que dominam os benchmarks atuais.

O artigo conclui modestamente, observando que, embora essas estratégias de prompting sejam eficazes, elas não abordam todos os métodos potenciais de melhoria (como chain-of-thought ou uso de ferramentas), e que o estudo foca em isolar os efeitos da representação em vez de uma otimização exaustiva.