Mind the Gap... or Not? How Translation Errors and Evaluation Details Skew Multilingual Results

Problema
Modelos de linguagem de grande escala (LLMs) recentes demonstraram capacidades impressionantes em ambientes multilíngues, suportando tanto línguas de alto recurso quanto de baixo recurso. No entanto, avaliações em benchmarks padrão, especificamente o conjunto de dados Multilingual Grade School Math (MGSM), têm mostrado consistentemente uma lacuna de desempenho significativa entre o inglês e outros idiomas. Observações iniciais sugeriram que os modelos performam bem em inglês, mas enfrentam dificuldades significativas em línguas como francês, suaíli e telugo, mesmo para línguas de alto recurso. Este fenômeno levou à hipótese de que os LLMs carecem de uma verdadeira capacidade de generalização cross-lingual. O artigo argumenta que essas conclusões podem estar distorcidas não por limitações inerentes ao modelo, mas por problemas de qualidade de dados dentro do benchmark e práticas de avaliação não padronizadas.

Metodologia
Os autores conduziram uma reavaliação abrangente do benchmark MGSM utilizando um conjunto diversificado de LLMs, incluindo modelos de código aberto (Gemma 3, DeepSeek V3) e sistemas proprietários (Gemini, Claude, GPT). O estudo seguiu uma abordagem de três fases:

1. Replicação da Linha de Base: Os autores primeiro replicaram experimentos anteriores usando o conjunto de dados MGSM original e o método padrão de extração de resposta (uma expressão regular baseada no código inicial do Kaggle benchmark). Isso estabeleceu a "análise inicial" mostrando uma grande lacuna de desempenho cross-lingual.
2. Auditoria de Dados e Avaliação: Os autores realizaram uma auditoria detalhada, manual e semiautomática do conjunto de dados e do pipeline de avaliação. Eles identificaram duas fontes primárias de erro:
   • Erros de Tradução e Formulação: Erros sutis de tradução nas línguas alvo (por exemplo, mudar "Tuesday" para "Thursday" ou alterar multiplicadores de preço) e ambiguidades nas perguntas originais em inglês (por exemplo, especificação de unidades ausente).
   • Falhas de Extração de Resposta: O método de extração padrão falhou ao não considerar convenções de formatação regional, como o uso de pontos para separadores de milhares e vírgulas para decimais em francês e alemão, ou o uso de sistemas numéricos nativos (por exemplo, numerais bengalis) em vez de dígitos arábicos.
3. Correção e Reavaliação: Os autores criaram uma versão corrigida do conjunto de dados MGSM (MGSM-Rev2) corrigindo erros de tradução, esclarecendo perguntas ambíguas e padronizando o texto de origem em inglês. Eles também implementaram um método de extração de resposta aprimorado e sensível ao idioma, que lida com diversos formatos numéricos e mapeia numerais nativos para dígitos arábicos. Em seguida, rodaram novamente os experimentos neste corpus corrigido.

Principais Contribuições

• Identificação de Erros Sistêmicos: O artigo revela que o benchmark MGSM contém inúmeras imprecisões de tradução e incompatibilidades de formatação que afetam desproporcionalmente os resultados de avaliação não ingleses.
• Garantia de Qualidade Semiautomática: Os autores propõem um método escalável e semiautomático para identificar questões problemáticas, aproveitando LLMs fortes para detectar inconsistências na tradução e na resolubilidade.
• Protocolo de Extração Padronizado: O artigo destaca a necessidade crítica de regras de extração de resposta específicas para cada idioma para lidar com a formatação numérica regional e sistemas numéricos, fornecendo uma função de extração mais robusta.
• Lançamento de Conjunto de Dados Corrigido: Os autores lançam o conjunto de dados MGSM corrigido (MGSM-Rev2) para a comunidade de pesquisa para facilitar avaliações futuras mais precisas.

Resultados
A reavaliação produziu resultados que contrastam fortemente com a análise inicial:

• Desaparecimento da Lacuna: Após corrigir os dados e melhorar a extração de respostas, a lacuna de desempenho entre o inglês e outros idiomas desapareceu amplamente para modelos de última geração. Por exemplo, a diferença de desempenho para o francês caiu de uma perda de 17,6% para apenas 1,2% para o GPT5.
• Melhorias Específicas:
  • Francês: Um simples ajuste na expressão regular para acomodar a formatação numérica francesa resultou em uma melhoria de 10% para o GPT5.
  • Bengali: Converter numerais bengalis nativos para equivalentes arábicos na saída do modelo levou a um aumento dramático na precisão para o Gemma 27B, subindo de 45,2% para 91,2%.
  • Tendência Geral: Para os modelos mais fortes (ex: Gemini 2.5 Pro, GPT5, Claude Sonnet), a disparidade cross-lingual tornou-se negligenciável (diferenças máximas de 1,2% a 2,0%).
• Lacunas Remanescentes: Pequenas lacunas de desempenho persistiram para modelos menores ou mais fracos (ex: Gemma 12B, GPT Nano), sugerindo que, embora a qualidade dos dados tenha sido o principal gargalo para modelos fortes, modelos mais fracos podem ainda enfrentar limitações em raciocínio cross-lingual ou exposição de dados de pré-treinamento.

Significância
O artigo serve como um chamado crítico à ação para a comunidade de pesquisa em relação ao rigor da avaliação multilíngue. Ele demonstra que lacunas de desempenho observadas em LLMs podem ser artefatos de baixa qualidade de dados de teste e metodologia de avaliação, em vez de deficiências genuínas do modelo. Os autores enfatizam que conclusões tiradas de "apenas reportar números" sem uma análise profunda da configuração do teste podem ser enganosas. Ao corrigir esses problemas, o artigo sugere que os atuais LLMs possuem um grau muito maior de capacidade de generalização cross-lingual do que anteriormente acreditado. O trabalho ressalta a necessidade de garantir dados de teste de alta qualidade e protocolos de avaliação padronizados, especialmente à medida que os LLMs geram cada vez mais os dados usados para treinar e avaliar modelos futuros. Os autores concluem que, embora o benchmark MGSM possa estar saturado para modelos de alto nível, ele permanece uma ferramenta valiosa para testar modelos menores, desde que a configuração de avaliação seja meticulosamente controlada.