💬 NLP

MGSM-Pro: A Simple Strategy for Robust Multilingual Mathematical Reasoning Evaluation

Este artigo apresenta o MGSM-Pro, uma extensão multilíngue do benchmark GSM-Symbolic que avalia a robustez do raciocínio matemático em nove idiomas, gerando múltiplas instâncias com variação de dígitos, revelando quedas significativas de desempenho em idiomas de baixos recursos e resiliência variável dos modelos a tais perturbações.

Autores originais: Tianyi Xu, Kosei Uemura, Alfred Malengo Kondoro, Tadesse Destaw Belay, Catherine Nana Nyaah Essuman, Ifeoma Okoh, Ganiyat Afolabi, Ayodele Awokoya, David Ifeoluwa Adelani

Publicado 2026-04-29

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Tianyi Xu, Kosei Uemura, Alfred Malengo Kondoro, Tadesse Destaw Belay, Catherine Nana Nyaah Essuman, Ifeoma Okoh, Ganiyat Afolabi, Ayodele Awokoya, David Ifeoluwa Adelani

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um professor aplicando uma prova de matemática para uma turma de alunos de diferentes países. Você quer ver quem é realmente bom em matemática e quem apenas está memorizando as respostas de um livro de exercícios.

Este artigo apresenta uma nova e mais rigorosa forma de testar Modelos de Linguagem de Grande Escala (IA) em problemas matemáticos, chamada MGSM-Pro. Aqui está a história do que eles descobriram, explicada de forma simples.

O Problema: A Armadilha do "Livro de Exercícios"

Por muito tempo, os modelos de IA têm melhorado na resolução de problemas matemáticos em formato de texto. Mas os pesquisadores notaram algo suspeito: a IA pode não estar realmente "pensando" na matemática. Em vez disso, ela pode estar memorizando detalhes específicos das questões de teste que viu durante o treinamento.

Pense nisso como um aluno que memoriza a resposta de um problema específico: "Se João tem 5 maçãs e compra 3 a mais...". O aluno sabe que a resposta é 8. Mas, se você mudar a questão para "Se Sara tem 5 laranjas e compra 3 a mais...", o aluno que apenas memorizou o primeiro pode ficar confuso.

Recentemente, os pesquisadores descobriram que, mesmo em inglês, se você alterar ligeiramente os nomes ou os números em um problema matemático, muitos modelos de IA falham. Eles perceberam que os testes antigos eram fáceis demais porque não verificavam se a IA conseguia lidar com essas pequenas mudanças.

A Solução: MGSM-Pro (O Teste de "Embaralhamento")

Os autores criaram um novo conjunto de dados chamado MGSM-Pro. Eles pegaram 250 problemas matemáticos e os transformaram em 1.240 problemas (5 versões de cada um).

Eles fizeram isso embaralhando o baralho:

Alterando Nomes: Trocando "João" por "Zainabu" ou "Carla".
Alterando Números: Trocando "5 maçãs" por "7 maçãs".
Adicionando Distrações: Inserindo uma frase que soa importante, mas é, na verdade, sem sentido (como "O céu é azul, então João comprou 5 maçãs").

Eles fizeram isso em nove idiomas diferentes, variando de idiomas amplamente falados, como inglês e chinês, a idiomas com menos recursos digitais, como sua, iorubá e ibo.

A Grande Descoberta: A Luta dos "Recursos Baixos"

Quando realizaram os testes, encontraram uma lacuna massiva entre idiomas de "Alta Disponibilidade de Recursos" (como inglês) e idiomas de "Baixa Disponibilidade de Recursos" (como twi ou ibo).

Os Alunos de Alta Disponibilidade: Quando alteravam os nomes ou os números em inglês ou chinês, os modelos de IA caíam um pouco na pontuação, mas permaneciam majoritariamente no caminho certo. Eles eram como um aluno que realmente entendia o conceito matemático.
Os Alunos de Baixa Disponibilidade: Quando faziam o mesmo embaralhamento para idiomas como twi ou ibo, os modelos de IA colapsavam. Suas pontuações despencavam. Era como se o aluno de repente esquecesse como contar porque o professor usou um nome diferente para a fruta.

A Analogia: Imagine um aluno que é ótimo em matemática em inglês, mas péssimo em matemática em sua língua nativa. Quando o professor faz uma pergunta em inglês com uma pegadinha, o aluno a resolve. Mas, quando o professor faz a mesma pergunta pegadinha na língua nativa do aluno, o aluno congela. O artigo descobriu que os modelos de IA estão fazendo a mesma coisa: eles são muito menos "robustos" (confiáveis) em idiomas para os quais não viram muitos dados.

Quem Passou e Quem Falhou?

O artigo testou muitos modelos de IA diferentes (alguns feitos por grandes empresas de tecnologia, outros de código aberto).

Os Robustos: Modelos mais novos e inteligentes, como Gemini 3.0 Pro e GPT-OSS 120B, lidaram bem com as mudanças. Eles não entraram em pânico quando os números ou nomes mudaram.
Os Frágeis: Modelos mais antigos ou menores (como Gemma 3 4B ou Llama 3) desmoronaram. Eles não conseguiam lidar com a "pegadinha".
O Mito do Tamanho: Você pode pensar que um cérebro maior (mais parâmetros) sempre significa um aluno mais inteligente. O artigo descobriu que isso não é verdade. Às vezes, um modelo enorme falhava miseravelmente, enquanto um ligeiramente menor tinha sucesso. Não se trata apenas do tamanho; trata-se de como o modelo foi treinado.

A Lição: Não Teste Apenas Uma Vez

A maior lição é sobre como devemos testar a IA no futuro.

Atualmente, muitas tabelas de classificação (rankings dos melhores IAs) testam um modelo em apenas uma versão de um problema. Os autores dizem que isso é como dar a um aluno uma única questão de exercícios e chamá-lo de gênio se ele acertar.

Sua Recomendação: Para saber verdadeiramente se uma IA é boa em matemática, você deve testá-la em pelo menos cinco versões diferentes do mesmo problema (alterando nomes e números). Se a IA acertar as cinco, então ela é verdadeiramente inteligente. Se ela acertar apenas a primeira, ela está apenas memorizando.

Resumo

O artigo argumenta que precisamos parar de tratar a IA como se fosse perfeita apenas porque passa nos testes fáceis. Ao embaralhar os nomes e os números em problemas matemáticos em diferentes idiomas, eles mostraram que:

A IA é muito mais fraca em idiomas com menos dados digitais.
Muitos rankings atuais são enganosos porque não testam esse "embaralhamento".
Para obter uma imagem real das habilidades matemáticas de uma IA, precisamos testá-la em múltiplas variações do mesmo problema, não apenas em um.

1. Declaração do Problema

Embora os Modelos de Linguagem de Grande Escala (LLMs) tenham feito avanços significativos no raciocínio matemático, a avaliação em cenários multilíngues fica atrás do inglês tanto em dificuldade quanto em atualidade. As benchmarks multilíngues existentes (por exemplo, MGSM) frequentemente dependem de traduções estáticas de problemas em inglês, tornando-as suscetíveis a:

Memorização: Os modelos podem superajustar-se a instâncias de teste específicas em vez de aprender raciocínio geral.
Falta de Robustez: Os modelos podem falhar quando apresentados a variações menores (por exemplo, números ou nomes diferentes) do mesmo problema lógico.
Disparidade de Recursos: Línguas de baixo recurso (LRLs) estão sub-representadas e frequentemente apresentam desempenho inferior, mas não está claro se isso se deve à falta de capacidade aritmética ou a uma robustez linguística deficiente.

Trabalhos recentes em inglês (GSM-Symbolic) demonstraram que os modelos exibem alta variância quando a mesma pergunta é instanciada com diferentes nomes e dígitos. No entanto, esse fenômeno não havia sido explorado sistematicamente em cenários multilíngues diversos.

2. Metodologia: Criação do MGSM-Pro

Os autores introduzem o MGSM-Pro, uma extensão robusta do conjunto de dados MGSM projetada para avaliar o raciocínio matemático multilíngue sob condições variadas. O processo de criação envolve duas etapas principais:

A. Construção de Modelos (Templates)

Fonte: Baseado em 248 perguntas do conjunto de dados MGSM original em inglês (excluindo 2 perguntas sem dígitos).
Modelagem Simbólica: Os autores adotaram o framework GSM-Symbolic para criar modelos onde nomes e dígitos são substituídos por espaços reservados (por exemplo, {name_male}, {num_digit}).
Contexto Irrelevante (IC): Seguindo a metodologia GSM-IC, frases irrelevantes são inseridas no texto do problema para testar a capacidade do modelo de filtrar ruído.
Tradução e Verificação: Os modelos foram traduzidos para nove idiomas usando um LLM (Gemini 2.0 Flash) e depois rigorosamente verificados por falantes nativos. Isso garantiu relevância cultural (por exemplo, substituir "Carla" por "Zainabu" para o suaíli) e o alinhamento correto dos espaços reservados.

B. Variações do Conjunto de Dados

O conjunto de dados gera cinco instâncias distintas por pergunta original, organizadas em duas séries:

Série Simbólica (SYM):
- SYM_N: Altera apenas nomes.
- SYM_#: Altera apenas dígitos.
- SYM_N#: Altera tanto nomes quanto dígitos.
Série de Contexto Irrelevante (IC):
- IC_N, IC_#, IC_N#: Espelha as variações SYM, mas inclui uma frase irrelevante inserida.

Idiomas Cobertos: Nove idiomas tipologicamente diversos categorizados por níveis de recurso (Classe Joshi):

Alto Recurso (HRL): Inglês, Chinês, Francês, Japonês.
Baixo Recurso (LRL): Suaíli, Amárico, Iorubá, Iorubá, Twi.

3. Configuração Experimental

Modelos Avaliados: 18 LLMs, incluindo modelos proprietários (Gemini 2.5/3.0 Flash, Gemini 3.0 Pro, Claude 4 Sonnet, GPT-4.1, GPT-5) e modelos de código aberto (Gemma 3, Qwen 3/3.5, DeepSeek V3, GPT-OSS, Llama 3).
Protocolo de Avaliação: Inferência zero-shot. Os modelos foram instruídos a raciocinar em inglês (CoT), mas também foram testados no modo "Solução Nativa" para modelos selecionados para verificar a dependência de idioma.
Métricas: Precisão no conjunto de dados original (DO) versus a precisão média em 5 ou 10 instâncias distintas (Avg-5, Avg-10).

4. Resultados Principais

A. Queda de Desempenho em Variações

Variação de Dígitos é Crítica: Alterar nomes (SYM_N) causa perda mínima de desempenho. No entanto, alterar dígitos (SYM_#), especialmente quando combinado com contexto irrelevante (IC_#), causa uma queda massiva na precisão para todos os modelos.
A "Penalidade de Baixo Recurso": As LRLs sofrem significativamente mais do que as HRLs.
- Exemplo: No Twi (LRL), modelos de código aberto viram uma queda mediana de precisão de -13,5%, enquanto o Chinês (HRL) viu apenas -4,2%.
- Exemplo: O Gemini 2.5 Flash caiu da 3ª para a 7ª posição nos rankings quando avaliado em 5 instâncias em vez de 1.

B. Tendências de Robustez do Modelo

Proprietário vs. Aberto: Modelos proprietários mais recentes (Gemini 3.0 Pro) mostraram maior robustez a alterações de dígitos em comparação com modelos mais antigos. Entre os modelos de código aberto, GPT-OSS 120B e DeepSeek V3 demonstraram robustez superior em comparação com modelos menores como o Gemma 3 4B.
Tamanho Não é Garantia: O tamanho dos parâmetros do modelo não correlaciona linearmente com a robustez.
- Na família Gemma, a degradação de desempenho piorou à medida que o tamanho do modelo aumentava (4B $\to$ 27B).
- Na família GPT-OSS, modelos maiores foram mais robustos.
Idioma vs. Aritmética: A análise de erros revelou que, para LRLs, o principal modo de falha é o mal-entendido linguístico (por exemplo, falha em analisar a estrutura do problema), o que se propaga em erros lógicos. As taxas de erro puramente aritmético permaneceram relativamente estáveis entre os idiomas, sugerindo que o gargalo é a compreensão linguística, não o cálculo.

C. Instabilidade do Leaderboard

Rankings baseados em uma única instância (prática padrão de leaderboard) são altamente instáveis. Quando medidos em média sobre 5 instâncias, a ordem relativa dos modelos muda drasticamente, particularmente para LRLs.

5. Contribuições Principais

Conjunto de Dados MGSM-Pro: Uma nova benchmark expandindo o MGSM em 5x (de 250 para 1.240 perguntas por idioma) com variações sistemáticas em nomes, dígitos e contexto em 9 idiomas.
Evidência Empírica de Fragilidade Multilíngue: Demonstrou que os LLMs são significativamente menos robustos em Idiomas de Baixo Recurso quando confrontados com variações de dígitos, uma lacuna não capturada por benchmarks padrão.
Recomendação Metodológica: Propôs que a avaliação de raciocínio matemático deve exigir pelo menos 5 instâncias variando dígitos por problema para obter uma avaliação realista das capacidades de raciocínio, afastando-se dos testes de instância única.
Insight sobre Treinamento: Destacou que a robustez é provavelmente uma função de receitas de treinamento e qualidade de dados, e não apenas da escala do modelo.

6. Significado

Este artigo desafia a validade das atuais benchmarks de matemática multilíngue. Argumenta que altas pontuações em conjuntos de dados estáticos podem refletir memorização ou superotimização em vez de verdadeiro raciocínio. Ao introduzir o MGSM-Pro, os autores fornecem uma ferramenta para:

Identificar modelos que genuinamente entendem a lógica matemática versus aqueles que dependem de correspondência de padrões.
Destacar a vulnerabilidade específica dos modelos de Idiomas de Baixo Recurso, instando a comunidade a focar na melhoria da robustez linguística juntamente com a capacidade aritmética.
Padronizar práticas de avaliação para garantir que os rankings de leaderboard reflitam desempenho estável e robusto, e não sorte em um conjunto específico de números.

Os autores concluem que, para um modelo ser considerado verdadeiramente capaz em matemática multilíngue, ele deve manter a precisão mesmo quando as características superficiais (nomes, números, contexto) de um problema são alteradas.