MATH-PT: A Math Reasoning Benchmark for European and Brazilian Portuguese
Este artigo apresenta o Math-PT, um novo conjunto de dados de referência com 1.729 problemas matemáticos em português europeu e brasileiro, extraídos de competições e exames nativos, que revela que, embora os modelos de linguagem de última geração apresentem bom desempenho em questões de múltipla escolha, suas capacidades declinam em tarefas visuais e abertas.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Imagine que os Modelos de Linguagem de Grande Escala (LLMs) são como estudantes brilhantes que leram quase todos os livros da biblioteca mundial. Há anos, temos testado suas habilidades matemáticas usando exames escritos inteiramente em inglês. É como dar a um estudante um teste de direção apenas em inglês e, em seguida, assumir que ele pode dirigir perfeitamente em qualquer idioma só porque passou naquele único teste.
O artigo MATH-PT argumenta que essa abordagem tem uma enorme ponto cego. Ele introduz um novo "teste de direção" escrito especificamente em português (tanto nas variedades europeia quanto brasileira) para verificar se esses estudantes de IA conseguem realmente lidar com matemática quando a língua muda.
Aqui está a análise de suas descobertas usando analogias simples:
1. O Problema: A Biblioteca "Apenas em Inglês"
A maioria dos benchmarks matemáticos (como MATH ou MathVista) é como uma biblioteca onde todos os livros estão em inglês. Mesmo quando pesquisadores tentam testar outros idiomas, eles apenas traduzem os livros em inglês. Os autores afirmam que isso é injusto porque não nos diz se a IA realmente entende conceitos matemáticos ou se está apenas memorizando padrões em inglês. Eles queriam construir uma biblioteca de problemas matemáticos que tivessem nascido em português, extraídos de Olimpíadas de Matemática e exames escolares reais de Portugal e do Brasil.
2. O Novo Teste: MATH-PT
A equipe criou um conjunto de dados chamado MATH-PT com 1.729 problemas.
- A Fonte: Eles não apenas traduziram; vasculharam os arquivos originais de competições como as Olimpíadas Portuguesas da Matemática e a OBMEP do Brasil.
- A Variedade: O teste abrange tudo, desde quebra-cabeças do 5º ano até desafios pré-universitários.
- O Formato: Inclui questões de múltipla escolha (como uma folha de respostas) e questões abertas (onde você precisa escrever a resposta do zero). Crucialmente, muitas questões incluem diagramas e figuras (como formas geométricas), que a equipe preservou cuidadosamente usando código para que a IA pudesse "vê-los".
3. Os Resultados: O "Inteligente" vs. O "Que Tem Dificuldade"
Eles testaram 13 modelos de IA diferentes, variando dos modelos "de fronteira" mais poderosos (os supergênios) até modelos menores e de código aberto (os estudantes médios).
- A Vantagem da Múltipla Escolha: Pense nas questões de múltipla escolha como um jogo de "Encontre a Diferença". Os modelos de IA foram muito bons nisso. Mesmo os modelos menores conseguiam frequentemente adivinhar a letra correta (A, B, C, D ou E) corretamente.
- A Luta nas Questões Abertas: Quando o teste mudou para questões abertas (onde a IA precisa gerar a resposta ela mesma), as pontuações caíram significativamente. É a diferença entre reconhecer um rosto em uma fila e desenhar esse rosto de memória. A IA teve mais dificuldade quando precisou "pensar" e escrever a resposta ela mesma, em vez de apenas escolher uma.
- O Problema da "Imagem": Este foi o maior obstáculo. Quando uma questão incluía um diagrama (uma imagem), o desempenho da IA despencou. Mesmo os modelos mais inteligentes ficaram confusos quando tiveram que interpretar uma forma visual junto com o texto. É como pedir a um estudante para resolver um problema de geometria usando uma venda nos olhos; eles podem ler as palavras, mas não conseguem "ver" a forma.
4. Os Vencedores e Perdedores
- Os Campeões: Os modelos "de fronteira" (como GPT-5 e Qwen3-235B) foram os claros vencedores. Eles lidaram bem com a matemática em português, especialmente nas questões de múltipla escolha.
- Os Que Têm Dificuldade: Os modelos menores e de código aberto (como Llama-3 e Gemma-3) acharam a matemática muito mais difícil. Sua precisão caiu drasticamente à medida que as questões ficavam mais difíceis ou incluíam imagens.
- O Efeito de Escala: O artigo descobriu que, para a família de modelos Qwen, tornar o modelo maior (adicionando mais "força cerebral") ajudou muito. É como fazer uma atualização de uma bicicleta para um carro esportivo; os modelos maiores lidaram com tarefas de raciocínio complexo muito melhor do que os menores.
A Conclusão
O artigo conclui que, embora a IA esteja ficando muito boa em matemática, ela ainda tem um "viés linguístico" e enfrenta dificuldades quando o teste fica mais difícil (questões abertas) ou visual (diagramas). Ao liberar este conjunto de dados em português, os autores estão entregando aos pesquisadores uma nova régua mais justa para medir quão bem a IA consegue realmente pensar em idiomas que não o inglês. Eles não estão dizendo que a IA é perfeita ainda; estão dizendo: "Aqui está um novo teste para nos mostrar exatamente onde a IA ainda está aprendendo."
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.