🤖 AI

PyraMathBench: Evaluating and Improving Mathematical Capability in Large Language Models

Este artigo apresenta o PyraMathBench, um benchmark hierárquico abrangente projetado para avaliar a integração do processamento numérico e do raciocínio matemático em grandes modelos de linguagem, e propõe o módulo SOLVE e o método de treinamento IRPO para aumentar significativamente o desempenho do modelo ao abordar fraquezas no cálculo numérico e no raciocínio abstrato.

Autores originais: Zetian Ouyang, Linlin Wang, Gerard de Melo, Liang He

Publicado 2026-06-03

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Zetian Ouyang, Linlin Wang, Gerard de Melo, Liang He

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine os Grandes Modelos de Linguagem (LLMs) como estudantes brilhantes e cultos que conseguem escrever poesia e resumir livros de história perfeitamente. No entanto, quando você lhes entrega um problema matemático de enunciado, eles costumam tropeçar. Eles podem entender a história, mas falham nos números reais, ou podem "alucinar" (inventar) números que não estão lá.

O artigo "PyraMathBench" introduz uma nova maneira de testar esses estudantes e um novo método para ajudá-los a aprender. Aqui está a divisão em termos simples:

1. O Problema: A "Caixa Preta" da Falha Matemática

Atualmente, quando testamos IA em matemática, geralmente apenas olhamos para a resposta final. Eles acertaram? Sim ou Não.

A Falha: Se a resposta estiver errada, não sabemos o porquê. O IA entendeu mal a pergunta? Esqueceu uma regra matemática? Ou apenas errou a aritmética (como uma calculadora com um botão quebrado)?
A Analogia: É como avaliar a redação de um aluno olhando apenas para a nota final. Se ele tirou um "C", você não sabe se ele teve uma letra ruim, se não entendeu o enunciado ou se cometeu um erro de ortografia. Você precisa ver os passos para corrigir o problema.

2. A Solução: PyraMathBench (O Teste da "Pirâmide")

Os autores construíram um novo benchmark massivo chamado PyraMathBench. Pense nele como uma pirâmide de habilidades matemáticas.

A Estrutura: Em vez de apenas dar um problema difícil para a IA, eles o decompõem. Eles pegam 7.404 histórias matemáticas do mundo real e as fatiam em 32.505 pedaços menores (subtarefas).
As Camadas:
- A Base (Parsing Numérico): A IA consegue encontrar os números no texto? Consegue ler números de uma imagem?
- O Meio (Compreensão e Cálculo): Ela consegue transformar a história em uma equação matemática? Ela consegue realmente fazer a adição ou resolver a equação?
- O Topo (Raciocínio Complexo): Ela consegue juntar tudo para resolver o problema difícil original?
O Resultado: Ao testar a IA em cada camada, os pesquisadores descobriram que muitas IAs de alto nível são, na verdade, terríveis no básico. Elas frequentemente falham ao reconhecer números em imagens ou se confundem com aritmética simples, mesmo sendo inteligentes em lógica.

3. O Diagnóstico: O Que Está Errado?

Após testar 11 modelos diferentes de IA (incluindo nomes de peso como GPT-4, Llama e DeepSeek), eles encontraram duas fraquezas principais:

Má em "Ler" Números: Os modelos frequentemente perdem números no texto ou, pior, em imagens. Eles podem ver um relógio em uma foto e adivinhar a hora errado, ou podem ignorar um número crucial em um problema de enunciado.
Alucinação: Quando não sabem um número, às vezes apenas inventam um para manter a história fluindo.

4. O Conserto: SOLVE e IRPO

Para ajudar a IA a melhorar, os autores criaram duas novas ferramentas, como um tutor inteligente e um treinador pessoal.

SOLVE (O Tutor Inteligente):
- O Problema: A IA muitas vezes tenta usar ferramentas externas (como uma calculadora ou um interpretador de código), mas falha porque formata o pedido de forma inadequante (por exemplo, escrevendo a sintaxe de código errada). É como um aluno tentando usar uma calculadora, mas apertando os botões na ordem errada.
- O Conserto: O SOLVE é um módulo que atua como um tradutor. Ele permite que a IA peça ajuda de qualquer maneira desorganizada que deseje (mesmo em estilo "manuscrito"), e o SOLVE limpa esse pedido e envia a solicitação perfeita para a calculadora. Ele também sabe quando a IA é inteligente o suficiente para resolver um problema simples sozinha, para não perder tempo chamando uma ferramenta.
IRPO (O Treinador Pessoal):
- O Problema: Métodos de treinamento padrão recompensam a IA apenas pela resposta final. Eles não ensinam a IA como usar a calculadora efetivamente durante o processo.
- O Conserto: O IRPO é um novo método de treinamento. Ele observa todo o processo de pensamento da IA. Se a IA chama uma calculadora no momento certo, ela recebe uma recompensa. Se ela chama uma calculadora para um problema que poderia ter resolvido sozinha, ela recebe uma penalidade. Ele ensina a IA a saber quando pensar e quando usar uma ferramenta.

5. O Resultado

Quando aplicaram esses consertos ao modelo Qwen-2.5:

A pontuação de matemática do modelo saltou 5,0 pontos.
Tornou-se muito melhor em saber quando usar uma calculadora e quando fazer a matemática por conta própria.

Resumo

O artigo argumenta que, para tornar a IA melhor em matemática, não podemos apenas olhar para a pontuação final. Precisamos decompor a matemática em uma pirâmide de pequenas habilidades para ver exatamente onde a IA está falhando. Uma vez que vemos as rachaduras (como o mau reconhecimento de números), podemos construir ferramentas inteligentes (SOLVE) e melhor treinamento (IRPO) para consertá-las, transformando um estudante confuso em um gênio da matemática.

Resumo Técnico: PyraMathBench

Declaração do Problema

Apesar do papel fundamental do raciocínio numérico em aplicações que variam da pesquisa científica à análise financeira, os modelos de linguagem de grande escala (LLMs) atuais apresentam dificuldades significativas em tarefas matemáticas. Os benchmarks existentes frequentemente falham em desvincular falhas de processamento numérico (ex: erros de tokenização, erros de cálculo, alucinações) de erros de raciocínio matemático (ex: má interpretação lógica). Consequentemente, quando um modelo falha, não fica claro se o erro decorre de uma incapacidade de computar ou de uma incapacidade de compreender a estrutura do problema. Além disso, as estruturas existentes frequentemente testam habilidades de forma isolada, carecendo de correlações entre tarefas que revelem como as habilidades fundamentais influenciam o raciocínio complexo. Adicionalmente, embora os LLMs Multimodais (MLLMs) sejam avaliados em problemas matemáticos visuais, as avaliações atuais frequentemente superestimam suas capacidades de raciocínio visual ao não distinguir entre a dependência de pistas textuais versus a extração real de dados visuais.

Metodologia

1. PyraMathBench (PMB)

Os autores introduzem o PyraMathBench, um benchmark hierárquico abrangente projetado para avaliar a sinergia entre o processamento numérico e o raciocínio matemático.

Escala e Estrutura: O benchmark compreende 32.505 questões derivadas de 7.404 problemas de matemática contextualizada (MWPs) e problemas de raciocínio visual.
Taxonomia Hierárquica: Inspirado na teoria cognitiva de Piaget, as tarefas são decompostas em 4 aspectos cognitivos principais e 14 subtarefas distintas:
1. Raciocínio Complexo: Problemas de Matemática Contextualizada (MWP) e Problemas de Raciocínio Visual (VRP).
2. Compreensão: Abstração de Questão (QA), Decomposição de Tarefa (TD) e Conhecimento Matemático (MK).
3. Cálculo: Aritmética, Resolução de Equações (ES), Ordenação e Aplicação de Fórmulas (FA).
4. Parsing Numérico: Conversão de Números (NC), Conversão de Unidades (UC), Reconhecimento de Numerais (NR), Quantificação de Dados Visuais (VDQ) e Contagem de Objetos (OC).
Construção de Dados: Os dados são obtidos de seis conjuntos de dados existentes (ex: GSM8K, MATH, MathVista) e coleções de prática. As subtarefas são anotadas por seis especialistas proficientes em matemática de nível médio, garantindo uma decomposição rigorosa de problemas do mundo real em vez de geração sintética. O conjunto de dados inclui tanto tarefas unimodais quanto multimodais.
Métricas de Avaliação: Uma função de pontuação personalizada baseada em erro relativo (escala 0–100) é usada para respostas numéricas, enquanto embeddings do MathBERT e similaridade de cosseno são usados para respostas textuais.

2. Soluções Propostas: SOLVE e IRPO

Para abordar as fraquezas identificadas no cálculo numérico e na utilização de ferramentas, os autores propõem duas melhorias:

SOLVE (Smart Optimization & Learning-based VErsatile module): Um módulo de integração de ferramentas projetado para melhorar a flexibilidade e adaptabilidade.
- Reconhecimento de Chamada Difusa (Fuzzy Call Recognition): Diferente dos módulos rígidos de "plug-and-play", o SOLVE aceita chamadas de ferramenta em vários formatos (LaTeX, Python, texto informal) e os padroniza, reduzendo falhas de parsing.
- Avaliação de Dificuldade Dinâmica: Utilizando a Teoria de Resposta ao Item (IRT-2PL), o SOLVE estima a dificuldade de uma tarefa e a proficiência atual do modelo ( $\theta$ ). Se a probabilidade de o modelo resolver a tarefa corretamente exceder um limite (0,95), o SOLVE ignora a chamada de ferramenta para otimizar a eficiência.
IRPO (Interactive Relative Policy Optimization): Um novo framework de Aprendizado por Reforço (RL) que estende a Otimização de Política Relativa de Grupo (GRPO).
- Amostragem de Fluxo Duplo (Dual-Stream Sampling): O IRPO amostra simultaneamente saídas de uma política base ( $\pi_\theta$ ) e de uma política aumentada por ferramentas ( $\pi^\tau_\theta$ ).
- Função de Recompensa: A função de recompensa é multifacetada, penalizando chamadas de ferramentas desnecessárias quando o modelo é capaz (baseado na precisão da subtarefa) e recompensando o uso de ferramentas quando este auxilia na resolução de subproblemas complexos. Ela incorpora uma linha de base dinâmica e uma função logística que modela a probabilidade de soluções corretas sem o uso de ferramentas.

Principais Resultados

Avaliação do Benchmark

Experimentos em 11 LLMs representativos (incluindo GPT-4o, DeepSeek-R1, Qwen-2.5 e Llama-3.1) revelam:

Lacunas de Desempenho: Embora os principais modelos como DeepSeek-R1 e GPT-4o tenham um bom desempenho em raciocínio complexo (MWP), eles exibem fraquezas significativas em Abstração de Questão, Resolução de Equações e Parsing Numérico.
Modelos Específicos de Matemática: Surpreendentemente, modelos especializados em matemática (ex: DeepSeek-Math, Qwen2.5-Math) tiveram um desempenho inferior em comparação com modelos generalistas como o Llama-3.1 em várias subtarefas, atribuído à má instrução de seguimento (ignorando comandos para abstrair problemas) e formatos de resposta inconsistentes.
Limitações Multimodais: Os MLLMs pontuaram extremamente baixo (média < 20) em subtarefas de parsing numérico visual (NR, VDQ, OC). A análise indica que eles dependem predominantemente de informações textuais em vez de extrair dados de imagens, mesmo em cenários simples como contar objetos ou ler relógios.
Análise de Correlação: A análise de correlação de Pearson mostra que o desempenho em Abstração de Questão (QA), Resolução de Equações (ES) e Aplicação de Fórmulas (FA) está mais fortemente correlacionado com o desempenho geral de MWP. Estas áreas representam os principais gargalos para os LLMs atuais.

Melhoria via SOLVE e IRPO

A aplicação dos métodos propostos ao Qwen-2.5 e Llama-3.1-8B gerou melhorias significativas:

Baseline vs. PPM: O uso simples de "Plug-and-Play" de chamadas de ferramenta na verdade degradou o desempenho (ex: o Qwen-2.5 caiu de 91,1 para 82,8) devido a erros de parsing e excesso de contexto (context bloat).
Impacto do SOLVE: A integração do SOLVE melhorou as pontuações (Qwen-2.5: 95,8; Llama-3.1: 74,8) ao lidar com chamadas de ferramentas difusas e ignorar chamadas desnecessárias.
Impacto do IRPO: O treinamento adicional com IRPO alcançou as pontuações mais altas (Qwen-2.5: 96,1; Llama-3.1: 76,1), demonstrando uma melhoria de 5,0% sobre o baseline vanilla para o Qwen-2.5.
Comparação: O IRPO superou o GRPO, particularmente em modelos mais fracos, ao otimizar explicitamente o processo de tomada de decisão para a invocação de ferramentas ao longo de múltiplas rodadas.

Significância e Alegações

O artigo alega que o PyraMathBench proporciona uma mudança necessária da avaliação "centrada na resposta" para uma avaliação orientada ao processo e hierárquica. Ao decompor problemas complexos em tarefas cognitivas atômicas, o benchmark permite que pesquisadores identifiquem modos específicos de falha (ex: distinguindo um erro de cálculo de um erro de raciocínio).

Os autores afirmam que seus frameworks SOLVE e IRPO mitigam efetivamente as "falhas de parsing de chamada de ferramenta" e o "uso ineficiente de ferramentas" que atualmente dificultam os LLMs. Os resultados sugerem que aumentar a sinergia entre o raciocimento interno e a invocação de ferramentas externas é crítico para avançar as capacidades matemáticas. O artigo conclui que, embora os modelos atuais mostrem promessa em raciocínio de alto nível, sua proficiência em processamento numérico fundamental e extração de dados multimodais permanece um barreira significativa para resolver problemas matemáticos do mundo real.

Limitações

Os autores reconhecem diversas limitações:

Ambiguidade da Decomposição: A decomposição de tarefas pode ter múltiplas versões válidas, o que pode influenciar os resultados, particularmente no aspecto de "Compreensão".
Escopo: A taxonomia cobre 14 subtarefas, mas não abrange todas as possíveis capacidades linguísticas atômicas.
Idioma: O estudo está atualmente limitado ao inglês.
Especificidade de Domínio: Os métodos SOLVE e IRPO são otimizados para Problemas de Matemática Contextualizada (MWP) e podem não se generalizar diretamente para outros domínios matemáticos, como provas formais ou manipulação algébrica pura.