💬 NLP

MathFimer: Enhancing Mathematical Reasoning by Expanding Reasoning Steps through Fill-in-the-Middle Task

O artigo apresenta o MathFimer, uma estrutura inovadora que aprimora o raciocínio matemático em modelos de linguagem ao expandir automaticamente os passos de solução por meio de uma tarefa de "preenchimento do meio", gerando dados de treinamento expandidos que superam abordagens anteriores sem depender de modelos externos poderosos ou custos computacionais elevados.

Autores originais: Yuchen Yan, Yongliang Shen, Yang Liu, Jin Jiang, Xin Xu, Mengdi Zhang, Jian Shao, Yueting Zhuang

Publicado 2026-02-26

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Yuchen Yan, Yongliang Shen, Yang Liu, Jin Jiang, Xin Xu, Mengdi Zhang, Jian Shao, Yueting Zhuang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô a resolver problemas de matemática. Até agora, a melhor maneira de fazer isso era dar ao robô um "mapa" com as etapas da solução. Mas, muitas vezes, esse mapa era muito resumido. Era como se o professor dissesse: "Pegue a farinha, misture com ovos e pronto, o bolo está feito", sem explicar como misturar, quanto tempo bater ou por que a temperatura do forno importa.

O robô (o modelo de linguagem) tenta adivinhar os passos que faltam, e às vezes ele erra.

Aqui entra o MathFimer, a nova ideia apresentada neste artigo. Vamos explicar como funciona usando uma analogia simples: O "Preencha o Buraco".

1. A Ideia Principal: O Jogo do "Preencha o Buraco"

Você já deve ter visto jogos de palavras onde há uma frase como:
"O gato pulou sobre a [______]."
E o jogador precisa adivinhar que a palavra é "mesa".

Os pesquisadores pegaram essa ideia, que já era usada para ensinar robôs a escrever código de computador, e aplicaram à matemática. Eles pegaram soluções de problemas matemáticos que já existiam e esconderam uma parte do meio.

Original: "Aqui está o problema. Aqui está o passo 1. Aqui está o passo 2. Aqui está a resposta final."
Para o treino: "Aqui está o problema. Aqui está o passo 1. [BURACO] Aqui está a resposta final."

Eles ensinaram um modelo especial (chamado MathFimer) a olhar para o começo e o fim e dizer: "Ah, entre o passo 1 e a resposta final, faltou explicar que precisamos converter metros para quilômetros!"

2. O Processo: Como eles fizeram isso?

Pense no MathFimer como um professor particular super detalhista.

A Coleta de Alunos: Eles pegaram um livro didático gigante de matemática (um conjunto de dados chamado NuminaMath) que já tinha respostas corretas.
O Exercício de Preenchimento: Eles rasgaram algumas páginas do meio do livro e pediram ao MathFimer para reescrever o que estava faltando, baseando-se apenas no que vinha antes e depois.
A Lição: O MathFimer aprendeu a ser muito bom em criar esses "passos intermediários" detalhados. Ele aprendeu que, para chegar à resposta, você precisa explicar cada pequena conta, cada conversão de unidade e cada lógica.

3. O Resultado: O "Super-Mapa"

Depois de treinar o MathFimer, eles usaram esse "professor" para pegar todos os outros problemas matemáticos e adicionar esses passos detalhados que faltavam.

Antes: O robô recebia um mapa com 3 pontos: "Início -> Meio -> Fim".
Depois: O robô recebe um mapa com 10 pontos: "Início -> Passo 1 -> Passo 2 -> Passo 3... -> Fim".

Quando eles treinaram novos robôs usando esses mapas super detalhados, os robôs ficaram muito melhores em resolver problemas difíceis. Eles não precisavam mais "adivinhar" o que fazer no meio do caminho; o caminho estava todo desenhado.

4. Por que isso é importante? (A Vantagem)

Antes, para melhorar a matemática dos robôs, as empresas precisavam de:

Robôs ainda mais inteligentes (e caros) para criar os passos.
Muita energia para testar milhões de caminhos possíveis (como um GPS que testa todas as rotas do mundo antes de escolher uma).

O MathFimer é diferente. É como se você tivesse um ferramenta de edição de texto que pega um rascunho simples e o transforma em um livro didático completo, sem precisar de um novo robô gigante ou gastar uma fortuna em energia. É uma maneira barata, rápida e eficiente de ensinar robôs a pensar passo a passo.

Resumo em uma frase:

O MathFimer é como um editor de texto mágico que pega respostas matemáticas curtas e as transforma em explicações super detalhadas, ensinando os robôs a não pular etapas e, assim, se tornarem gênios da matemática sem precisar de supercomputadores caros.

Resumo Técnico: MathFimer

1. O Problema

O raciocínio matemático é uma fronteira crítica para o avanço dos Grandes Modelos de Linguagem (LLMs). Embora a abordagem de "Cadeia de Pensamento" (Chain-of-Thought - CoT) tenha se tornado o paradigma dominante, a qualidade dos passos de raciocínio nos dados de treinamento limita fundamentalmente o desempenho dos modelos.

Limitações das Abordagens Atuais: Estudos recentes mostram que passos intermediários mais detalhados melhoram o desempenho. No entanto, os métodos existentes para expandir esses passos enfrentam três desafios principais:
1. Dependência de Modelos Externos: Frequentemente exigem modelos mais potentes para gerar os passos, criando um ciclo de dependência de modelos cada vez maiores.
2. Custo Computacional: Técnicas como Busca em Árvore de Monte Carlo (MCTS) exigem recursos computacionais massivos.
3. Confiabilidade: Métodos que geram cadeias de raciocínio inteiramente novas podem introduzir erros inesperados, reduzindo a confiabilidade das soluções em comparação com passos verificados por humanos.

O objetivo central é desenvolver um método eficiente e confiável para expandir os passos de raciocínio, preservando a validade das soluções existentes sem depender de modelos externos caros.

2. Metodologia

O MathFimer é um novo framework inspirado na tarefa de "Preencher o Meio" (Fill-in-the-Middle - FIM), comumente usada no raciocínio de código, mas adaptada aqui para o raciocínio matemático.

O processo é dividido em duas etapas principais:

A. Construção de Dados e Treinamento do Modelo FIM:
- Dataset NuminaMath-FIM: Os autores decomporam soluções do dataset NuminaMath-CoT em pares de prefixo-sufixo, removendo passos intermediários.
- Formato de Treinamento: Para cada problema, um passo é selecionado aleatoriamente para ser o "meio" ( $M$ ), com os passos anteriores como prefixo ( $P$ ) e os subsequentes como sufixo ( $S$ ). O modelo é treinado para reconstruir $M$ dado $P$ e $S$ .
- Modelo: Um modelo especializado, MathFimer-7B, foi treinado via Supervised Fine-Tuning (SFT) sobre a base Qwen2.5-Math-7B. O modelo aprende a inserir passos intermediários detalhados mantendo a estrutura da solução original.
B. Expansão de Passos de Raciocínio:
- O modelo MathFimer-7B é aplicado a datasets existentes (como GSM8K, MATH, MathInstruct) para expandir suas soluções.
- Mecanismo de Inserção: O modelo infere passos faltantes entre passos consecutivos existentes.
- Filtro de Similaridade: Para evitar redundância (quando o modelo gera conteúdo muito similar ao passo seguinte), é calculada a similaridade de sequência. Passos com similaridade acima de um limiar ( $\eta = 0.8$ ) são descartados.
- Validação: Passos gerados são verificados usando um Modelo de Recompensa de Processo (PRM) para garantir a correção lógica e matemática.

3. Contribuições Principais

Novo Framework de Expansão: Introdução do MathFimer, que utiliza a técnica FIM para enriquecer soluções existentes com passos intermediários, em vez de gerar cadeias de raciocínio do zero.
Dataset e Modelo Especializados: Lançamento do dataset NuminaMath-FIM (2,5 milhões de amostras) e do modelo MathFimer-7B, oferecendo uma solução escalável e prática.
Evidência Empírica Robusta: Demonstração de que o treinamento em dados expandidos pelo MathFimer melhora consistentemente o desempenho em benchmarks matemáticos, oferecendo novos insights sobre a relação entre granularidade dos passos e qualidade do raciocínio.

4. Resultados Experimentais

Os experimentos foram conduzidos em múltiplos modelos base (Llama-3.1-8B/70B, Qwen2.5-Math-7B/72B) e datasets (GSM8K, MATH, Math Odyssey, OlympiadBench).

Desempenho Geral: Modelos treinados com dados expandidos pelo MathFimer superaram consistentemente seus pares treinados apenas com dados originais.
- Exemplo: No modelo Meta-Llama3.1-8B treinado em MathInstruct-CoT, a precisão média aumentou de 27,75% para 31,52% (+3,77 pontos percentuais).
- Exemplo: No modelo Qwen2.5-Math-72B treinado em MetaMathQA, a precisão média subiu de 52,71% para 57,14% (+4,43 pontos percentuais).
Expansão Iterativa: A aplicação iterativa do MathFimer (expansão múltipla) mostrou ganhos cumulativos, com o MathInstruct-CoT no Llama-8B atingindo 83,32% de precisão no GSM8K após 3 iterações (vs. 67,78% original).
Eficiência de Escala: Surpreendentemente, modelos menores de FIM (1.5B) performaram de maneira comparável aos modelos maiores (7B e 72B) na tarefa de expansão, sugerindo que a tarefa não é fortemente limitada pela capacidade do modelo, mas sim pela estrutura dos dados.
Generalização (Out-of-Distribution): O método melhorou o desempenho em tarefas não matemáticas (raciocínio lógico, científico e geral), indicando que a habilidade de gerar raciocínio detalhado é transferível.
Comparação com Outros Métodos: O MathFimer superou métodos baseados em prompting (usando modelos gerais para preencher passos) e mostrou-se complementar a técnicas de RL (como PPO) e otimização de preferência (DPO), servindo como um ponto de partida de maior qualidade.

5. Significado e Impacto

O trabalho do MathFimer é significativo por oferecer uma solução prática e escalável para melhorar o raciocínio de LLMs sem os custos proibitivos de modelos externos ou inferência complexa.

Viabilidade: Demonstra que é possível melhorar a qualidade do raciocínio "apenas" refinando e detalhando dados de treinamento existentes, em vez de buscar arquiteturas maiores.
Qualidade dos Dados: Reforça a hipótese de que a granularidade e a completude dos passos de raciocínio nos dados de treinamento são fatores determinantes para o sucesso do modelo.
Aplicabilidade: O framework pode ser aplicado a diversos domínios de raciocínio, não se limitando apenas à matemática, embora seja menos eficaz em tarefas de código onde a inserção de passos pode quebrar a executabilidade.

Em suma, o MathFimer estabelece um novo padrão para o enriquecimento de dados de raciocínio, provando que a expansão estruturada de passos intermediários é uma via eficiente para elevar o estado da arte em modelos de linguagem matemática.