Enhancing Mathematical Problem Solving in LLMs through Execution-Driven Reasoning Augmentation

Resumo Técnico: Enhancing Mathematical Problem Solving in LLMs through Execution-Driven Reasoning Augmentation

1. O Problema

Apesar dos avanços nos Modelos de Linguagem de Grande Escala (LLMs), a resolução de problemas matemáticos complexos ainda apresenta dois desafios fundamentais para agentes de IA:

• Falta de representação revisável: A maioria dos sistemas opera em pipelines sequenciais rígidos ou utiliza autoavaliação heurística. Uma vez que o modelo inicia uma cadeia de raciocínio (seja em texto ou código), ele tem dificuldade em identificar e corrigir erros em etapas anteriores, o que leva a "erros em cascata".
• Viés de execução (Program Bias): Agentes que utilizam ferramentas de código muitas vezes sobrecarregam o raciocínio com sinais de execução que podem estar logicamente incorretos, permitindo que informações irrelevantes ou errôneas do código "distraiam" o modelo e degradem a precisão do raciocínio lógico de alto nível.

2. Metodologia: Iteratively Improved Program Construction (IIPC)

Para resolver essas lacunas, os autores propõem o IIPC, um método que trata programas não apenas como ferramentas de cálculo, mas como a própria representação explícita da cadeia de raciocínio do modelo. A metodologia baseia-se em três pilares:

• Refinamento Iterativo Baseado em Execução: Em vez de gerar um código único, o IIPC gera um programa inicial e o submete a um interpretador. Se houver erro de sintaxe ou inconsistência lógica, o modelo utiliza o feedback determinístico para revisar o código. O sistema mantém uma Memória de Reflexão (Reflection Memory) que armazena descritores de erros passados, evitando que o modelo repita as mesmas falhas em iterações subsequentes.
• Arquitetura de Duas Ramificações (Dual-Branch Architecture): Para evitar o viés de execução, o IIPC separa o processo em dois fluxos:
  1. Ramo de Raciocínio de Token (CoT): Produz uma cadeia de pensamento textual pura, independente do código.
  2. Ramo de Refinamento de Programa: Desenvolve e refina a representação executável.
     As duas ramificações são combinadas apenas na etapa final, permitindo que o modelo use a lógica textual para validar ou corrigir os resultados numéricos do programa.
• Construções Programáticas Estruturadas: Os programas são projetados para serem transparentes, utilizando bibliotecas estáveis (numpy, sympy, etc.), comentários verbosos e seções de verificação de resposta para facilitar a depuração pelo próprio modelo.

3. Principais Contribuições

1. Novo Método de Raciocínio: Introdução do IIPC, que integra feedback de execução com a capacidade nativa de Chain-of-Thought (CoT).
2. Corpus de Rastreamento de Raciocínio: Liberação de um conjunto de dados contendo enunciados, proposições iniciais, códigos gerados, saídas de execução e deliberações integradas para facilitar pesquisas futuras.
3. Avaliação Abrangente: Demonstração de superioridade em relação a métodos de estado da arte (como PoT, MACM e CR) em múltiplos benchmarks matemáticos.

4. Resultados

Os experimentos foram realizados em benchmarks de alta dificuldade: MATH e AIME, utilizando modelos como GPT-4o mini, Gemini 2.0 Flash, Mistral Small, Gemma 3 e Llama 4 Maverick.

• Desempenho Superior: O IIPC superou os métodos concorrentes na maioria dos benchmarks e em múltiplos modelos base.
• Escalabilidade com a Dificuldade: No dataset MATH, o IIPC mostrou-se especialmente robusto conforme a dificuldade aumentava. No nível 5 (o mais difícil), o IIPC superou o próximo melhor método por uma margem de 6,31 pontos percentuais.
• Robustez de Modelo: Embora o PoT (Program of Thoughts) tenha se mostrado ligeiramente melhor em modelos de menor capacidade (como GPT-4o mini), o IIPC demonstrou uma escalabilidade muito superior em modelos de alta capacidade (como Gemini e Llama 4).
• Estabilidade: As análises de ablação confirmaram que a separação de duas ramificações e a memória de reflexão são componentes cruciais para a estabilidade e precisão do sistema.

5. Significância

Este trabalho é significativo pois propõe uma mudança de paradigma: o código deixa de ser apenas um "calculador externo" e passa a ser uma estrutura de raciocínio manipulável. Ao combinar a precisão determinística do código com a flexibilidade lógica do texto (CoT), o IIPC oferece um caminho para sistemas de IA mais confiáveis, capazes de auto-correção estruturada e menos suscetíveis a erros de lógica que costumam derrubar agentes puramente baseados em ferramentas ou puramente baseados em texto.