💬 NLP

MathDuels: Evaluating LLMs as Problem Posers and Solvers

O artigo apresenta o MathDuels, um novo benchmark de autojogo que avalia modelos de linguagem em papéis duplos de criadores e solucionadores de problemas matemáticos adversariais, permitindo uma distinção mais precisa de capacidades e uma evolução dinâmica da dificuldade que supera as limitações dos conjuntos de problemas estáticos tradicionais.

Autores originais: Zhiqiu Xu, Shibo Jin, Shreya Arya, Mayur Naik

Publicado 2026-04-24

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Zhiqiu Xu, Shibo Jin, Shreya Arya, Mayur Naik

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem uma sala cheia dos maiores gênios da matemática do mundo. O problema é que, para testá-los, estamos usando os mesmos exames de matemática que usamos há anos. É como se estivéssemos pedindo a um campeão de xadrez para resolver um quebra-cabeça de 500 peças que ele já montou mil vezes. No final, todos ganham nota máxima, e ninguém consegue dizer quem é realmente o melhor.

É aqui que entra o MathDuels, um novo método de avaliação criado por pesquisadores da Universidade da Pensilvânia. Em vez de apenas pedir para as Inteligências Artificiais (IAs) resolverem problemas, o MathDuels as coloca em uma arena de "duelo" onde elas precisam fazer duas coisas ao mesmo tempo: criar os problemas e resolver os dos outros.

Aqui está como funciona, explicado de forma simples:

1. O Grande Duelo (A Analogia do Torneio de Xadrez)

Imagine um torneio de xadrez antigo, como os que existiam na Renascença. Em vez de apenas jogar contra um tabuleiro fixo, cada jogador tinha que:

Criar uma armadilha: Inventar um problema de xadrez tão difícil que o oponente não conseguisse resolver.
Desarmar a armadilha: Tentar resolver os problemas criados por todos os outros jogadores.

No MathDuels, as IAs fazem exatamente isso. Elas não são apenas "alunos" tentando passar na prova; elas são também os "professores" que escrevem a prova.

2. O Processo de Três Etapas (A Fábrica de Problemas)

Para garantir que os problemas criados sejam realmente difíceis e não apenas confusos, o sistema usa um processo de três camadas:

O Planejamento (Meta-prompting): A IA primeiro pensa: "Como posso criar um problema que seja difícil para os outros?" Ela planeja a estratégia antes de escrever.
A Criação: Ela escreve o problema e a resposta.
O Refinamento (Amplificação): A IA tenta tornar o problema ainda mais difícil, adicionando camadas de complexidade, como se fosse um artesão polindo uma pedra preciosa para torná-la mais brilhante e valiosa.

3. O Juiz Imparcial (O Verificador)

Às vezes, uma IA pode criar um problema que não tem solução ou que é mal formulado (como um quebra-cabeça com peças faltando). Para evitar isso, há um "Juiz" (uma IA superinteligente e independente) que revisa tudo.

Se o problema for sem sentido, ele é descartado.
Se o problema for bom, mas a IA que o criou errou a resposta, o Juiz corrige a resposta antes de enviar para os outros tentarem resolver.

4. A Pontuação Dupla (Quem é o Mestre?)

A grande inovação do MathDuels é que ele dá uma nota para duas habilidades separadas:

Habilidade de Resolver: Quão bem a IA resolve os problemas dos outros?
Habilidade de Criar: Quão difíceis são os problemas que a IA consegue inventar?

A Descoberta Surpreendente:
Os pesquisadores descobriram algo fascinante: ser um ótimo solucionador não significa ser um ótimo criador.

Algumas IAs são como "atletas de elite": resolvem tudo perfeitamente, mas quando tentam criar um problema, fazem algo simples que qualquer um resolveria.
Outras são como "arquitetos de labirintos": elas criam problemas tão complexos e engenhosos que até as IAs mais fortes têm dificuldade em resolvê-los.

No ranking final, a IA que ganha não é necessariamente a que resolve mais rápido, mas a que tem o melhor equilíbrio entre criar desafios difíceis e conseguir superá-los.

Por que isso é importante?

Antes, os testes de IA ficavam "saturados". Assim que as IAs melhoravam, os testes antigos se tornavam fáceis demais, e ninguém sabia quem era o melhor.

Com o MathDuels, o teste evolui junto com as IAs.

Quando uma IA mais forte entra na arena, ela começa a criar problemas que as IAs antigas não conseguem resolver.
Isso força o nível de dificuldade a subir automaticamente. É como se o jogo de xadrez ficasse mais difícil a cada vez que um novo campeão entra, impedindo que a competição fique estagnada.

Resumo da Ópera

O MathDuels é como transformar uma sala de aula onde todos apenas respondem perguntas em um estágio de improvisação. As IAs precisam pensar rápido, criar desafios criativos e, ao mesmo tempo, ter a inteligência para desvendar os desafios dos outros. Isso revela talentos que os testes antigos escondiam e garante que, no futuro, continuemos capazes de distinguir quem é realmente o gênio da matemática.

1. O Problema

Os benchmarks estáticos de raciocínio matemático para Grandes Modelos de Linguagem (LLMs), como MATH e GSM8K, estão saturando rapidamente. À medida que os modelos atingem desempenho próximo ao teto nesses conjuntos de dados fixos, torna-se impossível diferenciá-los. Além disso, a comunidade migrou para problemas de competições ao vivo (como AIME), mas mesmo esses estão se tornando menos duráveis, pois novos modelos superam rapidamente as questões disponíveis. A dificuldade reside em criar manualmente problemas que sejam suficientemente desafiadores para distinguir os modelos de ponta, uma tarefa que se torna cada vez mais complexa à medida que a capacidade dos modelos avança.

2. Metodologia: O Protocolo MathDuels

O artigo propõe o MathDuels, um benchmark de "auto-jogo" (self-play) onde os modelos ocupam simultaneamente dois papéis: Autores (criadores de problemas) e Resolvedores (solucionadores de problemas). O protocolo é totalmente automatizado e consiste em quatro fases principais:

Fase 1: Geração de Problemas (Autor):
- Cada modelo gera $K$ problemas (30 no experimento) distribuídos em seis domínios matemáticos (Análise, Álgebra, Geometria/Topologia, Matemática Discreta, Probabilidade/Estatística, Matemática Aplicada).
- Utiliza-se um pipeline de três etapas para garantir dificuldade e diversidade:
  1. Meta-prompting: O modelo primeiro gera um prompt para si mesmo sobre como criar um problema difícil.
  2. Geração do Problema: O modelo usa o prompt gerado para criar o enunciado e a resposta dourada (gold answer).
  3. Amplificação de Dificuldade: O modelo tenta criar uma variante mais difícil do problema gerado.
Fase 2: Resolução (Solver):
- Cada modelo tenta resolver todos os problemas gerados pelos outros participantes (excluindo os seus próprios).
- A correção é determinada por verificação simbólica da resposta final contra a resposta dourada.
Fase 3: Verificação e Validação:
- Se houver discordância nas respostas ou se um solver falhar, um verificador independente (um LLM forte, GPT-5.4-high) analisa o problema.
- O verificador verifica se o problema é bem definido (tem uma solução única) e seleciona a resposta correta entre as candidatas. Problemas mal formulados são descartados.
Fase 4: Classificação (Ranking):
- Utiliza-se o Modelo de Rasch (da Teoria de Resposta ao Item) para estimar simultaneamente a habilidade dos resolvedores ( $s_m$ ) e a dificuldade dos problemas ( $d_p$ ).
- A probabilidade de um solver acertar um problema é modelada como $\sigma(s_m - d_p)$ .
- Avaliação de Autoria: A qualidade de um autor é derivada da dificuldade média dos problemas que ele criou.
- Rating Composto: A pontuação final do modelo é uma média ponderada (50/50) entre sua pontuação de resolução e sua pontuação de autoria.

3. Principais Contribuições

Protocolo de Auto-Jogo Dual: Introduz uma avaliação onde os modelos são julgados tanto na capacidade de criar desafios quanto na de resolvê-los, com filtragem automática de validade dos problemas.
Desacoplamento de Habilidades: Demonstra empiricamente que a capacidade de resolver e a capacidade de criar problemas são eixos parcialmente independentes. Um modelo pode ser excelente em resolver, mas medíocre em criar problemas difíceis, e vice-versa.
Evolução Coletiva da Dificuldade: Diferente de benchmarks estáticos que saturam, o MathDuels co-evolui. À medida que modelos mais fortes entram, eles geram problemas que derrotam os resolvedores dominantes anteriores, mantendo o benchmark desafiador sem necessidade de curadoria humana constante.
Leaderboard Público: Disponibilização de um ranking dinâmico que se atualiza com novos modelos.

4. Resultados Experimentais

O estudo avaliou 19 modelos de ponta de diversos provedores (OpenAI, Google, Anthropic, xAI, etc.):

Desacoplamento Autor-Resolvedor: O melhor resolvedor (GPT-5.4-high) não foi o melhor modelo geral. O Gemini-3.1-Pro-high ocupou o primeiro lugar no ranking composto porque foi o autor mais forte, criando problemas com a menor taxa de resolução média (62,9%) entre todos os participantes.
Distribuição de Dificuldade: Cerca de 39% dos problemas foram resolvidos por todos os modelos (fáceis demais), mas a cauda da distribuição (problemas difíceis) forneceu sinal discriminativo suficiente para separar os modelos.
Impacto de Novos Modelos: Modelos recém-chegados (como Gemini-3.1-Pro-high e GPT-5.4-high) criaram problemas que derrotaram os "top-3" anteriores em 27,6% das vezes, uma taxa mais de 3 vezes superior à dos outros participantes. Isso confirma que a entrada de modelos mais fortes eleva automaticamente o teto de dificuldade do benchmark.
Análise por Domínio: A Matemática Discreta mostrou-se o domínio mais difícil para os modelos resolverem (82,5% de acurácia), enquanto Probabilidade e Estatística foi o mais fácil (92,2%). Isso reflete a natureza dos problemas gerados: problemas discretos difíceis muitas vezes exigem descobrir a estrutura oculta, enquanto problemas de topologia/algebra, embora complexos de formular, podem ter rotas de solução mais diretas uma vez compreendidos.
Estabilidade: A análise de bootstrap mostrou que os rankings superiores e inferiores são clusters não ambíguos, embora modelos do meio da tabela tenham intervalos de classificação mais sobrepostos.

5. Significado e Conclusão

O MathDuels representa uma mudança de paradigma na avaliação de LLMs para matemática. Ao invés de tratar os modelos apenas como solucionadores passivos de um conjunto de dados fixo, o benchmark os coloca em um ambiente competitivo onde a criação de desafios é tão importante quanto a resolução.

Insight Principal: A habilidade de formular problemas matemáticos complexos e bem estruturados é uma competência distinta da habilidade de resolvê-los. Benchmarks tradicionais ignoram essa dimensão, potencialmente superestimando modelos que apenas "decoram" padrões de resolução sem compreender profundamente a estrutura matemática necessária para criar novos desafios.
Futuro: O framework é agnóstico ao domínio e pode ser aplicado a programação competitiva, perguntas científicas e outras áreas onde a geração de desafios válidos e difíceis é um teste de compreensão. O trabalho sugere que, à medida que os LLMs se aproximam das fronteiras da matemática de pesquisa, a capacidade de "duelar" (criar e resolver) será um indicador mais robusto de inteligência do que a precisão em testes estáticos.