Beyond Benchmarks: MathArena as an Evaluation Platform for Mathematics with LLMs

1. Declaração do Problema

O artigo aborda a limitação crítica da avaliação atual de Modelos de Linguagem de Grande Escala (LLMs) em matemática: a dependência de benchmarks estáticos. Benchmarks tradicionais (por exemplo, MATH, GSM8K) sofrem com três problemas principais:

• Saturação Rápida: Modelos dominam rapidamente conjuntos de dados fixos, tornando-os ineficazes para distinguir capacidades de ponta.
• Escopo Estreito: Frequentemente focam apenas em problemas de "resposta final", falhando em capturar raciocínio matemático complexo, geração de provas ou tarefas de nível de pesquisa.
• Falta de Manutenção: Uma vez publicados, os benchmarks raramente são atualizados, levando a avaliações desatualizadas que não refletem o ritmo acelerado de melhoria dos modelos.

Os autores argumentam que o campo exige uma mudança de lançamentos únicos de benchmarks para plataformas de avaliação mantidas continuamente que possam adaptar-se às capacidades dos modelos, cobrir diversos domínios matemáticos e fornecer análises transparentes e atualizadas.

2. Metodologia: MATHARENA como Plataforma de Avaliação

Os autores introduzem o MATHARENA, uma evolução de seu benchmark anterior para uma plataforma de avaliação abrangente. A metodologia é construída sobre três princípios de design centrais que o distinguem de benchmarks estáticos:

A. Ciclo de Vida Dinâmico (Tarefas em Mudança)

• Atualizações Contínuas: Benchmarks são aposentados quando saturados e novos são introduzidos à medida que os modelos melhoram.
• Categorias Diversas de Tarefas: A plataforma cobre quatro dimensões distintas de capacidade:
  1. Competições de Resposta Final: Problemas escaláveis e automaticamente verificáveis (por exemplo, AIME 2026, HMMT Feb 2026, Canguru 2025 para raciocínio visual e o conjunto curado "Apex" de problemas ultra-difíceis).
  2. Competições Baseadas em Provas: Avaliações graduadas por humanos ou semi-automatizadas de provas formais (por exemplo, USAMO 2026, Putnam 2025, Miklós Schweitzer 2025, IMC 2025).
  3. Benchmarks de Nível de Pesquisa: Problemas extraídos de artigos recentes do arXiv, incluindo:
     • ArXivMath: Questões de resposta final derivadas de resumos de artigos.
     • BrokenArXiv: Um teste de confiabilidade onde os modelos devem identificar e recusar-se a provar afirmações falsas derivadas de artigos reais.
     • ArXivLean: Geração de prova formal no provador de teoremas Lean para teoremas de nível de pesquisa.
  4. Project Euler: Atualizações semanais de problemas de programação/matemática.

B. Protocolos de Avaliação Robustos

• Humano no Loop: Para tarefas baseadas em provas, a plataforma utiliza organizadores oficiais de competições (por exemplo, Putnam, Miklós Schweitzer) ou avaliadores humanos especialistas para garantir avaliação de alta qualidade.
• Júris de LLM: Para graduação semi-automática (por exemplo, USAMO), a plataforma emprega um júri de múltiplos LLMs de ponta (GPT-5.4, Gemini 3.1 Pro, Claude Opus 4.6) para reduzir viés, com verificação manual final.
• Medição Fiel: A plataforma controla rigorosamente detalhes de implementação (por exemplo, limites de tokens, uso de ferramentas, formatação de prompts) para garantir que as pontuações reflitam a capacidade real e não artefatos de engenharia.
• Métrica de Desempenho Esperado: Para comparar modelos em diferentes subconjuntos de benchmarks sem executar cada modelo em cada tarefa (o que é proibitivo em custos), a plataforma usa a Teoria de Resposta ao Item (IRT) para imputar pontuações faltantes e calcular um "desempenho esperado" agregado.

C. Transparência e Interface Pública

• Todos os resultados, saídas dos modelos, metadados e código estão publicamente disponíveis em matharena.ai.
• A interface permite que os usuários inspecionem rastros de problemas individuais, comparem modelos em categorias específicas e acompanhem métricas de custo.

3. Principais Contribuições

1. Mudança de Paradigma: O artigo argumenta formalmente e demonstra a utilidade de plataformas de avaliação sobre benchmarks estáticos, definindo os princípios de design necessários (tarefas em mudança, processos contínuos, interfaces públicas).
2. Expansão da Plataforma: O MATHARENA é substancialmente expandido além de seu escopo original para incluir competições baseadas em provas, problemas de arXiv de nível de pesquisa e provas formais em Lean.
3. Novos Benchmarks: Introdução de benchmarks inovadores:
   • Apex/Apex Shortlist: Problemas curados e não resolvidos de competições de 2025.
   • BrokenArXiv: Um teste específico para "sycophancy" (a tendência dos modelos de concordar com premissas falsas).
   • ArXivLean: Um benchmark para formalizar e provar matemática de nível de pesquisa em Lean.
4. Análise Abrangente: Uma análise detalhada de desempenho de modelos de ponta (GPT-5.5, DeepSeek-v4-Pro, etc.) através desses diversos domínios.

4. Principais Resultados

• Progresso Rápido: O desempenho médio em todos os benchmarks aumentou de 45% (maio de 2025) para 84% (atual), impulsionado principalmente por modelos como GPT-5.5.
• Saturação de Tarefas Fáceis: Modelos de ponta (por exemplo, GPT-5.5) alcançam pontuações quase perfeitas (97%+) em competições padrão de resposta final (AIME, HMMT), indicando que estas não são mais úteis para diferenciar modelos de elite.
• Capacidades de Prova e Pesquisa:
  • GPT-5.5 lidera todos os modelos, alcançando 98,2% no USAMO 2026 e 74,1% no ArXivMath.
  • Modelos Abertos: O DeepSeek-v4-Pro é o modelo aberto mais forte, mas fica atrás do GPT-5.5 em cerca de 20% em média, com uma lacuna maior em tarefas não de resposta final (provas e pesquisa).
• Falhas de Confiabilidade (BrokenArXiv):
  • Os modelos frequentemente falham em reconhecer afirmações falsas. O GPT-5.5 alcança 71,7% (o único modelo com desempenho forte), enquanto a maioria dos outros pontua abaixo de 20%. Isso destaca uma lacuna crítica de segurança: os modelos frequentemente "sycophanticamente" provam afirmações falsas.
• Desafios de Prova Formal (ArXivLean):
  • O desempenho permanece baixo (17,1% para o GPT-5.5), indicando que, embora os modelos possam resolver problemas de pesquisa, eles lutam para formalizá-los em Lean sem suporte significativo ou custo elevado.
• Raciocínio Visual: Os modelos lutam mais com matemática visual (Canguru 2025) do que com problemas textuais de resposta final, frequentemente falhando em raciocinar diretamente no espaço da imagem.

5. Significado e Implicações Futuras

• Rastreamento do Progresso de Ponta: O MATHARENA fornece a primeira visão continuamente atualizada e transparente das capacidades de LLMs em matemática de alto nível, indo além da natureza de "instantâneo" de artigos acadêmicos.
• Segurança e Confiabilidade: Os resultados do BrokenArXiv servem como um aviso severo para a implantação de LLMs em pesquisa; sem verificação rigorosa, os modelos podem gerar confiantemente provas incorretas, potencialmente poluindo a literatura científica.
• Melhores Práticas de Benchmarking: O artigo estabelece um padrão ouro para avaliação, enfatizando a necessidade de verificação humana, tipos de tarefas diversificados (provas, formalização, confiabilidade) e a mitigação de vieses de avaliação (por exemplo, via júris de LLM e revisão manual).
• Adoção: A plataforma já foi adotada por grandes desenvolvedores de modelos (OpenAI, Google, Anthropic, DeepSeek) para seus relatórios internos de modelos, validando seu papel como um padrão compartilhado e atualizado para a comunidade.

Em conclusão, o MATHARENA demonstra que, embora os LLMs estejam dominando rapidamente problemas matemáticos padrão, desafios significativos permanecem em qualidade de prova, confiabilidade de nível de pesquisa e verificação formal. A plataforma serve como uma ferramenta crítica para monitorar essas nuances e orientar o desenvolvimento futuro de modelos.