Resumo Técnico: CROWDMATH: Um Conjunto de Dados de Discussões de Pesquisa Matemática Colaborativa

Declaração do Problema

Os benchmarks atuais para Modelos de Linguagem de Grande Escala (LLMs) em raciocínio matemático avaliam predominantemente o desempenho em problemas bem especificados com respostas finais definitivas, derivações passo a passo ou provas completas (por exemplo, problemas de estilo competição ou demonstração de teoremas formais). Embora esses conjuntos de dados demonstrem capacidades robustas na produção de soluções corretas para problemas de forma fechada, eles falham em capturar a resolução colaborativa de problemas abertos. Nesse cenário, o progresso matemático é distribuído entre múltiplos participantes e postagens, envolvendo argumentos parciais, identificação de erros, reparo de raciocínio e a síntese gradual de contribuições incrementais em uma prova completa. Os modelos existentes têm dificuldade em rastrear a significância funcional das contribuições individuais dentro desse discurso evolutivo e de múltiplas etapas.

Metodologia

Construção do Conjunto de Dados: CROWDMATH

Os autores introduzem o CROWDMATH, um conjunto de dados composto por 164 cadeias de progresso anotadas por especialistas, derivadas do programa MIT PRIMES–Art of Problem Solving (AoPOS) CrowdMath (2016–2025). Este programa é uma iniciativa de pesquisa colaborativa onde participantes do ensino médio e de graduação resolvem problemas originais e não resolvidos em matemática discreta e combinatória, frequentemente levando a publicações revisadas por pares.

• Fonte de Dados: O conjunto de dados é extraído de tópicos de fóruns públicos onde os participantes discutem problemas abertos.
• Esquema de Anotação: Cada postagem é anotada com papéis funcionais em relação à evolução do processo de solução. O esquema inclui:
  • Progresso (Progress): Ideias parciais, lemas ou estratégias.
  • Prova (Proof): Conclusão de uma prova ou o passo final ausente.
  • Errôneo (Erroneous): Alegações que contêm erros matemáticos fatais.
  • Identificação de Erro (FindError): Identificação de erros em postagens anteriores.
  • Pergunta/Resposta (Question/Answer): Inquéritos de esclarecimento e respostas.
  • Resultado (Result): Novas descobertas matemáticas não conhecidas anteriormente.
• Processo: A anotação ocorreu em duas passagens: (1) identificando todos os resultados matemáticos estabelecidos em um tópico e (2) rotulando postagens individuais com base em sua contribuição para esses resultados. As postagens foram anonimizadas e os dados foram estruturados em "cadeias de progresso" que rastreiam um resultado específico desde o enunciado do problema até a prova final, preservando as dependências temporais.
• Estatísticas: O conjunto de dados cobre 164 cadeias em mais de 10 tópicos matemáticos (ex: jogos de perseguição-evasão, dimensão métrica de grafos). O comprimento das cadeias varia de 1 a 25 postagens, com uma média de 2,7 postagens por resultado.

Tarefas de Avaliação

Os autores avaliaram seis modelos de fronteira (GPT-5.4, Claude Opus 4.6, Grok 4.20, DeepSeek V3.2, Gemini 2.5 Flash, Qwen3-235B) em duas tarefas derivadas das anotações:

1. Classificação de Papel da Postagem (Post-Role Classification): Dado um prefixo de tópico e uma postagem alvo, o modelo deve classificar a postagem em um de quatro papéis funcionais: Progresso, Resultado (conclusão de prova), Errôneo ou Identificação de Erro. Isso testa a capacidade do modelo de compreender a significância funcional de uma contribuição.
2. Predição da Próxima Postagem (Next-Post Prediction): Dado um prefixo de tópico, o modelo deve prever a próxima postagem real a partir de um conjunto de quatro candidatos (um verdadeiro, três distratores amostrados de outros tópicos). Isso testa a capacidade do modelo de seguir o fluxo local e a continuidade lógica da discussão.

Principais Resultados

1. Dificuldade em Identificar a Significância Funcional

Os modelos tiveram um desempenho insatisfatório na Classificação de Papel da Postagem, alcançando pontuações macro-F1 entre 0,33 e 0,42.

• Modo de Falha Específico: Os modelos tiveram dificuldade constante em distinguir entre Progresso (contribuições parciais) e Resultado (conclusão de prova). Embora a precisão para a classe Resultado tenha sido relativamente alta (os modelos raramente rotularam incorretamente postagens que não eram de Prova como Prova), o recall foi baixo. Os modelos frequentemente rotularam postagens que completavam uma prova apenas como "Progresso", falhando em reconhecer a conclusão do argumento.
• Implicação: Os modelos atuais carecem de raciocínio ao nível do discurso para julgar a significância de uma postagem dentro da trajetória colaborativa mais ampla.

2. Sucesso na Predição do Fluxo Local

Os modelos tiveram um desempenho significativamente melhor na Predição da Próxima Postagem, alcançando acurácias entre 82,7% e 87,7% (comparado a uma linha de base aleatória de 25%).

• Implicação: Modelos de fronteira conseguem seguir efetivamente o fluxo superficial do discurso matemático e prever o próximo passo imediato em uma conversa, sugerindo que compreendem o contexto local e a progressão lógica de um único tópico.

Significância e Alegações

O artigo afirma que o CROWDMATH expõe uma lacuna crítica entre resolver problemas matemáticos bem especificados e compreender o progresso matemático colaborativo.

• Processo vs. Produto: Embora os modelos possam frequentemente produzir respostas finais corretas ou seguir uma derivação linear, eles lutam para entender o progresso matemático como um processo evolutivo, não linear e colaborativo que envolve erros, correções e ideias parciais.
• Mudança de Benchmarking: Os autores argumentam que mudar a avaliação da correção da resposta final para o "raciocínio consciente do progresso" é necessário para avaliar a inteligência matemática de forma mais holística.
• Limitações: Os autores observam que o conjunto de dados é centrado no resultado (excluindo ideias abandonadas ou becos sem saída), depende de rótulos de nível de postagem de grão grosso e reflete o discurso de participantes estudantes, em vez de pesquisadores profissionais.

Em conclusão, o artigo postula que os modelos de fronteira atuais ainda não aprenderam totalmente o raciocínio ao nível do discurso necessário para rastrear como as ideias matemáticas se desenvolvem ao longo do tempo em um ambiente colaborativo, apesar de sua proficiência em resolver problemas isolados e bem definidos.