How Far Are We? Systematic Evaluation of LLMs vs. Human Experts in Mathematical Contest in Modeling

Resumo Técnico: Avaliação Sistemática de LLMs vs. Especialistas Humanos em Modelagem Matemática

1. O Problema

Embora os Grandes Modelos de Linguagem (LLMs) tenham alcançado desempenho notável em benchmarks de raciocínio isolados (como matemática pura ou geração de código), sua capacidade de resolver problemas do mundo real que exigem fluxos de trabalho completos (end-to-end) permanece incerta.

• Limitação dos Benchmarks Atuais: A maioria das avaliações existentes foca em componentes individuais de raciocínio ou utiliza critérios genéricos e estáticos aplicados uniformemente a diferentes problemas. Isso ignora a consistência global entre objetivos, suposições, decisões e validação.
• A Lacuna: Competições de modelagem matemática exigem uma cadeia complexa de tarefas: identificação do problema, formulação, construção de modelos, implementação computacional e análise de resultados. Não está claro se os LLMs conseguem integrar essas capacidades de forma coerente até o nível de um especialista humano.

2. Metodologia

Os autores propõem um Framework de Avaliação Orientado a Problemas e por Etapas (Problem-Oriented, Stage-Wise Evaluation Framework) para avaliar rigorosamente os LLMs.

• Base de Dados: O estudo utiliza problemas do Concurso de Modelagem Matemática de Pós-Graduação da China (PMCM), que representam tarefas de nível de especialista com apenas 1,0-1,5% de medalhas de ouro. O conjunto de dados final contém 97 problemas complexos.
• Decomposição de Subtarefas: Cada problema de modelagem é decomposto em um conjunto de subtarefas autônomas (ex: pré-processamento de dados, estimativa de estado, associação de dados). Especialistas humanos validam essa decomposição para garantir que capture a intenção original do problema.
• Critérios de Avaliação por Etapa: Para cada par (subtarefa, etapa), são gerados critérios de avaliação dinâmicos e específicos do problema. O processo de modelagem é dividido em 7 etapas:
  1. Identificação do Problema
  2. Formulação do Problema
  3. Desenvolvimento de Suposições
  4. Construção do Modelo
  5. Resolução do Modelo
  6. Implementação de Código
  7. Análise de Resultados
• Validação com Especialistas: O framework foi validado comparando pontuações automáticas com julgamentos independentes de especialistas humanos (estudantes premiados em modelagem). O framework proposto alcançou uma concordância muito superior (ICC de 0,673) em comparação com rubricas genéricas (ICC de 0,012).
• Modelos Avaliados: Foram testados diversos LLMs de última geração, incluindo variantes da família Qwen (7B a 235B parâmetros), DeepSeek-V3.2 (Instruct e Thinking) e o o4-mini da OpenAI.

3. Contribuições Principais

1. Framework de Avaliação Novo: Introdução de um sistema de avaliação que substitui rubricas estáticas por esquemas dinâmicos instanciados com base na semântica do problema e nas etapas do fluxo de trabalho, permitindo comparações interpretáveis entre LLMs e humanos.
2. Descoberta da Lacuna Compreensão-Execução: Evidência empírica de que os LLMs atuais possuem uma grande disparidade entre a compreensão do problema e a execução da solução.
3. Análise de Falhas Detalhada: Identificação de padrões de falha específicos (falta de especificação, verificação ausente, falta de validação) que se propagam através das etapas sem correção.
4. Evidência contra o "Scaling" como Solução Única: Demonstração de que aumentar o tamanho do modelo (escala) melhora a compreensão inicial, mas não resolve as deficiências em etapas de execução crítica.

4. Resultados Chave

• Desempenho por Etapa (A Lacuna Compreensão-Execução):

  • Estágios Iniciais (Compreensão): Os LLMs performam bem na identificação e formulação do problema, com pontuações próximas ao nível de especialistas (8-9/10). Eles conseguem entender o contexto e organizar os dados.
  • Estágios Centrais e Finais (Execução): Há uma queda acentuada no desempenho. Na construção do modelo, resolução e implementação de código, as pontuações caem para a faixa de 4-6/10 (nível intermediário).
  • Falhas Críticas: Nos estágios de implementação de código e análise de resultados, as pontuações são frequentemente baixas (2-3/10). Os modelos frequentemente geram código não executável, soluções não verificáveis ou análises sem validação empírica.

• Impacto da Escala (Scaling):

  • O aumento do tamanho do modelo (de 7B para 235B parâmetros) traz melhorias marginais nos estágios iniciais de compreensão.
  • No entanto, o aumento da escala não fecha a lacuna de execução. Modelos maiores continuam a falhar na resolução de modelos, verificação de código e validação de resultados da mesma forma que modelos menores.

• Causas das Falhas:

  • As falhas não são devido a ideias de modelagem fundamentalmente erradas, mas sim a deficiências de execução:
    • Suposições não verificadas ou mal especificadas.
    • Falta de derivação completa do modelo.
    • Código não reprodutível ou inexequível.
    • Ausência de validação e comparação com baselines.
  • Propagação de Erros: Erros cometidos nas etapas iniciais (ex: suposições vagas) raramente são corrigidos nas etapas subsequentes, levando a falhas em cascata onde a solução final é inválida, mesmo que a ideia inicial pareça razoável.

5. Significância e Conclusão

O estudo conclui que os LLMs atuais, quando usados isoladamente, ainda não são capazes de realizar modelagem matemática de ponta a ponta em nível de especialista.

• Reavaliação da Escala: A simples expansão do tamanho do modelo não é a solução para problemas complexos de raciocínio que exigem rigor procedural e validação empírica.
• Direção Futura: Para avançar, a pesquisa deve focar em abordagens conscientes de processo (process-aware approaches). Isso inclui mecanismos de auto-correção, verificação rigorosa em cada etapa e sistemas que priorizem a executabilidade e a consistência entre as etapas, em vez de apenas a geração de texto plausível.
• Implicação Prática: O framework desenvolvido oferece uma ferramenta robusta para avaliar não apenas a "inteligência" do modelo, mas sua capacidade real de resolver problemas científicos complexos, destacando que a "compreensão" de um LLM não se traduz automaticamente em "competência de execução".