Resumo Técnico: O Paradoxo da Simplicidade: Desmistificando mitos sobre prompting e datasets para avaliação de LLMs

Declaração do Problema

O campo da avaliação de Grandes Modelos de Linguagem (LLMs) tem assumido cada vez mais que técnicas de prompting sofisticadas — variando de Cadeia de Pensamento (CoT) a autoconsistência e raciocínio analógico — são necessárias para desbloquear um desempenho superior, particularmente em Resposta de Questões de Múltipla Escolha (MCQA). No entanto, a literatura existente carece de avaliações abrangentes e controladas comparando essas técnicas entre diversos modelos e datasets. Muitos estudos alegam ganhos de desempenho de prompts complexos sem validação estatística rigorosa ou sem considerar as arquiteturas de modelos específicas (ex: modelos com ou sem raciocínio habilitado) sendo testadas. Isso cria uma lacuna na compreensão se a complexidade do prompt genuinamente melhora o raciocínio ou se baselines simples são suficientes, e se os benchmarks atuais estão saturados ou ainda oferecem espaço para melhorias genuínas nos modelos.

Metodologia

Os autores introduzem o ReasonLab, um framework de avaliação sistemática projetado para comparar técnicas de prompting frente a frente sob um protocolo unificado. O estudo abrange:

• Escala: Aproximadamente 430.000 avaliações em 27 configurações de modelos, 10 datasets de MCQA e 8 técnicas distintas de prompting.
• Datasets: Dez benchmarks de MCQA diversos cobrindo física, medicina, matemática, IoT/séries temporais e conhecimento de pós-graduação multidomínio (ex: MMLU-Pro, SuperGPQA, AIME 2025). Esses datasets variam significativamente em comprimento de questão, número de opções e skew na distribuição das chaves de resposta.
• Modelos: 27 configurações abrangendo 13 famílias de modelos distintas (incluindo GPT-5, Claude Sonnet 4, Qwen3, Llama, Mistral e Granite). O estudo distingue entre modelos com "toggles de raciocínio" expostos pelo fornecedor (orçamentos de pensamento configuráveis) e aqueles sem eles.
• Técnicas de Prompting: Oito técnicas foram avaliadas:
  1. Baseline: Prompt direto com apenas a letra da resposta.
  2. CoT-Standard: "Deixe-me pensar passo a passo."
  3. CoT-Expert: CoT com enquadramento de papel (ex: "como um engenheiro de confiabilidade").
  4. CoT-Inductive: Enquadramento de raciocínio indutivo.
  5. Self-Plan-and-Solve: Geração explícita de plano.
  6. Prompt-Repeat: Prompts diretos repetidos.
  7. Self-Generate: Geração de documentos contextuais.
  8. Self-Analogical: Geração de exemplares de MCQA relacionados.
• Estratégia de Avaliação:
  • Comparação Pareada (Matched Comparison): Um conjunto estrito de 100 células (10 datasets × 10 configurações de modelos sem raciocínio) onde cada técnica é testada exatamente nas mesmas questões e modelos para permitir testes estatísticos pareados (t-tests).
  • Comparação Bruta (Raw Comparison): Acurácia agregada em todas as células disponíveis, reconhecendo potenciais desequilíbrios na cobertura de modelos.
  • Métricas: Acurácia, custos de tokens (raciocínio vs. saída) e ratings Elo derivados de comparações de modelos pareados em questões individuais.

Contribuições Principais e Descobertas

1. O Paradoxo da Simplicidade: Baseline vs. Prompting Complexo

No conjunto pareado de 10 configurações de modelos sem raciocínio, o prompt baseline (resposta direta) superou consistentemente ou igualou-se aos scaffolds de raciocínio complexos.

• Desempenho: O baseline alcançou uma acurácia média de 52,08%. Foi superado apenas pelo CoT-Expert (55,71%) e CoT-Inductive (55,40%), ambos variantes de enquadramento de papel mínimos, em vez de frameworks de raciocínio de múltiplos passos. O ganho foi pequeno (~3 pontos percentuais), mas estatisticamente significativo.
• Subdesempenho de Scaffolds Complexos: Técnicas elaboradas como Self-Plan-and-Solve, Self-Generate e o CoT padrão subperformaram o baseline por margens significativas (até 9,45 pp). O Self-Analogical teve o pior desempenho (21,38%), devido principalmente a falhas de colapso de formato em modelos menores, onde o modelo falhou em processar a estrutura de saída complexa.
• Conclusão: Para modelos sem capacidades nativas de raciocínio, a complexidade do prompt não gera melhor desempenho; o prompting direto simples é frequentemente superior ou equivalente.

2. A Surpresa Qwen: Contagem de Parâmetros vs. Desempenho

O estudo desafia a suposição de que a contagem de parâmetros é o principal preditor de desempenho na fronteira tecnológica.

• Leaderboard Elo: O Qwen3-30B-A3B-Thinking-2507 (aproximadamente 30B de parâmetros totais, ~3B ativos) alcançou o maior rating Elo (1657), superando por pouco modelos maiores como GPT-OSS-120B (4× maior) e Llama-3.1-405B (13× maior).
• Implicação: Embora os 8 melhores modelos estivessem agrupados em um intervalo apertado de 14,3 pontos Elo, o fato de um modelo de 30B superar modelos de 120B+ e 405B+ sugere que a contagem de parâmetros é um mau preditor de capacidade de MCQA na geração atual de modelos.

3. Orçamentos de Raciocínio: O Trade-off "Habilitar" vs. "Escalar"

O estudo analisou o impacto de orçamentos explícitos de tokens de raciocínio (nothink, low=1k tokens, medium=8k tokens) em modelos com toggles de raciocínio.

• Habilitando o Raciocínio: Os ganhos de desempenho mais significativos vieram simplesmente de habilitar o raciocínio (mudando de nothink para medium). Para variantes do GPT-5, isso rendeu ganhos de +19,7 a +22,5 pp. Para o Claude Sonnet 4, o ganho foi menor (+3,6 pp), e curiosamente, a configuração low (1k tokens) performou pior que nothink, sugerindo que pequenos orçamentos podem interromper o raciocínio implícito.
• Escalando Orçamentos: Aumentar o orçamento dentro do estado "on" (de low para medium, um aumento de 8×) rendeu retornos decrescentes, adicionando apenas +1,0 a +4,1 pp ao custo de centenas de tokens de raciocínio adicionais por questão.
• Conclusão: O valor do computo em tempo de teste (test-time compute) é altamente dependente do modelo; a principal alavanca é habilitar o mecanismo de raciocínio, não escalar arbitrariamente o orçamento de tokens.

4. Dificuldade de Dataset e Saturação

Ao contrário das alegações de saturação de benchmarks, o estudo encontrou um espaço substancial para melhoria dos modelos.

• Dispersão de Dificuldade: Há uma dispersão de 47,5 pp na acurácia média entre o dataset mais fácil (OpenBookQA, 83,4%) e o mais difícil (SuperGPQA, 35,8%).
• Benchmarks Não Saturados: 6 de 10 datasets tiveram acurácia média abaixo de 70% entre todos os modelos. Mesmo o melhor modelo em cada dataset falhou em atingir 70% em 4 dos 10 datasets (incluindo SuperGPQA, AIME 2025 e FailureSensorIQ).
• Conclusão: O campo não atingiu a saturação; as lacunas de desempenho restantes residem no raciocínio genuíno, conhecimento especializado e compreensão temporal, em vez de engenharia de prompt.

Significância e Alegações

O artigo argumenta que a comunidade de avaliação de LLM pode estar complicando excessivamente a engenharia de prompt. O "Paradoxo da Simplicidade" sugere que, para modelos sem raciocínio, técnicas de prompting elaboradas frequentemente falham em melhorar o desempenho e podem até degradá-lo devido a problemas de formato.

Os autores afirmam que:

1. A otimização de prompt tem retornos decrescentes: Lacunas de desempenho substanciais permanecem em diversos benchmarks, oferecendo oportunidades para melhorias genuínas nos modelos (arquitetura, dados de treinamento) em vez de apenas mais scaffolding de prompt.
2. A avaliação precisa de nuance: A distinção entre "habilitar o raciocínio" e "escalar o raciocínio" é crítica, e contagens de parâmetros não são proxies confiáveis para capacidade.
3. Limitações de Benchmark: Os atuais leaderboards de MCQA não estão saturados; a dificuldade dos benchmarks existentes (como o SuperGPQA) indica que os modelos ainda lutam com tarefas de raciocínio complexas e do mundo real.

O estudo conclui chamando para um redirecionamento de esforço do scaffolding de prompt para a capacidade do modelo base e avaliações mais difíceis, observando que a "vitória" dos baselines simples sobre métodos complexos destaca a necessidade de reavaliar a necessidade de estratégias de prompting complexas na era atual dos LLMs.