Does More Deliberation Help? A Comparative Evaluation of Chain-of-Thought Prompting Strategies for Grade-School Math Reasoning in Open-Source Instruction-Tuned Language Models
Este artigo demonstra empiricamente que, para modelos de pesos abertos ajustados para instrução de pequeno porte (3,8–8B) que resolvem problemas matemáticos do ensino fundamental, o prompting de Cadeia de Pensamento (Chain-of-Thought) com poucos disparos (few-shot) supera significativamente os baselines zero-shot, enquanto estratégias de deliberação mais complexas, como consistência de autoconsistência (self-consistency) e árvore de pensamento (tree-of-thought), falham em fornecer melhorias de precisão estatisticamente confiáveis sobre métodos mais simples.