Does More Deliberation Help? A Comparative Evaluation of Chain-of-Thought Prompting Strategies for Grade-School Math Reasoning in Open-Source Instruction-Tuned Language Models
本論文は、算数の文章題を解く小規模な(3.8〜8B)オープンウェイトの指示チューニング済みモデルにおいて、数個の例示を用いるChain-of-Thoughtプロンプティングがゼロショットのベースラインを大幅に上回る一方で、自己整合性(self-consistency)やTree-of-Thoughtのようなより複雑な推論戦略は、より単純な手法に対して統計的に信頼できる精度の向上をもたらすことができないことを実証的に示している。