Does More Deliberation Help? A Comparative Evaluation of Chain-of-Thought Prompting Strategies for Grade-School Math Reasoning in Open-Source Instruction-Tuned Language Models
本論文は、算数の文章題を解く小規模な（3.8〜8B）オープンウェイトの指示チューニング済みモデルにおいて、数個の例示を用いるChain-of-Thoughtプロンプティングがゼロショットのベースラインを大幅に上回る一方で、自己整合性（self-consistency）やTree-of-Thoughtのようなより複雑な推論戦略は、より単純な手法に対して統計的に信頼できる精度の向上をもたらすことができないことを実証的に示している。
原論文は CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
人工知能が急速に進化する世界において、研究者たちは、特に一連の論理的なステップを必要とする問題を解決する際に、コンピュータプログラムに人間のように考えさせる方法を長年模索してきました。長年、標準的なアプローチは、これらのシステムに直接的な質問を与えて答えを待つというものでしたが、これは算術や論理におけるエラーをしばしば引き起こしました。科学者たちが、モデルに対して結論を述べる前に思考プロセスを書き出し、結論を出す前に作業工程を示すよう求めることで、精度が劇的に向上することに気づいたとき、画期的な進展がありました。「思考の連鎖（chain-of-thought）」プロンプティングとして知られるこのテクニックは、機械に推論を行わせるための礎石となりました。しかし、これらのツールが巨大で高価なスーパーコンピュータから、個人や企業が自身のデバイスで実行できる、より小さく手頃な価格のバージョンへと移行するにつれ、ある重要な疑問が生じています。最も複雑でリソースを消費する推論のトリックは、依然として有効なのか、それとも単に結果を改善することなく不必要なコストを加えるだけなのだろうか、という疑問です。
最近のある研究は、4つの異なる推論戦略を3つの一般的な小規模言語モデルでテストすることで、この問いに答えることを目的としました。研究者たちは、100問の小学校レベルの算数の文章題というベンチマークに焦点を当てました。これは、人間には簡単だが、ステップを飛ばすコンピュータにとっては難しいパズルの一種です。彼らは、単にステップ・バイ・ステップで考えるよう指示された場合、いくつかの類似した問題の解き方の例が示された場合、複数の可能な答えを生成して最良のものに投票するよう求められた場合、あるいは解決策に落ち着く前に異なるアイデアの分岐するツリーを探索することを強制された場合に、モデルのパフォーマンスが向上するかどうかを確認したいと考えました。目標は、日常的なアプリケーションで一般的になりつつあるタイプのモデルにとって、精度と効率の最高のバランスを提供する手法はどれであるかを判断することでした。
調査の結果、効果の明確かつ、やや驚くべき階層構造が明らかになりました。最も強力なツールとなったのは、最も単純な形式である「例を示すこと」でした。モデルにテスト問題に取り組む前に、いくつかのお手本となる解法を与えると、単に注意深く考えるよう促すプロンプトを与えた場合と比較して、精度が大幅に跳ね上がりました。この向上はテストされたすべてのモデルにおいて一貫しており、場合によっては成功率が40パーセントポイントも上昇しました。データは、問題をどのように分解するかを示す具体的な例を見せることが、いかなる抽象的な指示や内部的な熟考よりもはるかに価値があることを示していました。
対照的に、複数の推論経路を生成することを伴うより精巧な戦略は、期待された利益をもたらしませんでした。モデルに3つの異なる解決策を生成させ、最も一般的な答えを選ぶよう求める一つのアプローチは、単一の例を用いる方法に勝つことができませんでした。このテクニックは、より大規模で強力なモデルには役立つことが知られていますが、研究では、これらの小規模なシステムにおいては、複数の回答を生成するという余分な努力が、正確性の統計的に信頼できる向上にはつながらないことが判明しました。研究者たちは、モデルが投票によって修正できるほど多様なエラーを起こしていないため、この手法に費やされる余分な計算能力は大部分が無駄になっていると指摘しました。
さらに驚くべきことに、「思考の木（tree-of-thought）」戦略のパフォーマンスでした。これは、モデルに異なる思考の枝を探索し、それらを評価し、パスが袋小路に突き当たった場合にはバックトラック（引き返し）することを促す複雑な手法です。このテクニックは、先読みや複数の可能性を試す必要がある困難なパズルにおいて、これまで大きな有望性を示してきました。しかし、これらの単純な算術問題においては、例を一切示さずに単にステップ・バイ・ステップで考えるよう求める基本的な方法よりも優れた結果を出せませんでした。テストされた3つのモデルのうち2つにおいて、この複雑な探索メソッドは、例に基づいたアプローチよりもパフォーマンスが悪化しました。この研究は、短く線形な数学の問題については、複数の枝を探索するオーバーヘッドは、モデルが正当化できない負担であり、その戦略が提供するような深い探索を必要としないためであると示唆しています。
これらの知見は、これらのテクノロジーを使用する人々にとっての実用的なガイドを提供します。研究は、標準的な算術に取り組む小型のオープンソースモデルにとって、最も効果的な道は、より複雑な推論機構を追加したり、モデルに複数の方向に考えさせたりすることではないと示しています。代わりに、最も信頼できる方法でパフォーマンスを向上させるには、問題の正しい解き方を実演する、少数の高品質な例を作成することに時間を投資することです。より洗練された手法が、よりスマートな結果をもたらすように見えるかもしれませんが、データは、この特定の種類のタスクにおいては、それらが精度に見合う利益をもたらすことなく、多大なコストと時間を加えるだけであることを示唆しています。モデルを効率的に展開しようとする実務家にとって、本研究は、よく構築された一つの例は、複雑な探索アルゴリズムよりもはるかに価値があるという結論を下しています。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。