Not the Example, but the Process: How Self-Generated Examples Enhance LLM Reasoning

1. 研究の背景と問題提起

大規模言語モデル（LLM）は、数少ない例（Few-shot）を用いたコンテキスト学習により、複雑な推論タスクの性能を向上させることができます。近年の研究では、人手で用意された例の代わりに、LLM 自身が類似の問題を生成して推論に利用する「自己生成（Self-Generation）」アプローチが、人手作成例と同等以上の性能を発揮することが示されています。

しかし、なぜ自己生成が有効なのか、そのメカニズムは未解明でした。

• 有効なのは「生成された例そのものの質」なのか？
• それとも「例を生成するプロセス（思考の連鎖）」にあるのか？

この不明確さが、効果的な適用タイミングや方法の決定を困難にしています。本研究は、このメカニズムの解明と、より効果的なプロンプト戦略の設計を目指しています。

2. 手法と実験設定

本研究では、LLM の推論能力を評価するために、以下の 3 つのプロンプト戦略を体系的に比較・評価しました。

1. Zero-shot（ゼロショット）: 追加のコンテキストや例なしで、テスト問題を直接解く。
2. Integrated（統合型）: 単一のプロンプト内で、LLM がまず「関連する問題とその解答」を生成し、その直後に「テスト問題」を解く。問題の「生成」と「解決」が密結合されたプロセスです。
3. Decoupled（非結合型）: 事前に生成された「問題と解答」を、コンテキスト学習の例（In-context examples）として提示しますが、その「生成プロセス自体」は会話履歴から除外されます。つまり、例は同じでも、生成の文脈（プロセス）は含まれません。

評価対象:

• データセット: 数学的推論タスクに特化した MATH（12,500 問）と GSM8K（8,000 問）。
• モデル: GPT-4.1, GPT-4o, GEMINI-1.5-FLASH, LLAMA-3.3-70B-INSTRUCT, LLAMA-3.1-8B-INSTRUCT の 5 種類。
• 分析手法: 精度評価に加え、LLAMA-3.1-8B におけるアテンション（注目）パターンの詳細な分析を行いました。

3. 主要な結果

実験結果から、以下の重要な知見が得られました。

• Integrated 型が他を凌駕:
  全てのモデルとデータセットにおいて、Integrated（統合型）プロンプトが Zero-shot および Decoupled 型を明確に上回る精度を達成しました。
  • 例（MATH データセット、GPT-4o）: Integrated は 37.86%、Zero-shot は 33.33%、Decoupled は 32.65%。
• Decoupled 型の限界:
  Decoupled 型（生成された例のみを提示）は、Zero-shot と同等か、場合によってはそれ以下の性能しか示しませんでした。これは、単に「良い例」を提示するだけでは性能向上が得られないことを示唆しています。
• 多ショット（Multi-shot）設定でも有効:
  例の数を増やしても（1-shot, 2-shot, 4-shot）、Integrated 型の優位性は維持されました。一方、Decoupled 型では例を増やしても性能が向上しませんでした。

4. 深層分析：アテンションパターンの解明

なぜ Integrated 型が優れているのかを解明するため、LLAMA-3.1-8B における内部アテンションを分析しました。

• 生成例への注目度: Integrated 型では、モデルがテスト問題を解く際、自己生成された例のトークンに対して、Decoupled 型よりも統計的に有意に高いアテンションを払っていました。
• レイヤーごとの違い:
  • 下位レイヤー（0-12 層）: Integrated 型は、コンテキストの埋め込み（Contextual Grounding）において生成例に強く注目していました。
  • 中位レイヤー（13-22 層）: 両者の差は小さくなりました（誘導ヘッドによる共通処理）。
  • 上位レイヤー（23-31 層）: 推論と最終決定が行われる層において、Integrated 型は生成例を強力な参照点として利用し、高いアテンションを示しました。
• 結論: Integrated 型の利点は、生成プロセスを通じて例をモデルの内部表現に深く統合し、推論の最終段階でその文脈を効果的に活用できる点にあります。

5. 追加検証と議論

以下の追加実験により、主要な仮説をさらに裏付けました。

• ダミーテキスト: 生成した内容を意味のないランダム文字列（ダミー）に置き換えても、Zero-shot よりもわずかに向上しましたが、Integrated 型には及びませんでした。これは「テキスト生成行為そのもの」が何らかの役割を果たすが、「関連性のある内容の生成プロセス」が最も重要であることを示しています。
• 例の品質: Integrated 型で生成された高品質な例を Decoupled 型に流用しても、Integrated 型の性能には達しませんでした。
• CoT（Chain-of-Thought）との併用: CoT プロンプトを使用しても Integrated 型の優位性は維持されました。
• 意図の明示: 生成の意図を説明させる実験でも、Integrated 型が優位でした。

6. 論文の貢献と意義

この研究の最大の貢献は、**「自己生成による性能向上の源泉は、生成された『例そのもの』ではなく、例を『生成するプロセス』にある」**という発見です。

• 理論的意義: LLM の推論において、問題解決の文脈を生成プロセスを通じてモデル内部に埋め込むことの重要性を明らかにしました。アテンション分析を通じて、このプロセスがモデルのどの層でどのように機能するかを解明しました。
• 実用的意義: 人手による例の作成コストを削減しつつ、LLM の推論能力を最大化するための新しいプロンプト戦略（Integrated Prompting）を提案しました。単に例を提示するだけでなく、モデルに「考えさせる（生成させる）」プロセスを統合することが、複雑な推論タスクにおいて不可欠であることを示しました。

結論

本研究は、LLM の推論能力向上において、生成されたコンテンツの品質以上に、「生成という行為（プロセス）」自体がモデルの思考を活性化し、推論の質を高めることを実証しました。これは、より効果的なプロンプト設計や、自律的な推論システムの構築に向けた重要な指針となります。