技術要約：半教師あり思考の連鎖学習 (Semi-supervised Chain-of-Thought Learning: Semi-CoT)

1. 問題定義

本論文は、現在のChain-of-Thought（CoT）の適用におけるギャップに対処している。CoTは、推論時における大規模言語モデル（LLM）の推論能力を引き出す上で効果的であることが証明されているが、既存の手法は通常、推論プロセスを最終回答の生成後に破棄される一時的なプロンプトとして扱う。その結果、数学や論理学などの領域で利用可能な膨大な量のラベルなしデータが、高品質なCoTアノテーションを手動で作成するコストが高いという理由から、十分に活用されていない。

著者らは、**半教師あり思考の連鎖学習（Semi-supervised Chain-of-Thought Learning）**という新しい問題設定を定義している。目標は、少数のラベル付き質問と、より大規模なラベルなし質問のセットを活用して、疑似的な推論監督（pseudo reasoning supervision）を構築することである。標準的な半教師あり学習が疑似ラベル（最終回答のみ）を生成するのに対し、この設定では、各ラベルなし質問（$x_u$）に対して、疑似的な推論の連鎖（$\hat{r}_u$）と疑似的な回答（$\hat{y}_u$）からなる完全な疑似監督ペアを生成することを要求する：
$$x_u \rightarrow (\hat{r}_u, \hat{y}_u)$$

核心となる課題は、生成された連鎖の信頼性を確保することである。モデルは、不適切な導出を経て正しい回答を出力したり、もっともらしい連鎖を用いて誤った回答を出力したりする可能性がある。したがって、生成された疑似CoTを、監督やデモンストレーションとして使用する前にフィルタリングするためのメカニズムが必要となる。

2. 手法：Semi-CoT フレームワーク

著者らは、モデルのパラメータをファインチューニングすることなく動作する、最小限のフレームワークであるSemi-CoTを提案している。これは、ラベルなしの質問が信頼できる推論信号を提供できるかどうかをテストするために設計された、プロンプトレベルの半教師あり学習手法として機能する。プロセスは主に3つの段階で構成される。

A. 疑似CoTの生成

各ラベルなし質問に対して、LLMは標準的なトリガー（例：「ステップバイステップで考えましょう」）を使用して、$K$ 個の異なる推論パス（CoT出力）をサンプリングする。各出力は、推論のトレースと最終的な回答をもたらす。

B. セマンティック・エントロピーによる信頼性ゲート

信頼できない生成物をフィルタリングするために、本フレームワークは**セマンティック・エントロピー（semantic entropy）**を選択信号として採用している。

1. 正規化： 抽出された回答を正規化する（例：数値回答のフォーマット記号の除去）。
2. クラスタリング： 回答をセマンティック・クラスターにグループ化する。
3. エントロピー計算： これらのクラスターの分布に基づいて、正規化されたセマンティック・エントロピー $H_{sem}(x_u)$ を計算する。
   • 低いエントロピーは、$K$ 個のサンプリングされたパス間の高い一致を示している。
   • 高いエントロピーは、不一致と不確実性を示している。
4. 選択： $H_{sem}(x_u) \leq \delta$（$\delta$ は事前定義された閾値）を満たす場合にのみ、疑似CoTが受理される。受理された疑似回答は多数決によって決定され、疑似推論の連鎖は、その多数決の回答に至ったパスから選択される。

C. 疑似推論バンクと推論

受理された疑似CoTは、信頼性の重み（$w_u = 1 - H_{sem}(x_u)$）と共に疑似推論バンク $\mathcal{B}$ に格納される。テスト問題に対する推論時には：

• システムは $\mathcal{B}$ から $M$ 個のデモンストレーションを検索する。
• 2つの検索戦略、すなわち**ランダム選択（Random Selection）**と、TF-IDF検索（語彙的類似性に基づく）がテストされる。
• 検索されたデモンストレーションは、テスト質問にデモンストレーションとしてプロンプトに追加され、LLMは最終的な推論と回答を生成する。

3. 主な貢献

本論文は、以下の具体的な貢献を行っている：

• 問題の定式化： CoTを純粋な推論時テクニックから、半教師あり学習の信号源へと視点を転換させ、半教師あり思考の連鎖学習を定義した。
• フレームワークの提案： 複数の疑似CoTを生成し、セマンティック・エントロピーを用いてそれらをフィルタリングし、高信頼度の結果を推論デモンストレーションとして利用するパイプラインであるSemi-CoTを導入した。
• 実証的証拠： エントロピーに基づく選択が、複数の算術推論データセットにおいて高精度な疑似CoTをもたらすというパイロット的な証拠を提示した。
• 限界の特定： 疑似CoTの信頼性（エントロピーによって保証される）と、デモンストレーションの関連性（検索によって保証される）は、異なる課題であることを特定した。デモンストレーションがテスト質問に対して無関係である場合、高精度であっても性能向上が保証されない。

4. 実験結果

著者らは、4つの算術推論ベンチマーク（AQuA, SVAMP, GSM8K, MultiArith）を用いてパイロット実験を行った。

疑似CoTの信頼性

セマンティック・エントロピー・ゲートは、高品質な疑似CoTの選択に成功した。疑似回答の精度（隠されたゴールドラベルに対する選択された疑似回答の正確性）は以下の通りであった：

• MultiArith: 100%
• AQuA: 97.14%
• SVAMP: 96.30%
• GSM8K: 91.36%

タスク性能

最終的なタスク精度への影響は、データセットによって異なり、緩やかであった：

• SVAMP: Zero-shot CoTと比較して+2%の改善。
• GSM8K: Zero-shot CoTと比較して+1%の改善。
• AQuA: 高い疑似回答精度にもかかわらず、軽微な負の転移（negative transfer）（Zero-shot CoTと比較して性能が低下）を示した。
• MultiArith: すべての手法が100%の精度に達しており、パイロット設定における天井効果を示唆している。

検索戦略

デモンストレーション選択におけるランダム選択とTF-IDF検索の比較では、パイロット・サブセットにおいて有意な差は見られなかった。これは、単純な語彙的類似性だけでは、テスト質問に対する疑似CoTの関連性を確保するには不十分であることを示唆している。

5. 意義と主張

本論文は、決定的な解決策というよりも、新しい問題設定を確立するための技術報告書として位置づけている。その意義は以下の点にある：

1. 概念的転換： CoTを、モデル生成の推論が疑似的な監督として機能し得る「自己学習（self-training）」の一形態として再定義し、推論時のプロンプティングと半教師あり学習の間の溝を埋めた。
2. 信号の検証： セマンティック・エントロピーが、ラベルなしデータから信頼できる推論の連鎖をフィルタリングするための、モデルに依存しない実行可能な信号であることを実証し、人間によるアノテーションなしで高精度を達成した。
3. 保守的な結論： 著者らは、ラベルなしの質問は信頼できる疑似的な推論信号を提供し得るものの、信頼できる選択（reliable selection）だけでは一貫した性能向上には不十分であると控えめに結論付けている。現在の実装は、デモンストレーションの関連性が、重要な未解決の課題であることを浮き彫りにしている。Semi-CoTの可能性を完全に実現するためには、将来的な研究において、より強力な検索メカニズム、推論パターンのマッチング、あるいはパラメトリックな生徒モデルの訓練に取り組む必要がある。

著者らは、現在のプロンプトレベルの実装が最先端のソリューションであると主張することを明確に避け、観察された利得は小さく、関連性が管理されない場合には負の転移のリスクが残ることを指摘している。