技術要約：ランキングによる自己一貫性の向上 (RISC)

問題提起

自己一一貫性（Self-consistency）は、大規模言語モデル（LLM）が複数の推論パスを生成し、多数決によって最終的な回答を選択する、著名なテスト時スケーリング手法である。この手法は効果的ではあるものの、重大な性能ギャップに直面している。すなわち、正解はサンプリングされた候補の中に存在しているにもかかわらず、それが多数派の投票を得られなかったために選択されないという問題である。CISC（言語的な不確実性推定に依存）やStable Rank（内部的な幾何学的構造に依存）といった既存の試みは、通常、設計された単一の手法（ハンドクラフトされたシグナル）に依存している。著者らは、こうした知識駆動型の単一シグナルに基づくアプローチは、多様なタスクに対してスケールおよび汎化することが困難であり、正解の妥当性を決定する要因の複雑な相互作用を捉えきれないことが多いと主張している。

手法：ランキング改善型自己一貫性 (RISC)

本論文では、自己一貫性の軽量な拡張として、回答の選択を単純な頻度カウントや信頼度スコアリングではなく、ランキング問題として再定式化したRISCを提案する。RISCは、単一のシグナルに頼るのではなく、解釈可能な一連の特徴量に基づいて候補となる回答をスコアリングする、学習済みのランカーを採用している。

コアフレームワーク

1. 問題の定式化: プロンプト $x$ と $N$ 個のサンプリングされた候補の集合 $C(x) = \{y_1, \dots, y_N\}$ が与えられたとき、候補内での順位を付けるスコアリング関数 $f_\phi(x, y | C(x))$ を学習することを目的とする。最終的な予測は、最も高いスコアを持つ候補となる。
2. 学習目的: ランカーは、LightGBMを用いて実装されたLambdaRank（リストワイズ学習によるランキングアルゴリズム）を用いて学習される。モデルは、最終的なランキング順序を大きく乱すエラーに対して高い重みを置くNDCG（正規化割引累積利得）を指標として、候補セット全体の順序を最適化する。
3. 特徴量エンジニアリング: ランカーは、回答の頻度、意味的な中心性、および推論トレースの一貫性を捉える、慎重に設計された5つの解釈可能な特徴量を利用する。
   • 回答の長さ (Answer Length): 最終回答の文字数。正解はクリーンでコンパクトな形式で現れることが多い一方、不正解はフォーマットの残骸や過剰な説明を含む可能性があるという直感に基づいている。
   • 最頻値との比率 (Ratio to Best): ある候補の回答頻度と、その質問に対する最も頻度の高い回答の頻度との比率。これにより、モデルは、ある候補が多数決の有力な競合相手なのか、あるいは遠い外れ値なのかを理解できる。
   • 回答重心からの距離 (Distance from Answer Centroid): 各候補の埋め込みベクトルと、その質問における全回答埋め込みベクトルのカウント加重重心との間の二乗ユークリッド距離。これは意味的な中心性を測定する。分布の「質量中心」に近い回答は、より妥当であると考えられる。
   • 最悪ステップのコヒーレンス (Worst-Step Coherence): 推論トレース（Chain-of-Thought）において、この特徴量は、単一のステップとトレース全体の重心との間の最小コサイン類似度を計算する。これにより、最終的な回答がもっともらしく見えても、意味的な整合性を壊す「脱線」ステップが含まれているかどうかを検知する。
   • 共有チェックポイント数 (Shared Checkpoints Count): 同じ回答を生成する異なるトレース間で、意味的に共有されている中間的な推論プレフィックス（同程度の深さにおけるもの）の数を測定する。この値が高いことは、安定した再現可能な推論パターンを示している。

実装の詳細

• 埋め込み (Embeddings): すべての特徴量は、回答、推論トレース、およびプレフィックスをエンコードするために、MiniLM（22.7Mパラメータ）文章埋め込みモデルを使用して導出される。
• 学習: ランカーは、NDCGへの影響度によって重み付けされたペア比較を用いて、データセットのトレーニング分割で学習される。
• 推論: 推論時、モデルは $N$ 個のサンプルを生成し、各候補から5つの特徴量を抽出し、学習済みのランカーがトップスコアの回答を選択する。初期サンプリング以外に、追加のLLM呼び出しは必要ない。

主な貢献

1. 選択の再定式化: 本論文は、自己一貫性のパラダイムを多数決から学習によるランキング問題へと移行させるRISCを導入し、多数決および強力なベースラインを一貫して上回る性能を示すことを実証した。
2. 解釈可能な特徴量設計: 著者らは5つの特定の機能（特徴量）を設計し、検証した。これらの特徴量は個別に有用であり、かつ決定的に相補的であることを示している。これらのシグナルを組み合わせることで、個々の特徴量の寄与の総和を超える性能向上が得られる。
3. 特徴量の相互作用の分析: 特徴量の切除研究（アブレーション研究）とSHAP分析を通じて、本論文は特徴量間の非加法的な相互作用を明らかにしている。これは、複数の情報的なシグナルを組み合わせることを学習する方が、単一の手法に頼るよりも優れているという証拠を提供している。

実験結果

著者らは、Llama-3.1-8B-Instructモデルを用い、異なる推論の複雑さをカバーする3つのデータセット（PopQA（オープンドメインQA）、HotpotQA（マルチホップ推論）、MATH500（数学的推論））でRISCを評価した。

• 精度と効率のトレードオフ: RISCは、標準的な自己一貫性およびベースラインと比較して、一貫して優れたトレードオフを実現している。
  • コスト削減: RISCは、大幅に少ないLLM呼び出し回数で標準的な自己一貫性と同等の精度を達成する（例：PopQAにおいて、99個のサンプルで得られる精度を、わずか18個のサンプルで達成する）。
  • 精度の向上: 固定予算において、RISCはベースラインを一貫して上回り、QAデータセットでは約4%から6%の利得を示す。
• 性能の天井: QAデータセットにおいて、RISCは最大サンプル予算を用いても標準的な自己一貫性が到達できない精度レベルに達しており、事実上「オラクル（正解を知っているもの）」による選択へのギャップを埋めている。
• 汎化性能: RISCは一つのデータセットで学習された場合でも他へと良好に転移する（例：PopQAからHotpotQAへ）。ただし、数学に特化したMATH500への転移時には性能が低下する。
• モデル非依存性: Olmo-3-7B-Instructモデルでもテストされ、同様の恩恵が示された。

意義と主張

本論文は、テスト時スケーリングにおける単一のヒューリスティックを超えていくことの価値を、RISCが示していると主張している。回答の選択をランキング問題として扱い、軽量で解釈可能な一連の特徴量を利用することで、RISCは高価な追加のモデル呼び出しや複雑なニューラル報酬モデルを必要とせずに、候補セット内に存在する情報を効果的に活用している。著者らは、提案された特徴量の相補性こそが鍵であると強調している。頻度、意味的な中心性、および推論の一貫性のシグナルを学習によって組み合わせることで、単純な多数決では見落とされがちな正解を特定することが可能になる。このアプローチは、より優れた推論時選択戦略を通じてLLMの性能を向上させるための、実用的でスケーラブルな道筋を提供している。