技術的サマリー：VecCISC

問題定義

大規模言語モデル（LLM）における推論時の推論能力のスケーリングは、複雑なタスクのパフォーマンス向上のための標準的なアプローチとなっている。その基盤となる技術である**自己整合性（Self-Consistency: SC）**は、複数の推論経路をサンプリングし、最も頻出する回答を選択するものである。より最近では、**信頼度に基づく自己整合性（Confidence-Informed Self-Consistency: CISC）**が、「二度考える（think twice）」パラダイムを採用することで、より優れた精度を実現している。これは、クリティカル LLM が各候補の推論経路を評価して信頼度スコアを割り当て、それを重み付き多数決に用いるというものである。

しかし、CISC は大きな推論オーバーヘッドとコストという欠点がある。クリティカル LLM は、サンプリングされたすべての推論経路に対して呼び出される必要があるため、トークン使用量と遅延は標準的な SC と比較して実質的に倍増する。さらに、単純な CISC は、ハルシネーション、劣化、あるいは意味的に冗長な経路を含むすべてのサンプルを同等に扱うため、最終的な決定に寄与しない低品質な出力に対して計算リソースを浪費している。

手法：VecCISC

これらの非効率性を解決するため、著者はVecCISCを提案する。これは、精度を犠牲にすることなくクリティカル評価を必要とする推論経路の数を削減する、軽量かつ適応的なフレームワークである。パイプラインは以下のように動作する。

1. サンプリング: LLM（$LLM_{gen}$）が、与えられたプロンプトに対して $n$ 個の推論経路 - 回答ペアを生成する。
2. 埋め込み生成: 各推論経路は、事前学習済みの埋め込みモデル（$Emb$）を用いてベクトル埋め込みに変換される。
3. 回答によるグループ化: 経路は、その結果得られる回答（$a$）によってグループ化される。これにより、クラスタリング前に異なる候補回答が保持されることを保証する。
4. クラスタリング: 各回答グループ内で、埋め込みはKMeansや**階層的凝集クラスタリング（HAC）**などのアルゴリズムを用いてクラスタリングされる。目的は、意味的に同等な経路を特定するとともに、外れ値（ハルシネーションや劣化したテキスト）を分離することである。クラスタ数（$K$）は、ホールドアウトセットに対するグリッドサーチによって決定される。
   • 注: 著者は、高次元の埋め込み空間における距離閾値の感度の高さから、DBSCAN を明示的に回避している。
5. 代表経路の選択: 各クラスタから、単一の代表経路が選択される。これは、クラスタの埋め込みの重心を計算し、コサイン類似度を用いてこの重心に最も近い経路を選択することで達成される。著者は、重心に最も近い経路が、異常な推論エラーを含む可能性が最も低いと主張している。
6. 信頼度スコアリング: すべての $n$ 個の経路を評価する代わりに、クリティカル LLM（$LLM_{critic}$）は、各クラスタからの代表経路のみに対してプロンプトが与えられる。
7. 最終集約: 代表経路の信頼度スコアは正規化され（調整可能な温度 $T$ を用いた softmax）、最終的な回答を選択するための重み付き多数決に用いられる。

主要な貢献

本論文は、4 つの主要な貢献を概説している。

• 新規フレームワーク: 推論経路のクラスタリングを活用し、クリティカルが分析するプールから冗長かつ低品質なサンプルを排除する VecCISC の導入。これにより、「二度考える」パラダイムのコストが削減される。
• 実証的検証: 5 つの多様なデータセット（数学、化学、生物学、常識推論、人文科学）および 5 つの異なる LLM（7B から 70B パラメータまで）にわたる広範な実験により、VecCISC が標準的な CISC の精度を維持または上回る一方で、総トークン予算を**47%**削減することを示した。
• 比較分析: クラスタリングに基づく選択（KMeans および HAC）を、ランダムな候補選択（$K$ サンプル）と比較し、意味的なクラスタリングが理想的な代表者を特定するためにランダムサンプリングよりも優れていることを証明した。
• オープンソース: 著者は、さらなる研究を促進するためにコードを公開することを約束している。

結果

実験は、AQuA-RAT、CommonsenseQA、ARC-Challenging、MMLU-Pro、GPQAの 5 つのデータセットで行われた。

• コスト削減: VecCISC はクリティカル LLM への呼び出し回数を大幅に削減する。VecCISC + KMeans はクリティカル呼び出しを平均**34.68%削減し、VecCISC + HAC は30.2%削減した。初期サンプリングを含むパイプライン全体を考慮すると、総トークン使用量は47%**削減された。
• トークン効率: 「最小重心」選択戦略（クラスタ中心に最も近い経路を選択するもの）は、ランダムな経路選択を一貫して上回り、クリティカルコンポーネント（総トークンの約 77% を占める）のトークン消費を削減した。
• 精度: VecCISC のバリアントは、ほぼすべてのモデル - データセットの組み合わせにおいて、標準的な自己整合性および CISC を一貫して上回るか、同等の性能を示した。特に、VecCISC + HAC はほとんどの構成で平均結果が最も優れており、場合によっては、高品質な経路の削減されたセットが CISC に対してわずかな精度向上をもたらした。
• アブレーション: クラスタリングなしで $K$ 個の経路をランダムに選択する「VecCISC (random)」のベースラインは、CISC および SC の両方を大幅に下回った。これは、ノイズや劣化した経路をフィルタリングするために意味的なクラスタリングが不可欠であることを浮き彫りにした。

意義と主張

本論文は、VecCISC が既存の「二度考える」パイプラインに対する効果的で軽量な拡張を提供すると主張している。著者は、意味的に同等な経路や劣化した経路をフィルタリングすることで、フレームワークがクリティカル LLM に、より少量の高品質な推論経路に集中させることを可能にすると述べている。このアプローチは、信頼度較正に伴う莫大な推論コストを軽減しつつ、モデルのパフォーマンスを維持し、場合によっては向上させる。

著者は、発見の一般化については慎重であり、適応性を確保するために汎用埋め込みモデル（$text-embedding-3-small$）を使用したものの、専門的なタスクにはドメイン固有の微調整済み埋め込みモデルが有益である可能性があると指摘している。さらに、ハイパーパラメータである$K$（クラスタ数）と$T$（softmax 温度）は現在、データ駆動型のグリッドサーチを必要としていることを認め、将来の研究では事前データなしでこれらのパラメータを選択するための適応的アプローチの探求が期待されると示唆している。