論文要約：Adaptive Stopping for Multi-Turn LLM Reasoning

1. 背景と課題 (Problem)

大規模言語モデル（LLM）は、難問への回答において、単一の推論ステップではなく、多ターン推論（Multi-Turn Reasoning）や適応的検索（Adaptive RAG）、ReAct アージェントなどのインタラクションに依存するようになっています。これらの手法は、反復的な情報検索や推論を行うことで精度を向上させますが、「いつ停止すべきか（When to stop?）」という新たな課題を生み出しています。

• 既存手法の限界: 現在の停止判断は、信頼度閾値や固定されたターン数など、ヒューリスティックなルールに依存しています。これには形式的な保証（Formal Guarantees）がなく、早期に停止すると正解を見逃すリスクがあり、逆に過剰に推論を続けるとコストと遅延が増大し、誤りを招く可能性があります。
• 高リスクドメインでの必要性: 医療や金融などの分野では、不確実性を定量化し、確実な停止判断を行うことが不可欠です。
• 既存の CP 手法の不足: 従来、コンフォル予測（Conformal Prediction, CP）は LLM の出力に対して形式的なカバレッジ保証（正解が予測集合に含まれる確率保証）を提供してきましたが、既存の手法は単一の出力（シングルショット）にのみ適用可能であり、多ターンパイプラインにおける適応的停止には対応していませんでした。

2. 提案手法：MiCP (Methodology)

著者らは、多ターン LLM 推論のための最初の CP フレームワークである**「MiCP**（Multi-Turn Language Models with Conformal Prediction）を提案しました。MiCP は、推論プロセス全体で所望のカバレッジを保証しつつ、早期停止を可能にするために、以下の 3 つの主要コンポーネントで構成されています。

2.1 全体アーキテクチャ

MiCP は、ターンレベルの信頼度推定、適応的早期停止、最終予測集合の構築の 3 つの段階で動作します。

1. 検索フィルタリング（Retrieval Filtering）:

   • 各ターンで検索された文書の中から、無関係な文書を除去します。
   • 正解文書（Gold Passage）が少なくとも $1-\alpha_{ret}$ の割合で保持されるよう、コンフォル閾値 $\hat{q}_{ret}$ をキャリブレーションします。これにより、後続の推論を汚染するノイズを減らします。

2. エラーバジェット配分と逐次停止（Error Budget Allocation & Sequential Stopping）:

   • 核心となる革新: 全体の誤り率 $\alpha$ を、各ターン $t$ にわたって配分します（$\sum \alpha_t \leq \alpha$）。
   • 簡単な質問は早期のターンで停止し、難しい質問は後のターンで追加のエラーバジェットを消費して推論を継続するよう設計されています。
   • 各ターンで、LLM のサンプリングされた回答分布の正規化エントロピー（Normalized Entropy, NE）を不確実性の指標として用います。NE が特定のターン固有の閾値 $\hat{q}_t$ を下回れば、その時点で停止します。

3. 最終予測集合の構築（Prediction Set Construction）:

   • 停止したターンまでのサンプリングされた回答をクラスタリングし、コンフォル閾値に基づいて高信頼度の回答集合を構築します。
   • 許容された予算内で確実な回答が得られない場合は、予測集合に「回答不能（Can't Answer）」というラベルを含めることで、カバレッジ保証を維持します。

2.2 評価指標

従来の「平均ターン数」や「回答率」だけでは不十分であるとして、信頼性と効率性を同時に評価する新しい複合指標（Composite Metric）を提案しました。

• この指標は、早期に正解を導き出した場合に報酬を与え、不要な推論ステップや誤った回答に対してペナルティを課すように設計されています。

3. 主な貢献 (Key Contributions)

1. 初の多ターン CP フレームワーク: MiCP は、多ターン LLM 推論に適用可能な最初のコンフォル予測フレームワークです。反復的なパイプラインにおいて、早期停止を可能にしつつ、形式的なカバレッジ保証を提供します。
2. 多段階エラー配分戦略: 全体の誤り率バジェットをターンごとに分散させる戦略を開発しました。これにより、LLM は各ターンで「停止するか継続するか」を決定でき、計算予算や「回答不能」オプションが存在する場合でも、エンドツーエンドのカバレッジ保証を維持できます。
3. 新しい評価指標: カバレッジの有効性と効率性を同時に測定する指標を導入し、不要な検索や推論ステップを罰則化しつつ、少ないターンで正解する手法を評価可能にしました。
4. 広範な実験的検証: 適応的 RAG と ReAct の両方のベンチマーク（単一ホップおよびマルチホップ QA）において、MiCP が目標カバレッジを達成しつつ、ターン数、推論コスト、予測集合のサイズを大幅に削減することを示しました。

4. 実験結果 (Results)

5 つの QA ベンチマーク（Natural Questions, TriviaQA, HotpotQA, MuSiQue, 2WikiMultiHopQA）および 3 つの LLM（Gemma-2-9B-IT, Qwen3.5-9B, GPT-4o-mini）を用いて評価を行いました。

• カバレッジ保証の達成:
  • 検索段階でも最終予測集合段階でも、ターゲットとする $1-\alpha$ のカバレッジを達成し、理論的な保証が実証されました（図 2, 図 3）。
  • 検索フィルタリングにより、正解文書の保持率を目標通りに維持しつつ、無関係な文書を効果的に除去しました。
• 効率性の向上:
  • ターン数の削減: 早期停止を有効にすることで、固定ターン数（Baseline）と比較して平均ターン数を大幅に削減しました（例：HotpotQA で 3.000 回から 2.562 回へ）。
  • 予測集合サイズの縮小: 不要な後続ターンからのノイズを含む回答をフィルタリングし、予測集合のサイズを小さくしました。
  • モデルごとの性能: 最新かつ高性能なモデル（Qwen3.5-9B, GPT-4o-mini）ほど、効率性の向上が顕著でした。
• グリッドサーチの効果:
  • エラーバジェット配分（$\alpha_t$）のグリッドサーチにより、提案された複合指標の最適化が成功し、より合理的な早期停止判断が可能になりました。

5. 意義と結論 (Significance)

本論文は、LLM の多ターン推論における「いつ止めるか」という根本的な課題に対し、統計的な保証（Conformal Prediction）を提供する画期的なアプローチを提示しました。

• 実用性: 医療や金融など、誤答が許されない高リスクドメインにおいて、コストと遅延を最小化しつつ、信頼性の高い意思決定を可能にします。
• 一般性: 適応的 RAG に限らず、ReAct などのエージェント型システムにも適用可能であり、LLM 推論の効率化と信頼性向上の新しい標準となり得ます。
• 理論的貢献: 単一ショットの CP から、動的な停止判断を含む多ターンプロセスへの CP の拡張という、理論的な枠組みの拡大を実現しました。

MiCP は、LLM が「自信を持って」推論を停止し、不要な計算リソースを節約する能力を、形式的な保証の下で実現する重要な一歩です。