技術要約：予算化された「実行または保留」型マルチエージェントLLM審議法と局所的信頼限界

1. 問題提起

本論文は、マルチエージェント大規模言語モデル（LLM）による審議システムのデプロイメントにおける課題に対処している。マルチエージェントによる討論は推論能力を向上させるが、実用的なデプロイメントには、システムがいつ自律的に「実行（act）」し、いつ人間によるレビューに「保留（defer）」すべきかを決定するための、原理に基づいたメカニズムが必要である。既存のアプローチの多くは、固定された停止ラウンド数（分割コンフォーマル予測などの限定的な被覆保証を持つもの）や、誤ったアクションが発生する確率を明示的に制御できないヒューリスティックなコンセンサス閾値に依存している。

核心となる問題は、**予算化された実行または保留の意思決定（budgeted act-or-defer decision making）**として定式化される。すなわち、ユーザーが指定した「誤ったアクションの予算（wrong-action budget）」$\beta$ が与えられたとき、誤った回答に基づいて行動してしまう確率を $\beta$ 以下に抑えつつ、自律的なアクションの割合（オートメーション）を最大化するような停止規則 $\tau$ を決定しなければならない。これには、討論の局所的な状態に適応する、インスタンスごと・ラウンドごとの信頼限界が必要となる。

2. 手法

提案手法は、$k$-近傍法（$k$-NN）を用いて、討論の状態のメトリック空間における局所的な下限信頼区間を構築する。

2.1 状態表現とキャリブレーション

• 状態埋め込み: 各ラウンド $t$ において、討論の履歴（フィルタリング $F_t$）は、低次元の状態 $U_t = \phi_t(F_t)$ として、メトリック空間 $(\mathcal{U}, d)$ 内に圧縮される。デフォルトの状態は、上位の社会的確率（social probability）$p^{(1)}_t$ と、上位2つの選択肢間のマージン（差）$\Delta_t$ で構成される。
• キャリブレーション: フル討論を実行したキャリブレーション・データセット $D_{cal}$ を使用する。各インスタンスおよび各ラウンドにおいて、状態 $U_{i,t}$ と正解インジケータ $Z_{i,t}$ が記録される。データは、モジュラス推定セット（$D_{mod}$）とルックアップセット（$D_{loc}$）に分割される。

2.2 下限の構築

テスト・インスタンスのラウンド $t$ における状態 $U_t$ に対し、本手法は局所的な正解確率 $q_t(U_t) = \Pr(Y = \hat{Y}_t | U_t = u)$ の下限 $L_t$ を計算する。

1. $k$-NN ルックアップ: 家族的な近傍サイズ $K$ に対して、メソッドは $D_{loc}$ 内の $k$ 個の最近傍を特定する。
2. バイアス・分散補正: 近傍における正解率の生の経験的平均は、以下の2つの項によってペナルティを課される：
   • 局所バイアス・エンベロープ（Local Bias Envelope） ($b_{t,k}$): 近傍内の近似誤差を制御するプラグイン・インターフェース。本論文では、デフォルトとして経験的モジュラス（empirical modulus）（$D_{mod}$ 上で適合されたロジスティックGAMによる）を使用しており、これは一定半径内でのパイロット・スムーザーの最大変動を測定するものである。
   • サンプリング分散: ホフディングの集中項 $\sqrt{\frac{\log(T|K|/\delta)}{2k}}$。
3. 適応的選択: 最終的な下限は、すべての $k \in K$ に対する最大値となる：
   $$L_t = \max_{k \in K} \left[ \hat{q}_{t,k}(U_t) - b_{t,k}(U_t) - \sqrt{\frac{\log(T|K|/\delta)}{2k}} \right]$$
   これにより、各インスタンスはバイアスと分散のトレードオフにおいて最適な $k$ を自動的に選択できる。

2.3 予算の分解と停止規則

ユーザーは総計の誤ったアクションの予算 $\beta$ を指定する。本手法は、この予算を以下の3つの要素に分解する：
$$\beta = \underbrace{\delta}_{\text{キャリブレーション失敗}} + \underbrace{\alpha}_{\text{残留アクションリスク}} + \underbrace{\epsilon_{act}}_{\text{表現ギャップ}}$$

• $\delta$: 下限 $L_t$ が真の正解確率を上回ってしまう確率（キャリブレーション失敗）。
• $\alpha$: システムが実行する際の残留リスク。停止閾値は $1 - \alpha$ に設定される。ここで $\alpha = \beta - \delta - \epsilon_{act}$ である。
• $\epsilon_{act}$: 討論の全履歴 $F_t$ を状態 $U_t$ に圧縮する際に失われる情報を考慮した、「表現ギャップ」に関する片側境界。

停止規則: システムは、$\tau = \inf \{ t \le T : L_t \ge 1 - \alpha \}$ のラウンドで実行を行う。もしラウンド $T$ までにこの下限が満たされない場合、そのインスタンスは人間によるレビューへと保留される。

2.4 相対的リスク・デプロイメント

タスクの難易度が異なる状況に対処するため、本論文は相対的リスク・デプロイメント・ポリシーを導入している。すべてのタスクに対して絶対的な $\beta$ を固定するのではなく、訓練データの最終ラウンドのエラー率（$\hat{e}_T$）から予算を誘導する：$\beta_d = \lambda \cdot \hat{e}_T$。乗数 $\lambda$ は、正規化された予算使用量（$WA/\beta$）を目標値（例：0.10）以下に抑えつつ、オートメーションを最大化するように訓練スプリット上で選択される。

3. 主な貢献

1. 適応的停止の定式化: 本論文は、マルチエージェントによる審議の停止を、3方向の予算分解（$\beta = \delta + \alpha + \epsilon_{act}$）を伴う局所的な状態条件付きリスク制御問題として定式化した。
2. 局所バイアス・エンベロープ・インターフェース: 局所的な近似誤差を制御するための汎用的なプラグイン・バイアス・エンベロープ $b_{t,k}(u)$（Lipschitz、Hölder、および経験的モジュラスを特殊なケースとして含む）を導入し、下限の同時妥当性を証明した。
3. 明示的な仮定を伴う条件付き保証: 分布フリーの手法とは異なり、本手法の保証は、監査可能な局所的仮定（バイアス・エンベロープの妥当性とアクション領域の表現ギャップ）に条件付けられている。仮定が失敗した場合のコストは、Proposition 4を通じてリスク境界に明示的に加えられる。
4. 相対的リスク・デプロイメント: ユーザーが宣言した誤ったアクションの予算を、訓練データを用いてタスクの難易度に応じて正規化することで、事前のプロスペクティブ（前向き）な運用ポイントへと変換する。
5. 実証的検証: 6つのベンチマーク（MMLU-Pro, LogiQA, ARC, BBH, MuSR, GPQA）における9つのベースラインに対する実験により、本手法が宣言された予算のわずか 9–12% のみを使用しながら、高いオートメーション（最大84%）と実行時の精度（最大96%）を達成していることを示した。ストレス・テスト・データセット（GPQA, MuSR）において、本手法は信頼性の低いオートメーションを強制することなく、正しく保留を選択した。

4. 結果

• 活性化されたデータセット: MMLU-Pro, BBH, LogiQA, ARCにおいて、本手法は28%から84%のオートメーション率を達成し、実行時の精度は89%–97%であった。極めて重要な点として、誤ったアクションの割合（$WA$）は、宣言された予算のわずか9–12$WA/\beta \in [0.09, 0.12]$）。
• ストレス・テスト・データセット: GPQAやMuSR（サンプルサイズが小さく、ベースのエラー率が高い特性を持つ）では、誘導された予算は大きくなるが、局所的な下限が閾値を越えないため、本手法はほとんどのインスタンスを保留する（オートメーション率は0%–53%）。これは、信頼性の低いオートメーションを避けるための意図された挙動である。
• ベースラインとの比較:
  • リスク制御ベースライン（CRC、選択的予測）: これらの手法は100%近いオートメーションを達成するが、同じ予算の18–82%を消費する。これは、彼らが宣言された予算から特定のオートメーションレベルを（事前のチューニングなしに）導き出すことができないことを示している。
  • マッチド・オートメーション比較: ベースラインを事後的に本手法と同じオートメーション率になるよう調整した場合、それらの実行時精度および予算使用量は、本手法と統計的に区別がつかない。本論文の価値は、パー・タスクの閾値探索なしに、宣言された予算からプロスペクティブ（前向き）にポリシーを構築できる点にある。
• アブレーション研究: バイアス・エンベロープ（$b_{t,k}$）を除去すると、予算使用量が2〜3倍増加する。最終ラウンドのみを使用した場合（適応的停止なし）、早期停止による節約効果が失われる。

5. 意義と主張

本論文の主要な貢献は、調整されたスカラー閾値よりも高いサブセット品質を達成することではなく、ユーザーが宣言した誤ったアクションの予算を「実行または保留」のポリシーへと変換するための、プロスペクティブ（前向き）かつ監査可能なフレームワークを提供することである。

• 明示的な仮定: 本手法は、保証に必要な構造的仮定（バイアス・エンベロープによる局所的な滑らかさと表現ギャップ）を露呈させ、それらを検証するための診断用プロキシ（例：モジュラスの膨張、予測器ギャップのチェック）と組み合わせている。
• 優雅な劣化（Graceful Degradation）: 保証は優雅に劣化する。仮定が違反された場合、その失敗確率はリスク境界に明示的に加算され、保証の壊滅的な失敗を引き起こさない。
• 推論時計算のテンプレート: 著者らはこれを、反復的な自律的アクションは安価だが、時折の誤ったアクションが高コストとなるような、他の推論時計算パイプラインのためのテンプレートとして位置づけている。

本論文は、分布フリーの条件付き正解性を提供するものではないことを明言している。代わりに、局所的な仮定のコストを明示的に行うリスク分解フレームワークを提供しており、これにより、明示された条件下での監査可能なデプロイメントを可能にしている。