技術要約：Conformal Risk ControlはいつLLMの出力を保証できるのか？

1. 問題提起

大規模言語モデル（LLM）は、名前付きエンティティ認識（NER）、JSON抽出、質問応答（QA）、分類など、特定のスキーマに従う必要があり、かつ正解（ground truth）に対して評価可能な構造化生成タスクへのデプロイが進んでいます。しかし、これらのモデルには形式的な信頼性の保証が欠けています。標準的な不確実性定量化手法（トークン確率やエントロピー閾値など）は、構造化された損失に対しては校正（calibration）が不十分なことが多く、ヒューリスティックな棄却ポリシーは、ユーザーが指定したリスク目標を7.5〜12.5%頻繁に外してしまいます。

本稿で扱う核心的な問題は、Conformal Risk Control（CRC）が、LLMの構造化出力がユーザー定義のリスク目標 $\alpha$（例：「エラー率 $\le 10\%$」）を満たすことを、いつ形式的に保証できるのか、そして、どのような手法を用いても理論的に保証が不可能となるのはどのような場合か、を明らかにすることです。

2. 手法

2.1. 問題の設定

著者らは、信頼度スコア $s(x, \hat{y}) \ge \lambda$ の場合に予測 $\hat{y}$ を出力し、そうでなければ棄却する選択的予測器（selective predictor）を定義しています。目標は、条件付きリスクが以下を満たすような閾値 $\lambda^*$ を見つけることです：
$$E[R_{task}(\hat{Y}, Y) \mid s(X) \ge \lambda^*] \le \alpha$$
ただし、確率は $\ge 1-\delta$ とします。ここで、$R_{task}$ はタスク固有のリスク（例：NERにおける $1 - F_1$、QAにおける $1 - \text{Exact Match}$）です。

2.2. 保証の階層

論文では、$\lambda^*$ を選択するために使用される境界（bounds）の階層を分析しています：

1. Hoeffding Bound: 分散を無視した標準的な上側信頼限界（UCB）。
2. Empirical Bernstein Bound: 標本分散 $\hat{\sigma}^2$ を組み込むことで、分散が低い場合（$\hat{\sigma}^2 < 1/4$）によりタイトな境界を提供します。
3. e-CRC (Betting-Based): テスティング・バイ・ベッティング（testing-by-betting）フレームワーク（e-values）を用いて富のプロセス（wealth process）を構築します。これは逐次的な賭けを通じて経験分布に完全に適応し、特にデータが乏しい状況において最もタイトな境界を提供します。

著者らは、認定される閾値の厳格な順序関係 $\Lambda^*_{Hoeff} \subseteq \Lambda^*_{Bern} \subseteq \Lambda^*_{e-CRC}$ を証明しています。

2.3. 不可能性の結果（実現可能性テスト）

中心的な理論的貢献は、棄却（abstention）に関する閉形式の下限値です。著者らは、展開用集団におけるベースリスク $\mu = E[R]$ がターゲット $\alpha$ を超える場合、いかなる分布フリーの手法を用いても、少なくとも一定の割合で入力を棄却しなければならないことを証明しました：
$$\text{Abstention} \ge \frac{\mu - \alpha}{1 - \alpha}$$
これは実現可能性テストとして機能します。もし $\mu > \alpha$ であれば、大幅な部分の入力を拒絶することによってのみ、認証が可能となります。

2.4. Adaptive Conformal Inference (ACI)

分布シフト（テスト分布が校正セットと異なる場合）に対処するため、論文ではACIを評価しています。この手法は、観測されたリスクに基づいてオンラインで閾値を更新します：
$$\lambda_{t+1} = \lambda_t + \gamma(r_t - \alpha)$$
これはシフト下での漸近的な制御を提供しますが、有限サンプルでの保証は提供しません。

2.5. スコア融合（Score Fusion）

著者らは、複数の信号（Self-Consistency、Token Margin、Semantic Entropyなど）を組み合わせるために、互いに独立した校正データ上でロジスティック回帰を行い、融合された信頼度スコア $\tilde{s}(x)$ を学習することを提案しています。融合関数が固定されており、CRC校正サンプルに依存しない場合、CRCの妥当性保証が維持されることを証明しています。

3. 主な貢献

1. 不可能性の結果と実現可能性の特性付け: 本論文は、$\mu > \alpha$ のとき、いかなる分布フリーの手法も $\ge (\mu - \alpha)/(1 - \alpha)$ の割合で棄却することなしには出力を保証できないことを確立しました。これは、デプロイ前のチェックとして、リスク目標が達成可能かどうかを判断するために用いられます。
2. 保証の階層: 著者らは $\Lambda^*_{Hoeff} \subseteq \Lambda^*_{Bern} \subseteq \Lambda^*_{e-CRC}$ という階層を確立し、実験的に検証しました。低分散の領域において、HoeffdingからBernsteinへ移行することで最大の利得（構成設定の+37%増加）が得られる一方、e-CRCはデータが少ない状況（例：20%のデータで10%の認証を実現 vs Hoeffdingでは0%）で決定的な価値を提供することを示しました。
3. シフトへの適応: クロスデータセット転移下でのACIを検証し、リスク目標の違反が71%（静的なCRC）から21%へと減少することを示しました。残存する失敗は、まさに不可能性の境界が重い棄却を必要とすると予測している箇所で発生しています。
4. ベンチマーク: 6つのオープンウェイトモデル（3B–72Bパラメータ）、8つのデータセット、4つのタスク、6つの非適合度スコアを用いた包括的な評価を行いました。研究の結果、困難なNER/QA/CLSの設定は $\alpha=0.10$ という厳格な条件下では保証できないことが多いものの、$\alpha$ を0.30–0.40に緩和することで、実用的な認証が可能になることが分かりました。

4. 結果

• 誤校正（Miscalibration）: LLMは構造化タスクにおいて顕著な誤校正を示します。平均的な信頼度は高い（74–97%）一方で、実際のリスクは幅広く変動します（JSONでは3%だが、NQ Open QAでは80%）。
• 実現可能性の限界: $\alpha=0.10$ において、NER/QA/CLSの認証率はほぼゼロです。これは $\mu \gg \alpha$ であるためです。例えば、NQ Open QAは $\mu \approx 0.80$ であり、10%のリスク目標を満たすには $\ge 78\%$ の棄却が必要です。
• 境界の性能:
  • Hoeffding: 構成設定の8.7%を保証。
  • Bernstein: 11.9%を保証（Hoeffdingに対し+37%の利得）。
  • e-CRC: 12.2%を保証し、特に低データ環境において最大の優位性を示しました。
  • すべての手法において、保証された構成設定内での違反率はほぼゼロを維持しています。
• モデルのスケーリング: モデルサイズの増大はベースリスク $\mu$ を減少させます。CoNLL NERにおいて、$\mu$ は3Bモデルの0.42から72Bモデルの0.24へと低下し、14Bモデルが失敗する $\alpha=0.25$ において72Bモデルでの認証を可能にします。
• スコア融合: 校正された融合は、個々のスコアが弱い分類およびNERタスクにおいて最大の利得を得て、89%の構成設定でAUROCを向上させました。

5. 意義と主張

本論文は、単なる新しいコンフォーマル・プリミティブの提示ではなく、デプロイに向けた特性付けを提供することを目的としています。その主要な意義は、実務家の問いを「どの境界が最もタイトか？」から「認証は実現可能か？」へとシフトさせたことにあります。

• 実現可能性を第一に: 不可能性の境界を用いることで、実務家はCRCの手順を実行する前に、最小限必要な棄却率を計算できます。もし必要な棄却率が許容できないものであれば、モデルのスケーリング、リスク目標 $\alpha$ の緩和、あるいは重い棄却の受け入れが必要であることを示唆しています。
• 実践的なレシピ: 著者らは以下の3ステップのデプロイメント・フレームワークを提案しています：
  1. 実現可能性の確認: $\mu$ を計算する。もし $\mu > \alpha$ ならば、棄却のフロア（下限）を計算する。
  2. 境界とスコアの選択: Bernsteinまたはe-CRCを使用し（Hoeffdingは避ける）、スコア融合またはSelf-Consistencyを採用する。
  3. シフトの緩和: テスト分布が校正時と異なる可能性がある場合は、ACIをデプロイする。
• 現実的な期待値: 本研究は、困難なタスク（高 $\mu$）かつ厳格なターゲット（低 $\alpha$）の場合、認証は統計的手法ではなく、モデルのベース性能によって本質的に制限されることを明確にしています。$\alpha$ を現実的なレベル（例：0.30–0.40）に緩和することで、多くの構造化タスクにおいて認証が実用的になります。

結論として、CRCは形式的な保証を提供しますが、その有用性はベースリスクとターゲットリスクの間の根本的なトレードオフによって制限されており、これはどのような統計的境界によっても克服できない制約であると述べています。