技術的サマリー：Conf-Gen 生成モデルのための共形不確実性定量化

問題提起

人工知能、特に大規模言語モデル（LLM）や画像生成モデルなどの教師なし生成モデルにおける最近のブレークスルーは、従来の教師あり学習からの転換をもたらした。しかし、不確実性定量化（UQ）は、これらの生成システムにとって依然として重要な課題であり、医療や科学発見などの高リスク分野での展開を妨げている。

共形予測（CP）と共形リスク制御（CRC）は、教師あり学習における UQ に対して厳密で分布フリーの枠組みを提供するが、生成タスクには直接適用できない。生成モデルへの共形アプローチの適用を試みた既存の研究は、多くの場合、特定のタスクに特化しており、（ユーティリティ関数の厳密な単調性などの）制限的な仮定に依存し、集合値出力に限定されている。さらに、現在の実装では、真のラベル（ground truth）と呼び出し可能なユーティリティ関数を必要とする場合が多く、これはオープンエンドな生成シナリオでは常に利用可能とは限らない。

手法：Conf-Gen フレームワーク

著者は、CRC の理論的仮定を緩和しつつ生成タスクに適応する一般的な枠組みである**Conf-Gen（Conformal Generation）**を提案する。Conf-Gen は、従来のタスク固有の試みを統合し、単純な集合を超えたシーケンスや構造化された出力を含む新たな領域へと共形手法を拡張する。

中核コンポーネント

この枠組みは、$G_{:n} = \{(X^{(i)}, Y^{(i)}, Y^{(i)}_{GT})\}_{i=1}^n$ という較正データセット上で動作する。ここで、$X$は入力、$Y$は生成シーケンス、$Y_{GT}$はオプションの真のラベルである。これは以下の 3 つの主要コンポーネントで構成される。

1. 選択関数（$C_\lambda$）: パラメータ $\lambda$ でインデックス付けされた、確率的な関数の族 $C_\lambda: \mathcal{X} \times \mathcal{Y}^* \to \mathcal{S}$。従来の CP が集合を出力するのとは異なり、$\mathcal{S}$ はシーケンス（$\mathcal{Y}^*$）や他の構造化された出力となり得る。直感的には、より大きな $\lambda$ 値は、より高い許容性（admissibility）を達成するより保守的な出力（例えば、より短いシーケンスやより厳格な部分集合）を生成する。
2. 許容性関数（$A$）: CRC におけるユーティリティ関数を一般化する関数 $A: \mathcal{X} \times \mathcal{S} \times \mathcal{Y}_{GT} \to [0, \infty)$。これは選択された出力の品質を測定する。重要なのは、$A$ が呼び出し可能な関数である必要はなく、真のラベルが定義されていない場合でも、人間の評価や手続きによって定義され得る点である。
3. 較正: この手法は、較正データセット上の平均許容性が目標 $\gamma$ を満たすような閾値 $\hat{\lambda}$ を見つける。形式的には、$\hat{\lambda} = \inf \{ \lambda \in \Lambda : \bar{A}_n(\lambda) \ge \frac{n+1}{n}\gamma \}$ となる。

理論的貢献

Conf-Gen は、CRC の仮定を緩和する$\gamma$-sensibleインスタンス定義を導入する。

• 緩和された単調性: CRC の厳密な要件である「許容性関数がほぼ確実に非減少であること」の代わりに、Conf-Gen は写像 $\lambda \mapsto \mathbb{E}[A^{(n+1)}(\lambda) \mid \hat{\lambda}, \lambda^*]$ が条件付き期待値において非減少であることを要求するのみである。これにより、$\lambda$ と許容性の関係が各実現において厳密に単調でなくとも、期待値において成り立つようなシナリオが可能となる。
• 一般化された出力空間: この枠組みは、集合を超えた出力（例えば、シーケンス）をサポートし、回答の部分シーケンスや行動の部分集合の選択などの応用を可能にする。
• 真のラベル不要: この枠組みは、すべてのインスタンスに対して明確に定義された真のラベル $Y_{GT}$ を厳密に必要とせず、許容性が人間の評価や意味的一貫性によって決定されるオープンエンドなタスクに対応する。

計算効率

本論文は、Conf-Gen を計算的に実行可能にする設計パターンを特定している。

• スコアベースの選択: 個々の要素に割り当てられたスコアに基づいて $C_\lambda$ を定義すること（例：$S_\downarrow(x, y_t) \le \lambda$ となる要素を選択する）により、選択関数の像が有限となり、無限の $\Lambda$ であっても効率的な較正が可能となる。
• インスタンスレベルの分解: 許容性関数がインスタンスレベルのスコアの集約（例：$A = \text{agg}(A'_1, \dots, A'_T)$）に分解できる場合、較正は生成されたすべての要素に対して $A'$ を一度評価することで実行でき、評価を $\lambda$ の選択から切り離すことができる。
• 部分生成: 多くの場合、選択基準が満たされた時点でシーケンスの生成を早期に停止でき、計算リソースを節約できる。

主要な貢献

1. 枠組み: シーケンスや構造化された出力に CRC を一般化した、生成モデルのための厳密な UQ 枠組みである Conf-Gen を提案する。
2. 理論: CRC の単調性仮定を「ほぼ確実な条件」から「条件付き期待値の条件」へと緩和し、厳密な単調性が成り立たないタスクへの適用範囲を広げる。
3. ソフトウェア: さまざまな構成において効率的な較正と推論をサポートする柔軟な Python パッケージ（conf-gen）を提供する。
4. 実証的検証: 新しいタスクにおけるこの枠組みの汎用性を示し、LLM による質問応答において最先端のベースラインを上回る性能を発揮するとともに、いくつかの新しい応用分野に対して初めて共形保証を確立した。

実験結果

著者は、Conf-Gen を多様なタスクで検証し、共形保証（実証的許容性 $\ge \gamma$）を満たしつつ、実用的な有用性（ベースラインと比較してより短いシーケンスまたはより高品質な出力）を維持することを示した。

• オープンドメイン質問応答: TriviaQA データセットにおいて、Conf-Gen はベースライン（Quach et al., 2024）よりも短い回答シーケンスを生成しつつ、同じカバレッジ保証を維持し、必要な LLM 呼び出し回数を削減した。
• 非記憶化画像生成: Stable Diffusion に適用し、人間の評価者によって「非記憶化」（つまり、学習データの複製ではない）と検証された画像を、保証された確率 $\gamma$ で選択する。これは生成モデルに関連する著作権リスクに対処する。
• 会話型 AI: この枠組みは、チャットボットが回答する前に曖昧さを解消するために十分な確認質問を行うことを保証する。結果は、より高い $\gamma$ がより多くの確認につながるトレードオフを示すが、システムは可能な最大数の質問をデフォルトで行うわけではないことを示した。
• エージェント型 AI: ウェブベースのタスク（WebVoyager データセット）において、Conf-Gen は、選択されたエージェントの軌跡のシーケンスが、確率 $\gamma$ で少なくとも 1 つの成功する解決策を含むことを保証する。
• ランダムフォレスト: この枠組みは、最小限の正しい予測数を保証するランダムフォレストからの部分木を選択することで教師あり学習に適用され、生成モデルを超えた手法の一般性を示した。

意義と主張

本論文は、Conf-Gen が生成モデルにおける不確実性定量化の改善に向けた重要な一歩であると主張する。CRC の理論的仮定を緩和することで、真のラベルや厳密な単調性が存在しないタスクを含む、より広範な生成タスクに共形保証を適用可能にする。

著者は、この研究が、生成された画像が記憶されていないことを保証したり、AI エージェントが十分な確認質問を行ったことを検証したりするなどの新しい共形応用の基盤を確立していると強調している。これらの改善は AI システムの信頼性を高め、安全性が重要なアプリケーションでの展開を促進する可能性があるとしている。論文は、社会的影響については控えめなトーンを維持しており、UQ は信頼性を向上させる可能性がある一方で、悪意のある応用を強化する可能性もあることを認めつつも、正味の影響はプラスであると予想している。

この研究は、すべての UQ 課題を解決するものではなく、既存のアプローチを統合し、生成 AI の時代における厳密な不確実性制御のための新たな道を開く、柔軟で理論的に裏付けられた枠組みを提供するものである。