技術概要：PASC（パイプライン意識型コンフォーマル予測）

1. 問題定義

現代の NLP および大規模言語モデル（LLM）システムは、ますます多段階パイプライン（例：固有表現認識 $\to$ 実体曖昧性解消 $\to$ 実体分類、またはプランナー $\to$ ツール $\to$ 批評家チェーン）として展開されるようになっています。これらのシステムにおける重要な課題は、エンドツーエンド（E2E）の不確実性定量化です。

個々の段階は、周辺カバレッジ保証（例、$P(\text{stage}_k \text{ covered}) \ge 1-\alpha$）を提供するように較正可能ですが、これらの保証はパイプライン全体には適用されません。

• 独立較正: 各段階をレベル $1-\alpha$ で独立して較正すると、（独立性の下で）結合カバレッジ確率は最大でも $(1-\alpha)^K$ となり、段階数 $K$ が増加するにつれて著しく劣化します。$K=3$ で $\alpha=0.1$ の場合、結合カバレッジは約 72.9% に低下し、目標である 90% を大きく下回ります。
• ボンフェローニ補正: 各段階を $1-\alpha/K$ で較正することで結合カバレッジ（$\ge 1-\alpha$）を保証する連合上限（union bound）を適用することは、過度に保守的です。これは、段階の難易度に関わらず誤差予算を均等に配分するため、容易な段階で不必要に大きな予測セット（過剰カバレッジ）を生み出し、結合信頼性の向上に見合った利益をもたらしません。
• 既存の代替手法: MC ドロップアウトやディープアンサンブルなどの手法は、ヒューリスティックな不確実性推定を提供しますが、有限サンプルかつ分布フリーの保証は欠いており、かつ段階間の依存関係を無視することが多いです。

核心的な問題は、効率性（すなわち、予測セットサイズを不必要に増大させないこと）を維持しつつ、パイプライン全体に対して形式的な、有限サンプルの、分布フリーの結合カバレッジ保証を提供する手法が存在しないことです。

2. 手法：PASC

著者らは、多段階結合較正問題を標準的なスカラーコンフォーマル予測問題に帰着させる手法である**PASC（Pipeline-Aware Split Conformal）**を提案します。

重要な洞察

「すべての $K$ 段階が同時にカバレッジされる」という事象は、数学的に「すべての段階にわたる非適合スコアの最大値がしきい値を超えない」という事象と等価です。
$$\bigcap_{k=1}^K \{s_k \le q\} \iff \left\{ \max_{k} s_k \le q \right\}$$
ここで、$s_k$ は段階 $k$ の非適合スコアです。

アルゴリズム

1. スコア定義: パイプラインサンプルに対して、段階ごとの非適合スコア（$s_1, \dots, s_K$）を計算します。
   • NER: $s_{NER} = \max_t (1 - p_{BIO, t})$（ソフトマックス確率）。
   • NED: $s_{NED} = 1 - \text{score}(e^*)$（トップランクの実体スコア）。
   • 実体分類: $s_{typing} = 1 - \max_c \min_{\text{span}} p_{RoBERTa}$。
2. 結合最大スコア: 各サンプルに対してスカラーの最大スコアを計算します：$s_{\max} = \max_k s_k$。
3. 較正: 較正セットを用いて、レベル $1-\alpha$ における $s_{\max}$ の分布のコンフォーマル分位点 $\hat{q}$ を計算します。
4. 予測: テスト入力に対して、段階ごとのスコアを計算します。$s_{\max} \le \hat{q}$ である場合、パイプラインは受理されます。各段階 $k$ の予測セットは $C_k(x) = \{y_k : s_k(x, y_k) \le \hat{q}\}$ です。

理論的保証

較正データとテストデータの間の交換可能性を仮定すると、PASC は有限サンプルかつ分布フリーの保証を提供します：
$$P\left( \bigcap_{k=1}^K \{s_k(x_{n+1}, y_{k,n+1}) \le \hat{q}\} \right) \ge 1 - \alpha$$
この保証はほぼタイトであり、$1 - \alpha + \frac{1}{n+1}$ で上から抑えられます。最悪ケースの連合上限を用いるボンフェローニ法とは異なり、PASC はスコアの経験的結合分布に適応し、「容易な」段階（低いスコア）にはより厳格な予算を、「困難な」段階には緩い予算を自動的に割り当てます。

3. 主要な貢献

1. PASC アルゴリズム: 多段階結合カバレッジを、結合最大非適合スコア上の単一スカラー分位点計算に帰着させる、パイプライン意識型の較正手順。
2. 形式的保証: 交換可能性の下での有限サンプルかつ分布フリーの結合カバレッジ（$\ge 1-\alpha$）を証明する定理と、そのタイトさの結果。
3. 包括的な評価: 3 つのシフトシナリオ（在分布、Twitter NER、Wikipedia NER）にわたる実験、異なる較正サイズ、および $K=1$ から $K=6$ 段階へのスケーリング。
4. 健全性チェック: 実装エラー、データリーク、または過度に広範なしきい値によるアーティファクトではないことを確認するための置換テストとネガティブコントロール。

4. 実験結果

著者らは、CoNLL-2003、WNUT-17、WikiNEuRal データセットを使用して、3 段階パイプライン（NER $\to$ NED $\to$ 実体分類）上で PASC を評価しました。

• カバレッジ対効率: $\alpha=0.1$ で $K=3$ の場合：
  • PASC: 96.4% の E2E カバレッジを達成。
  • ボンフェローニ: 93.4% の E2E カバレッジを達成。
  • 独立 CP: 86.5% の E2E カバレッジを達成。
  • 重要なのは、 すべての手法が平均予測セットサイズ 1.083 を同一に維持しており、PASC がカバレッジ確率をセットサイズに変換する際の優れた効率性を示していることです。
• 分布シフト: CoNLL-2003 で較正し、シフトしたドメイン（WNUT-17、WikiNEuRal）でテストした場合：
  • 独立 CP は 59.0% のカバレッジに崩壊しました。
  • PASC とボンフェローニは、シフトに対するバッファを提供する保守的なしきい値により、100% のカバレッジを維持しました。
• $K$ 段階へのスケーリング: $K=6$ までスケーリングする合成実験において：
  • 独立 CP のカバレッジは 0.53 に低下しました（乗法的崩壊）。
  • PASC は目標カバレッジの付近を維持し、乗法的減衰を回避しました。
• 条件付きカバレッジ: PASC は「困難な」部分集団（例：最も困難な NER 信頼度 5 分位点）において顕著な利点を示し、ボンフェローニの 67.0% や独立 CP の 30.0% に対して 82.0% のカバレッジを達成しました。
• 実行時間: PASC の較正は、$K$ 個の分位点ではなく 1 つの分位点のみを計算する必要があるため、ボンフェローニおよび独立 CP よりも 1.7 倍高速です。

5. 意義と主張

本論文は、PASC が多段階 NLP システムの展開における根本的なギャップを埋めると主張しています：

• 直接認証: 局所的な段階は認証するがグローバルには失敗する独立 CP や、グローバルには保証するが「保守性税」を支払うボンフェローニとは異なり、PASC は**実際の展開対象事象（結合受理）**を直接認証します。
• 最小帰着: 多段階問題からスカラー問題への帰着は数学的に単純（最大値の使用）ですが、結合受理事象に対する最小十分な単調スカラー化を表しています。
• 実用的適用性: この手法は、モデル変更や重い推論オーバーヘッドを必要とせず、任意の多段階パイプライン（複合 LLM システムやエージェントワークフローを含む）に即座に適用可能です。
• 頑健性: 理論的保証は交換可能性に依存しますが、経験的結果は、PASC が独立 CP よりも分布シフト下でカバレッジを維持することを示唆しています。ただし、著者は、頑健なシフト処理のための重み付き CP への拡張は将来の課題であると指摘しています。

著者らは、PASC を段階固有の較正の代替手段ではなく、パイプライン全体の出力の信頼性を保証するために必要な集約層として位置づけています。これは、高リスクアプリケーションにおける下流の意思決定にとって重要となる指標です。