技術要約：Conformal Cascade (コンフォーマル・カスケード)

問題提起

大規模言語モデル（LLM）をスケールアップしてデプロイするには、推論の品質とコストの間のトレードオフを解決する必要がある。LLMカスケードは、まず小型で安価なモデルにクエリをルーティングし、必要に応じてのみ、より大規模で高性能なモデルへとエスカレーションを行うことで、この問題に対処する。しかし、現在のプロダクション環境におけるカスケードは、信頼度閾値（例：softmax確率、自己一貫性の合意度）に依存している。これらのアプローチには、以下の3つの決定的な限界がある：

1. 誤校正（Miscalibration）： LLMの信頼度スコアは、特に推論を伴うタスクにおいて著しく誤校正されており、高い信頼度が必ずしも正解と信頼できる相関関係にあるわけではない。
2. 形式的な保証の欠如： いかなる信頼度閾値 $\theta$ の設定も、分布に依存しない（distribution-free）カスケードの精度に関する形式的な境界を提供しない。実現されるエラー率は、クエリと信頼度の未知の結合分布に依存する。
3. チューニングのオーバーヘッド： 実務者は、目標とするエラー率を満たすために、新しいモデルペア、ドメイン、または難易度の分布ごとに、経験的に閾値をスイープ（探索）しなければならない。なぜなら、目標とするエラー予算から閾値の値への解析的なマッピングが存在しないためである。

手法：Conformal Cascade (CC)

著者らは、信頼度閾値の代わりにコンフォーマル予測集合（conformal prediction sets）を用いるマルチティア（多層）推論フレームワークであるConformal Cascade (CC) を提案する。コアとなるメカニズムは以下の通りである。

1. 非適合度スコアリング（Nonconformity Scoring）

CCは、生の信頼度スコアを使用する代わりに、自己一貫性デコーディングから導出された頻度ベースの非適合度スコアを利用する。あるティア $k$ とクエリ $x$ に対して、モデルは $N$ 個の独立したサンプルを生成する。有限な回答集合 $A(x)$ 内の各候補回答 $a$ について、スコアは次のように定義される：
$$s_k(x, a) = 1 - \frac{|\{i : \hat{y}^{(k)}_i = a\}|}{N}$$
頻繁にサンプリングされる回答は低いスコア（高い適合度）を受け取り、稀な回答は高いスコアを受ける。このアプローチは、ブラックボックスAPIアクセスのみを必要とし、自己一貫性のために生成されたサンプルを再利用する。

2. ティアごとの校正（Per-Tier Calibration）

保持された校正セット $D_{cal}$ を用いて、ユーザーが指定したミスカバー率 $\alpha$ を満たすように、各ティア $k$ の閾値 $\hat{q}_k$ が計算される。閾値は、校正データにおける非適合度スコアの $(1-\alpha)$ 分位点として設定される。新しいクエリに対する予測集合は以下の通りである：
$$C_k(x) = \{a \in A : s_k(x, a) \leq \hat{q}_k\}$$
分割コンフォーマル予測（split conformal prediction）の特性により、この集合は、真の回答が確率少なくとも $1-\alpha$ で $C_k(x)$ に含まれることを保証する（周辺被覆）。

3. 委譲ルール（Deferral Rule）

委譲の決定は、信頼度の値ではなく、コンフォーマル予測集合のサイズによって駆動される：

• 受理（Accept）： 集合のサイズ $|C_k(x)| \leq \kappa$ （ここで $\kappa \geq 1$ は受理パラメータ、デフォルトは $\kappa=1$）である場合、カスケードは集合内の最も頻度の高い回答を採用する。
• 委譲（Defer）： $|C_k(x)| > \kappa$ である場合、クエリは次のティアへとエスカレーションされる。
• フォールバック（Fallback）： 最終ティアがサイズ $\leq \kappa$ の集合を生成できなかった場合、カスケードは最終ティアのサンプルから最も頻度の高い回答を返す。

決定的なことに、委譲自体がエラーを引き起こすことはない。エラーは「受理」した時にのみ発生する。この構造により、各ティアの保証をカスケード全体の保証へと合成することが可能になる。

主な貢献

1. 理論的枠組み： 著者らは、任意の $K$ 個のティアに対してCCを定式化し、カスケードレベルの被覆境界（定理2）を証明した。最悪の場合、カスケードが誤った回答を受理する確率は $K\alpha$ によって抑えられる。「選択保存（selection-preservation）」条件（仮定3）の下では、これは $\alpha$ にタイト化される。
2. コストと精度の特性付け： 本論文では、期待推論コストを $\alpha$ と校正セットの受理率の関数として表す閉形式の式（定理4）を導出している。これにより、実務者はエラー予算と計算コストを明示的にトレードオフすることが可能になる。
3. 実証的検証： 18の多肢選択式ベンチマーク（科学、医学、常識、試験を網羅）および4つのオープンウェイトモデルファミリー（Llama, Gemma, Ministral, Phi）にわたる広範な評価により、CCがほとんどのモデル・ベンチマークの組み合わせにおいて、最強の校正調整済みヒューリスティック・カスケードを厳密に上回ることが示された。

実験結果

• 精度の向上： CCは、多数決、エントロピー、およびランダムな委譲戦略を含む最良のヒューリスティック・ベースラインに対し、72のモデル・ベンチマークの組み合わせのうち49において勝利した。最も顕著な利得は、多数決が信頼できない推論重視のベンチマーク（例：GPQA-Diamond, MathQA, MedMCQA）で見られた。例えば、Phi/GPQA-Diamondにおいて、CCは+4.3パーセントポイントの利得を達成した。
• 効率性： 小型のモデルが信頼できる容易なベンチマークでは、CCは精度の損失なしに大多数のクエリを小型モデルに割り当てるため、常に委譲する場合や常に強力なモデルを使用する場合と比較して、期待推論コストを大幅に削減できる。
• 被覆保証： 実測されたミスカバー率は、厳密な $\alpha$ と最悪のケースである $K\alpha$ の境界の間に概ね収まっている。例えば、$\alpha=0.10, K=2$ の場合、観測されたミスカバー率はしばしば0.10に近く、理論的な0.20の境界内に留まっていた。
• パレート・フロンティア： CCは、コストと精度のパレート・フロンティアにおいてヒューリスティック手法を圧倒している。受理パラメータ $\kappa$ を調整することで、コンフォーマル保証を維持しながら、固定された信頼度閾値では達成不可能な、より安価な運用ポイントを実現できる。

意義と主張

本論文は、Conformal Cascadeが、マルチティアLLM推論における最初の分布に依存しない、有限サンプルでの精度保証を提供すると主張している。誤校正された信頼度スコアに依存し、デプロイごとに広範なチューニングを必要とする従来の手法とは異なり、CCは以下を提供する：

• 解釈可能性： ハイパーパラメータ $\alpha$ は、ユーザーのエラー予算に直接対応している。
• ブラックボックス互換性： モデルのトレーニングやログ確率へのアクセスを必要とせず、標準的なAPIサンプリングのみで動作する。
• 堅牢性： 信頼度スコアの再スケーリングを試みるのではなく、集合レベルの被覆を制限することで、校正問題を効果的に処理する。

著者らは、現在のメソッドが有限かつ抽出可能な回答集合（例：多肢選択式）を持つタスクに限定されていることを指摘している。回答のクラスタリングによる自由記述生成への拡張は、今後の課題として特定されている。また、保証は（データ分布に対する）周辺的なものであり、クエリの難易度に対する条件付きのものではないこと、およびフレームスワークは校正データとテストデータの間の交換可能性を仮定しており、共変量シフトに対してオンラインでの再校正が必要であることを述べている。