Credal Concept Bottleneck Models for Epistemic-Aleatoric Uncertainty Decomposition

以下は、論文「Credal Concept Bottleneck Models for Epistemic–Aleatoric Uncertainty Decomposition」の詳細な技術的サマリーです。

1. 問題定義

医療、法務、金融などの高リスク自然言語処理（NLP）アプリケーションにおいて、標準的なモデルは単一の信頼度スコアを出力しますが、これは 2 つの異なる種類の不確実性を混同しています。

• エピステミック不確実性（Epistemic Uncertainty）: モデルの無知や未指定性（例：十分な類似の訓練例に遭遇していない）に起因する、削減可能な不確実性。
• アレイトリア不確実性（Aleatoric Uncertainty）: 入力データに内在する曖昧さやノイズ（例：人間の注釈者がラベルについて真に意見が割れている）に起因する、削減不可能な不確実性。

既存アプローチの限界:

• 概念ボトルネックモデル（CBM）: CBM は中間的な人間が理解できる概念を予測することで解釈可能性を向上させますが、通常は**点確率（単一の値）**を出力します。これによりエピステミック不確実性とアレイトリア不確実性が圧縮され、予測が不確実である「理由」を特定することが不可能になります。
• 実行可能性のギャップ: 分解が行われない場合、実務家は、モデルがより多くの訓練データを必要とするケース（エピステミック不確実性が高い）と、入力の曖昧さにより人間のレビューが必要となるケース（アレイトリア不確実性が高い）を区別できません。

2. 手法：CREDENCE

著者らは、概念レベルで不確実性を構造的に分解するフレームワークであるCREDENCE（Credal Ensemble Concept Estimation）を提案します。

コアとなるアーキテクチャの革新

1. Credal 予測（区間）: 単一の確率 $p_k$ の代わりに、各概念 $k$ は確率区間 $[p_k, \bar{p}_k]$ として予測されます。この区間はCredal Setを表し、妥当な確率の範囲を捉えます。
2. 不確実性の構造的分離: エピステミック信号とアレイトリア信号が異なるソースから由来し、単一のスコアに圧縮されないよう、アーキテクチャが保証します。
   • エピステミック不確実性（$U_{epi}$）: アンサンブルの不一致から導出されます。モデルは、異なるランクとドロップアウト率を持つ $H$ 個の多様な軽量ヘッド（LoRA アダプター）を使用します。これらヘッドの予測の分散がモデルの混乱度を定量化します。
   • アレイトリア不確実性（$U_{ale}$）: 注釈者の不一致（曖昧さ）を予測するように特別に訓練された専用ヘッドから導出されます。このヘッドは、与えられた概念に対する人間ラベルの分散に比例する値を出力するように学習します。

パイプラインの段階

1. エンコーダ: フリーズされた事前学習モデル（例：RoBERTa、LLM）が入力テキスト $x$ を表現 $h$ にエンコードします。
2. アンサンブルヘッド: $H$ 個の多様な LoRA ヘッドが概念確率 $\hat{p}_h^{(k)}$ を予測します。
3. Credal 集約:
   • 区間の境界が形成されます：$C_k = [\min_h \hat{p}_h^{(k)}, \max_h \hat{p}_h^{(k)}]$。
   • エピステミック不確実性はヘッド間の分散として計算されます：$U_{epi}^{(k)} = \text{Var}_h[\hat{p}_h^{(k)}]$。
4. アレイトリアヘッド: 別のヘッドが $\sigma_\theta^{(k)}$ を予測し、訓練中に観測された注釈者の不一致率（グランドトゥルース）に一致するように訓練されます。
5. 分類と意思決定:
   • 最終的なラベルは、概念確率の平均を使用して予測されます。
   • 意思決定ルール: システムは分解された信号を用いてサンプルをルーティングします。
     • 信頼: エピステミック低、アレイトリア低 $\rightarrow$ 自動化。
     • データ収集: エピステミック高、アレイトリア低 $\rightarrow$ より多くの訓練データを収集。
     • 人間によるレビュー: エピステミック低、アレイトリア高 $\rightarrow$ 人間へルーティング（入力が曖昧）。
     • 棄却: エピステミック高、アレイトリア高 $\rightarrow$ 予測を拒否。

3. 主要な貢献

1. Credal CBM 定式化: 概念予測を点推定ではなく確率区間として表現する新しい CBM 変種。これにより、原理的な不確実性の定量化が可能になります。
2. 構造的分解: アンサンブル分散と教師あり曖昧さヘッドという異なるアーキテクチャコンポーネントを用いて、エピステミック（モデルの混乱）とアレイトリア（データの曖昧さ）の信号を分離する手法。これにより信号の圧縮を防ぎます。
3. 実行可能な処方的ガイダンス: 不確実性を分解することで、エピステミック誤りに対するデータ収集の優先化や、アレイトリアケースに対する人間レビューなど、具体的で最適化された介入が可能であることを実証しました。

4. 実験結果

このフレームワークは、CEBaB、GoEmotions、HateXplain、SST-2 などのデータセットを用いた複数の NLP タスク（感情分析、感情分類、毒性検出）で評価されました。

• 分解の有効性（RQ1 & RQ2）:

  • エピステミック相関: CREDENCE は、エピステミック不確実性と予測誤りの間に強い正の相関を示しました（CEBaB において $\rho_{epi} \approx 0.287$）。モデルが誤っている場合、アンサンブルヘッド間で不一致が生じます。
  • アレイトリア相関: アレイトリア不確実性は注釈者の不一致と強く相関しました（CEBaB において $\rho_{ale} \approx 0.785$）。これはベースライン（例：CBM+Ensemble の $\rho_{ale} \approx 0.356$）を大幅に上回ります。
  • 分離: 注釈者の不一致ラベルを持たない SST-2 において、アレイトリア不確実性は誤りとの相関を示さず、モデルの失敗ではなく曖昧さを測定していることを証明しました。

• 実行可能性（RQ3）:

  • 概念介入: 高アレイトリア不確実性を持つ概念をグランドトゥルースラベルに置き換えた場合、高エピステミック概念を置き換えた場合と比較して、精度向上が有意に大きくなりました（$\Delta Acc \approx 18.9\%$ 対 $\Delta Acc \approx 4.3\%$）。これは、モデルの混乱よりも曖昧な概念がタスクの結果をより強く駆動していることを示唆しています。
  • ルーティング効率: 4 象限の意思決定フレームワークは、モデルが実際には正しいが人間が意見が割れている「人間によるレビュー」ケース（エピステミック低、アレイトリア高）を特定し、適切にルーティングされた場合、最大の潜在的な精度向上（85.7%）を達成しました。

• 効率性: CREDENCE は、完全なディープアンサンブルと比較して最小限のオーバーヘッド（LoRA アダプターの使用）でこれらの結果を達成し、豊富な不確実性信号を提供しながら競争力のある精度を維持しています。

5. 意義と影響

• 理論と実践の架橋: 本論文は、理論的な不確実性の定量化を超えて、処方的なアクションを提供します。実務者に、不確実性の種類に基づいて「何をすべきか」（例：「データを収集する」対「人間に送る」）を伝えます。
• 主観性の扱い: 「グランドトゥルース」がしばしば争われた人間の判断の複合体（主観性）となる NLP タスクにおいて、モデルの無知と本質的な曖昧さを区別することは重要です。CREDENCE は、この区別を明示的にモデル化する最初の CBM フレームワークを提供します。
• 人間-AI 協働: 人間の判断が不可欠なケース（アレイトリアが高い）と、モデルが単に追加の訓練を必要とするケース（エピステミックが高い）を特定することで、人的リソースとデータ収集予算の配分を最適化します。
• 頑健性: この手法は、異なるモデルスケール（66M パラメータのエンコーダから 8B パラメータの LLM まで）および多様な NLP タスクにわたって一般化します。

要約すると、CREDENCE は、不確実性を単一の不透明な信頼度スコアから、構造化された実行可能な診断ツールへと変換し、高リスク環境における AI システムのより信頼性が高く効率的な展開を可能にします。