技術要約：認識的不確実性と偶然的不確実性の構造的分離

1. 問題提起

予測的不確実性は、伝統的に認識的不確実性（Epistemic Uncertainty: EU）（減少可能なモデルの無知）と偶然的不確実性（Aleatoric Uncertainty: AU）（持続的なデータの曖昧さ）に分解される。概念的にはこれらは区別されているものの、これらの量を推定するための標準的な手法は、これらを経験的に分離することに失敗することが多い。モンテカルロ・ドロップアウト、ディープ・アンサンブル、エビデンシャル・ネットワークといった手法は、いずれも同一の予測分布 $p(y|x)$ から両方の推定値を導出する。

これは「代数的な罠（algebraic trap）」を生み出す。なぜなら、EUとAUは共に同一の分布の関数であるため、共有された代数的依存性を継承してしまうからである。近年のベンチマークによれば、これらの成分はしばしば強い相関（$\rho \ge 0.78$）を示し、モデルが混乱している状態（高いEU）と、データ自体が本質的に曖昧である状態（高いAU）を区別することを不可能にしている。形式的な結果（例：Tomov et al., 2026）は、$p(y|x)$ の事後関数（post-hoc function）では、減少可能なエラーと本質的な曖昧さを一意に区別することはできないことを示唆している。すなわち、異なる潜在的な不確実性状態が、同じ最適な予測分布を誘発し得るのである。

2. 手法：構造的分離

本論文は、この代数的な結合を打破するための設計原理として、**構造的分離（structural separation）**を提案している。EUとAUを単一の予測オブジェクトから導出するのではなく、**教師あり潜在変数モデル（Supervised Latent Variable Models: SLVMs）内の互いに素なパラメータパス（disjoint parameter paths）**に割り当てる手法である。

コア・アーキテクチャ：クレダル・コンセプト・ボトルネック・モデル（Credal CBM）

主要な実装は、凍結されたエンコーダ（例：DistilBERT）上に構築されたクレダルCBMである。このアーキテクチャは、3つの直交するパラメータパスを導入する：

1. 平均パス ($\mu$): コンセプトの点推定値を予測し、タスクヘッドへと供給する。
2. 認識的ヘッド ($\sigma_{epi}$): 減少可能な予測エラーを追跡するように訓練される。これは互いに素なパラメータ集合 $\phi_{epi}$ によってパラメータ化され、予測エラー（勾配の停止によるゲーミングを防ぐためのストップグラディエントを含む）とハウスドルフKL正則化項によって監督される。
3. 偶然的ヘッド ($\sigma_{ale}$): 持続的なラベルの曖昧さを追跡するように訓練される。これは互いに素なパラメータ集合 $\phi_{ale}$ によってパラメータ化され、マルチアノテーターの不一致やコーパス由来の回答分布から導出される、グラウンドトゥルースのラベル分布のエントロピー（$H[\hat{p}^*]$）によって直接的に監督される。

主要なメカニズム

• 互いに素なパラメータ化: 認識的ヘッドと偶然的ヘッドは、重複しないパラメータ集合（$\phi_{epi} \cap \phi_{ale} = \emptyset$）を使用する。
• 直交射影: エンコーダの出力 $h$ は、直交する部分空間（$W_{epi}h, W_{ale}h$）へと射影され、これにより各ヘッドが重複しない特徴入力を受け取ることを保証する。
• 勾配の隔離: 学習損失は、$\phi_{epi}$ のみに依存する認識的損失（$L_{epi}$）と、$\phi_{ale}$ のみに依存する偶然的損失（$L_{ale}$）に分解される。著者らは、これらの条件下ではクロス勾配が等しくゼロになること（$\nabla_{\phi_{epi}} L_{ale} = 0$ および $\nabla_{\phi_{ale}} L_{epi} = 0$）を証明している（定理 3.3）。
• クレダル集合: モデルは、平均 $\mu$ と認識的共分散 $\Sigma_{epi}$ によって定義されるクレダル集合（確率分布の凸集合）としてコンセプトを表現し、偶然的分散 $\sigma_{ale}$ はクレダル集合の外側で別途モデル化される。

3. 主な貢献

1. 構造的分離原理: EUとAUを、事後の $p(y|x)$ の分解からではなく、個別の監督されたパラメータパスから計算するSLVMのためのフレームワークを導入した。
2. 勾配隔離定理: 互いに素なパラメータと分離された損失項を用いることで、EUとAUのヘッドが学習中に結合しないことを示す形式的な証明。
3. クレダルCBMの実装: 直交射影とハイブリッド損失関数を用いて、この分離を実現する具体的な実装としてのクレダル・コンセプト・ボトルネック・モデル。
4. 包括的な診断: 単なるデコリレーション（脱相関）だけでなく、意味的な妥当性をテストするための指標を導入し、検証した：
   • 勾配隔離: クロス勾配がゼロであることを検証。
   • 相関: $\rho(U_{epi}, U_{ale})$ を測定。
   • データスケーリングによる減少可能性: データが増加するにつれてEUが減少するかを確認。
   • 曖昧さの追跡: AUがグラウンドトゥルースの曖昧さ（$H[\hat{p}^*]$）と相関するかを確認。

4. 実験結果

本手法は、5つのベンチマーク（アノテーター由来の曖昧さを持つ3つのコンセプト・ボトルネック・データセット：CEBaB, HateXplain, GoEmotions、およびコーパス由来の曖昧さを持つ2つのQAデータセット：MAQA*, AmbigQA*）を用いて評価された。

• デコリレーション（脱相関）: 構造的分離により、標準的な手法（Deep EnsemblesやMC Dropout）で観察される $\rho \in [0.75, 0.84]$ というベースラインの範囲から、$\rho \approx 0.05$ までスペアマン相関係数を減少させた。明示的なデコリレーション・ペナルティ（$\lambda_d = 0$）を用いない場合でも、相関は低く（$\rho \in [0.12, -0.23]$）保たれ、「事後的なフロア（post-hoc floor）」を大幅に下回った。
• 意味的妥当性:
  • 偶然的追跡: 偶然的ヘッドはグラウンドトゥルースの曖昧さと強い相関を示したが（$\rho(\sigma_{ale}, H) \in [0.42, 0.74]$）、ベースラインははるかに弱い追跡しか示さなかった。
  • 認識的感度: 認識的ヘッドは予測エラーに対して感度を維持し、期待通りの減少可能性のシグネチャ（学習データが増えるにつれて勾配ノルムが減少する挙動）を示した。
• ダウンストリームでの有用性: 本手法は**象限ベースのルーティング（quadrant-based routing）**を可能にし、以下のケースを正常に識別した：
  • DATA（高EU、低AU）: より多くのデータを必要とするケース（例：不明瞭な事実）。
  • REVIEW（低EU、高AU）: 本質的な曖昧さゆえに人間によるレビューを必要とするケース（例：主観的な意見）。
    標準的なベースラインは、これらの異なるケースを対角線上に潰してしまい、運用上の意思決定を支援できなかった。
• 堅牢性: 結果は異なるエンコーダ・アーキテクチャ（DistilBERT, BERT, RoBERTa）間で一貫しており、Self-Explaining Neural Network (SENN) のインスタンス化においても裏付けられた。

5. 意義と主張

本論文は、教師あり潜在変数アーキテクチャが、単にデコリレーションされただけでなく、意味的に有効で意思決定に有用な不確実性推定を提供するための実践的な経路となると主張している。

• 不可能性の克服: 推定を（$p(y|x)$ の関数の領域である）出力空間から、（分離された勾配を持つ別個のヘッドという）パラメータ空間へと移行することで、事後の分解に適用される不可能性の結果を回避している。
• 運用の区別: 主要な意義は、単なる統計的なデコリレーションではなく、異なる意思決定をサポートできることにある。すなわち、高いEUはデータの追加やモデルの改善を、高いAUは棄却や人間によるレビューを促す信号となる。
• 限界: 著者らは、このフレームワークが（概念のような）教師あり潜在構造と（マルチアノテーター・データのような）曖昧さに関連する監督信号に依存していることを控えめに述べている。また、大規模なLLMへのエンドツーエンドのファインチューニングへのスケーリングには、分離を維持するための慎重な勾配ルーティングが必要になる可能性があること、および現在のベンチマークが比較的小規模で専用に作られたものであることを認めている。

要約すると、本論文は、構造的な分離と明確な監督ターゲットの組み合わせが、意味的に妥当で意思決定に役立つ不確実性推定を生み出すための、必要かつ効果的な条件であると論じている。