技術的概要：MIRA – 条件付き分布の精度とモデル比較のためのスコア

問題定義

生成モデル、特に条件付き生成モデルは、高次元空間において著しく進展し、コンピュータビジョン、医療、創薬、科学的推論（物理学や地球科学など）において応用されています。しかし、これらのモデルの精度を評価することは依然として重要な課題です。周辺分布を評価する既存の手法は通常、密度評価を必要とする尤度ベースの手法と、生成されたサンプルを真のデータと比較するサンプルベースの手法の 2 つのカテゴリーに分類されます。

条件付き分布 $p(y|x)$ において、利用可能な情報が結合サンプル $(x, y) \sim p(x, y)$ のみである場合、現在の手法は重大な制限に直面しています：

1. カバレッジ確率テスト: TARP などの手法は精度のための十分条件を提供しますが、モデルのランキングを定量的に解釈することが困難なカバレッジプロットに依存しています。
2. 確率積分変換（PIT）とシミュレーションベース較正（SBC）: これらは高次元出力に苦しむことが多く、結合相関を無視するか、あるいは広範な計算リソースと多数の基準サンプルを必要とします。
3. 2 標本テスト（例：C2ST、MMD）: これらは通常、候補分布と真の分布の両方から複数の独立同分布（i.i.d.）サンプルを必要とします。多くの科学的設定では、各観測 $x^*$ に対して単一の真実の実現 $y^*$ しか利用できないため、これらの手法は互換性がありません。
4. ベイズモデル比較: ベイズ因子による直接比較は、特に高次元パラメータ空間において、扱いにくい証拠計算を伴うことがよくあります。

対処される核心的な問題は、観測ごとの複数の真実サンプルや扱いにくい尤度計算を必要とせず、真のデータ生成過程からの結合サンプルのみを使用して候補条件付き分布の精度を評価できるサンプルベースのスコアの必要性です。

手法：Mira スコア

著者は、2 つの分布がすべての測定可能な領域に等しい確率質量を割り当てるときにのみ一致するという原理に基づいたフレームワークであるMira（Mass In Random Areas）を導入します。

中核概念

Mira は、ランダムな中心 $c$ と、候補分布 $p(y|x, M)$ から抽出されたランダムな候補サンプル $y_r$ までの距離によって決定される半径によって定義される、出力空間 $Y$ 内のランダムな領域 $R$ を構築します。
$$R = \{y \in Y \mid d(y, c) \leq d(y_r, c)\}$$
ここで、$d$ は距離尺度であり、$c \sim p(c)$ は空間上の分布です。

与えられた観測 $x^*$ と、単一の真実サンプル $y^* \sim p(y|x^*, M^*)$ に対して、この手法は以下の数を数えます：

• $n$: 候補サンプル $\{y_j\}_{j=1}^N \sim p(y|x^*, M)$ のうち $R$ 内に含まれるものの数。
• $k$: $y^* \in R$ ならば $k=1$、そうでなければ $k=0$ となる指示変数。

理論的導出

候補分布が真の分布と一致する（$M = M^*$）という帰無仮説の下で、著者はランダムな領域 $R$ に割り当てられる確率質量 $\lambda_n$ が$[0, 1]$ 上の一様分布に従うことを証明しています。この性質により、$n$ 個の候補サンプルが $R$ 内にあるという条件の下で、真のサンプルが $R$ 内にある確率を表すMira 統計量 $p(k|n)$ の導出が可能になります。

ラプラスの継承則を用いて、統計量は以下のように導出されます：
$$p(k|n) = \frac{n+1}{N+2} \mathbb{1}(k=1) + \frac{N-n+1}{N+2} \mathbb{1}(k=0)$$

Mira スコア $\mu_{Mira}(M)$ は、すべての確率源（領域、観測、サンプル）にわたるこの統計量の期待値として定義されます。

理論的性質

この論文は、正しく指定されたモデルに対していくつかの重要な理論的量を確立しています：

1. 漸近分布: $N \to \infty$ において、Mira 統計量は分布収束し、Beta(2, 1) 確率変数に収束します。
2. 期待スコア: 完全に較正されたモデルに対するスコアの理論的平均は2/3です。
3. 不確実性: 理論的分散は1/18に収束します。
4. 下限: スコアは1/2で下限が定められており、候補分布と真の分布のサポートが互いに排他的である場合に近づきます。

これらの性質により、Mira は精度の点推定だけでなく理論的不確実性の推定も提供し、証拠計算なしに直接モデル比較を可能にします。

主要な貢献

1. Mira の提案: 観測ごとの複数の真実サンプルを必要とせず、真のモデルからの結合サンプルのみを使用して条件付き分布の精度を定量化するための新しいフレームワーク。
2. 理論的基盤: Mira 統計量とそのモーメントの閉形式式の導出、正しく指定されたモデルに対する理論的基準値（2/3）と不確実性の境界の確立。
3. 実用的応用: 3 つの異なるタスクにおける Mira の有効性の実証：
   • 条件付き生成モデルの品質評価。
   • ベイズ推論における事後分布の精度評価。
   • 高次元設定におけるベイズモデル比較。

実験結果

著者は、玩具問題から複雑な物理シミュレーションに至るまでの一連の実験を通じて Mira を検証しました：

• 較正誤差の検出: 玩具推論タスクにおいて、Mira は正しい、過信、不信、および偏った分布を成功裡に区別しました。2/3 未満のスコアは過信または偏りを示し、2/3 超のスコアは不信を示します。
• 条件付き生成モデル: MNIST 上の条件付き変分オートエンコーダ（CVAE）と条件付き拡散モデルを比較した際、Mira は CVAE（スコア $\approx$ 0.56）と比較して拡散モデルを優れていると正しくランク付けしました（スコア $\approx$ 2/3）。この発見は TARP カバレッジプロットによって裏付けられました。
• ベイズモデル比較（重力レンズ効果）:
  • 尤度の不一致: Mira は、間違ったレンズタイプやソース数を持つ候補の中から、真の物理モデル（EPL レンズ + 3 つの Sérsic ソース）を正しく識別し、TARP 曲線が曖昧な場合に明確なランキングを提供しました。
  • 事前分布とノイズのシフト: 高次元ソース再構成タスク（64x64x3 の画像）において、Mira は事前分布とノイズレベルの不一致を検出し、真のサンプル数が限られていても（$L=16$）、モデルを正しくランク付けしました。
• 既存の指標との比較:
  • Mira は、低次モーメントを保持する分布のシフト（例：重尾摂動や回転した事後分布）を検出する際、標準的な 2 標本テスト（MMD、Wasserstein、C2ST）を上回ります。
  • 高次元結合相関に苦しむ SBC と異なり、Mira はフル空間でネイティブに動作します。
  • Mira はベイズ因子のスケーラブルな代替手段を提供し、証拠が扱い可能な玩具問題では強い一致を示しつつ、証拠が扱い不可能な場合でも適用可能です。

意義と主張

この論文は、Mira が条件付き分布の精度の評価とベイズモデル比較のためのスケーラブルでサンプルベースの代替手段を提供すると主張しています。その意義は以下の点にあります：

• 扱いにくい計算の回避: 頻繁に扱い不可能となる周辺尤度（証拠）を計算することなく、高次元パラメータ空間におけるモデル比較を可能にします。
• 単一真実制約への対応: 科学的シミュレーションにおいて一般的な制約である、観測ごとの真のデータの単一実現のみが利用可能な設定に独自に適しています。
• 解釈可能性: スコアは、既知の理論的基準（2/3）と不確実性を持つスカラー指標を提供し、モデルの直接ランキングと特定の失敗モード（過信/不信）の診断を可能にします。
• 頑健性: 感度分析は、Mira が次元数、サンプル数、距離尺度、中心分布の変化に対して頑健であることを示しています。

著者は、Mira を既存のすべての診断手法の代替としてではなく、特に高次元、サンプル制限、尤度フリー推論シナリオにおける現在の手法の特定のギャップに対処する補完的なツールとして位置付けています。