技術要約：事後分布の不確実性を可視化・説明するための分散デルタ（Variance Deltas）

問題提起

制御不能で複雑なデータ生成プロセスを伴う観測的設定において、関心のある量に関する統計的な不確実性は、実質的な推論を許容するには高すぎる場合が多い。一般的な原因としては、データの不足、不適切なデータ型、あるいは識別されていない妨げとなるパラメータ（nuisance parameters）などが挙げられる。データの収集や事前情報の導入といった救済策は存在するものの、「不確実性を減少させるために具体的にどのような情報が欠けているのか」を特定することは困難である。既存の可視化ツール（ヒストグラムや散布図など）は、ベイズ推論に内在する多層的な変動と不確ことが捉えきれないことが多い。さらに、不確実性の説明を見つけ出す作業は、現在のツールではどの未観測のモデル量やパラメータのサブセットが事後分布の不確実性に最も責任を持っているかを自動的に特定できないため、手動のモデル分析と多大な推測を必要とする。

手法

本論文では、ベイズの枠組みにおける事後分布の不確実性の説明を探索することを構造化し、部分的に自動化するために設計されたインタラクティブな可視化システムである「分散デルタ（variance deltas）」を提案する。本システムは、ソフトウェアパッケージ variance-deltas として実装されている。

コア概念

1. 不確実性指数 ($U^2_I$): 本システムは、未知数のサブセット $\psi_I$ （ここで $I \subseteq I^* \setminus \{i_\theta\}$ ）が関心のある量 $\theta$ に対して持つ説明力を定量化する。この指数は、$\psi_I$ が与えられたときの $\theta$ の期待事後分散を、全事後分散で正規化したものとして定義される：
   $$U^2_I = \frac{E[\text{Var}(\theta \mid y, \psi_I) \mid y]}{\text{Var}(\theta \mid y)}$$
   低い $U^2_I$ は、$\psi_I$ を観測することが $\theta$ に関する不確実性を大幅に減少させることを示している。これは、条件付き平均 $E[\theta \mid y, \psi_I]$ の $\psi_I$ に対する感度を測るソボル指数（Sobol' index）に関連している。

2. 分配ツリー（Distributary Trees）: 可視化は、関心のある量 $\theta$ を根（ルート）とするツリーの形式をとる。非ルートのノードは、未知数のサブセット（説明）を表す。ツリー構造は、モデルの因子分解から導出される条件付き独立関係をエンコードしている。根から葉へのパスはマルコフ連鎖を表し、情報の減衰を反映している。ノードの水平位置は、そのルートの不確実性指数（標準偏差スケール）に対応している。

3. 構築アルゴリズム:

   • 因子分解とグラフ: 本手法は、一連の因子 $F$ にわたる事後密度の因子分解を利用する。頂点はモデルの各量、エッジは依存関係を表す因子グラフ（$G_F$）およびマルコフグラフ（$M_F$）が構築される。
   • 特異性尺度: 「すべて（すべてのデータ）」といった過度に広範な説明を避けるため、本システムは「尤度特異性（likelihood specificity）」という尺度を用いる。これは、未知数の集合と因子グラフにおける尤度因子との距離を測定するものである。尤度因子に関連する小さな集合の未知数を含む説明は、より特異的で有用であるとみなされる。
   • ツリー生成: アルゴリズム1を用いて、システムは根（$\theta$）から葉（仮説的なデータまたは特定のパラメータ）に至るマルコフ連鎖を、マルコフ条件を満たす**分離集合（separating sets）**を反復的に見つけることで構築する。その後、アルゴリズム2によって、これらの連鎖を単一の分配ツリーへと接合する。
   • 推定: 不確実性指数は、過学習バイアスを避けるためのデータ分割戦略を用いて、事後サンプルから推定される。条件付き期待値 $E[\theta \mid \psi_I]$ の推定には、ランダムフォレスト回帰が使用される。

4. インタラクティブな操作: ユーザーは以下の操作を通じて、より良い説明を発見するためにツリーをインタラクティブに変形させることができる：

   • 分岐（Branching）: ノードの未知数のサブセットを追加し、より小さな集合がほぼ同等の説明力を持つかどうかをテストする。
   • 細分化（Subdividing）: 中間ノードを挿入することで、親ノードと子ノードの間の不確実性のギャップを分割する。
   • 結合（Merging）: 2つの説明の和集合が、不確実性減少のギャップを埋めるかどうかをテストするために、ノードを結合する。

主な貢献

• 説明の自動発見: 最小限のユーザー入力（根と葉のノード）から、未知数の候補となるサブセットを自動的に生成し、不確実性の説明能力に基づいてそれらをツリー状に整理する。
• インタラクティブな探索: 分岐、細分化、結合といった一連の操作を提供することで、ユーザーが手動の推測に頼ることなく、潜在的な説明の空間を効率的にナビゲートできるようにする。
• 理論的基盤: 本論文は「分配ツリー」の数学的特性を確立し、それらが有効なマルコフ連鎖の性質を維持していること、および構築アルゴリズムが有効な分離ツリーを生成することを証明している。
• ソフトウェア実装: 著者らは、図の再現や新しいモデルへの適用を可能にするRパッケージ variance-deltas を提供している。

結果と応用

著者らは、以下の2つのケーススタディを通じてシステムの有用性を実証している。

1. シミュレーションによる因果推論（パネルデータ）:

   • 文脈: 合成コントロール設定におけるパネルデータを用いた、処置効果の推定。
   • 発見: 分散デルタは、個々のユニットはほとんど情報を提供しない一方で、特定のユニット（1、2、3）からの仮説的なデータを組み合わせることで、不確実性が大幅に減少することを示した。
   • 洞察: 分析の結果、主要なボトルネックはデータの量ではなく、処置ユニットとコントロールユニット間の**潜在的な相関（ローディング）**に関する不確実性であることが明らかになった。これらのローディングを正確に知ることで、期待される不確実性は元のレベルのほぼ4分の1まで減少する。

2. 世論調査モデル（2016年米国大統領選挙）:

   • 文脈: 複数のバイアス源（調査員効果、モード効果、無回答など）を持つ複雑な動的ベイズモデルを用いた、ウィスコンシン州における民主党の得票率予測。
   • 発見: システムは、選挙の1週間前に追加の調査を実施しても、予測精度にほとんど改善が見られないことを突き止めた。
   • 洞察: 不確実性は主に**州レベルの測定誤差（$\xi$）**と時間的な外挿の不確実性によって駆動されていた。分析によれば、たとえバイアスパラメータを完全に把握できたとしても、選挙当日の結果を事前データから完全に予測することは不可能であるため、かなりの部分の不確実性が残る。しかし、新しい調査と州レベルの測定誤差に関する情報を組み合わせることで、不確実性を大幅に減少させることができる。

意義と限界

本論文は、分散デルタが静的な事後分布の可視化を超えて、非自明な説明を能動的に「発見」するための新しい方法を提供すると主張している。不足している情報の探索を構造化することで、本手法は、さらなるデータ収集が実現可能であるか、あるいはモデル自体を再考する必要があるか（例：識別性の問題への対処）をアナリストが判断するのを助ける。

著者らは、以下のような限界についても謙虚に述べている：

• グラフの密度: 本手法の有効性は、基礎となるマルコフグラフの疎性（sparsity）に依存する。非常に密なグラフ（例：大規模な回帰モデル）では、結果として得られるツリーが極端に浅くなったり、説明集合が大きくなりすぎたりする場合がある。
• 近似: 本手法は、回帰（ランダムフォレスト）による条件付き期待値の推定に依存しており、推定量の平均二乗誤差が消失しない場合にはバイアスが生じる可能性がある。ただし、データ分割戦略により、推定量は保守的（不確実性の減少を過大評価するのではなく、過小評価する傾向にある）になることが保証されている。
• グローバルパラメータ: いくつかの高度に連結された「グローバル」な頂点を持つ「ほぼ疎な」グラフに対して、著者らはこれらの頂点を条件付ける理論的な拡張（アルゴリズム3）を提案しているが、実用的な実装における課題は依然として残っている。

本研究は、より広いベイズ・ワークフローおよび感度分析の文献の中に位置づけられ、単なる可視化や診断チェックではなく、不確実性の「説明」に焦点を当てることで、shinystan や bayesplot といったツールを拡張するものである。