技術要約：離散的な二重に困難な問題に対する共役一般化ベイズ推論

1. 問題設定

本論文は、ベイズ推論における**二重に困難な問題（doubly intractable problems）**に対処している。これは、尤度と事後分布の両方が正規化されていない形式でのみ利用可能な、離散統計モデルにおいて一般的なシナリオである。具体的には、尤度 $p_\theta(x) = \tilde{p}_\theta(x)/Z(\theta)$ の正規化定数（分配関数）$Z(\theta)$ が、大規模または無限の状態で定義される総和のために、計算または効率的な近似ができない状況を指す。

標準的なベイズ推論では、事後分布は尤度と事前分布の積に比例する。しかし、$Z(\theta)$ が計算困難な場合、事後分布の正規化定数はデータとパラメータの関数となり、それ自体も計算困難となる。既存の解決策は通常、以下に依存している：

• 補助変数を用いたMCMC（例：Exchangeアルゴリズム）：これらは計算コストが高く、チューニングを必要とする。
• 近似手法（例：擬似尤度、変分ベイズ）：これらはバイアスや誤設定を導入する可能性がある。
• 離散フィッシャーダイバージェンス（DFD）（Matsubara et al., 2023）などのダイバージェンスを用いた一般化ベイズ推論（GBI）：DFD-Bayesは $Z(\theta)$ の計算を回避できるものの、共役事後分布を得ることはできない。その結果、依然としてMCMCサンプリングが必要となり、高次元における混合の遅さ、多峰性、および収束判定の必要性といった問題に直面する。

核心となる課題は、GBIの計算効率を維持しつつ、MCMCを不要にする（すなわち、閉形式またはギブス更新による共役性を実現する）離散的な困難なモデルのための手法を開発することである。

2. 手法

2.1 対数比マッチング（LRM）ダイバージェンス

著者らは、一般化事後分布を構築するための新しい統計的ダイバージェンスとして、**対数比マッチング（Log-Ratio Matching: LRM）**ダイバージェスを提案している。

• マッチング集合： データ点 $x$ に対して、近傍状態の有限集合 $M(x) = \{M_j(x)\}_{j \in J}$ を定義する。この集合は、データの構造（例：格子状のビット反転やカウントの増減）に基づいて構築される。
• 定義： データ生成過程 $q_0$ とモデル $p_\theta$ の間のLRMダイバージェンスは、モデルとデータの対数比の差の二乗期待値として定義される：
  $$D_{LRM}(q_0 \| p_\theta) = \mathbb{E}_{x \sim q_0} \left[ \frac{1}{|M(x)|} \sum_{x' \in M(x)} \left( \log \frac{p_\theta(x')}{p_\theta(x)} - \log \frac{q_0(x')}{q_0(x)} \right)^2 \right]$$
• 主要な特性： 標準的なダイバージェンスとは異なり、$D_{LRM}$ は正規化定数 $Z(\theta)$ に依存しない。なぜなら、比率 $p_\theta(x')/p_\theta(x)$ によって $Z(\theta)$ が相殺されるからである。
• 理論的妥当性： マッチング集合が状態空間上に連結グラフを誘導するという仮定の下で、$q_0 = p_\theta$ であることと $D_{LRM}(q_0 \| p_\theta) = 0$ であることは同値である。

2.2 LRM-Bayes 事後分布

LRMダイバージェンスを用いて、損失関数 $L_{LRM}(\theta)$ と、データ $\{x_i\}_{i=1}^n$ および推定された確率質量関数 $\hat{q}$（通常はラプラス平滑化による）に基づく推定量 $\hat{L}_{LRM}^n(\theta)$ を定義する。LRM-Bayes事後分布は次のように定義される：
$$\hat{\pi}_M^\beta(\theta; \{x_i\}) \propto \exp\left( -\beta n \hat{L}_{LRM}^n(\theta) \right) \pi(\theta)$$
ここで $\beta > 0$ はスケーリングパラメータである。

2.3 指数族に対する共役性

主要な理論的突破口は、$p_\theta(x) \propto \exp(\eta(\theta)^\top T(x) + B(x))$ という形式の離散指数型モデルに対して、LRM損失が自然パラメータ $\eta(\theta)$ に関して二次形式となることである。

• 損失の構造： $\hat{L}_{LRM}^n(\theta) = \eta(\theta)^\top \Lambda_n \eta(\theta) - 2\eta(\theta)^\top \nu_n + C$。
• 共役更新： 事前分布 $\pi(\eta)$ が指数二次形式（例：多変量ガウス分布）であれば、事後分布も多変量ガウス分布（パラメータ空間が制約されている場合は切断ガウス分布）となる。
• 計算上の含意： これにより、MCMCサンプリングを行うことなく、閉形式の推論（平均と共分散行列の計算）が可能になる。
• 部分的共役性： 損失がパラメータのサブセットに対してのみ二次形式であるモデル（例：自己回帰時系列やホースシュー事前分布を持つモデル）の場合、この手法はそれらのブロックに対して厳密なギブス更新を可能にし、標準的なアプローチと比較してMCMCの混合を大幅に加速させる。

3. 主な貢献

1. 新しいダイバージェンス： 正規化定数を回避し、指数型モデルに対して二次損失を誘導する**対数比マッチング（LRM）**ダイバージェンスの導入。
2. 共役一般化事後分布： LRM-Bayesが、離散的な困難な指数型モデルに対して共役事後分布を与えることを示したこと（これはDFDのような離散ダイバージェンスでは達成できなかった特性である）。
3. 計算効率： 高価なMCMCサンプリングを、閉形式の行列演算または高速なギブス更新に置き換えることで、計算時間を数桁削減する。
4. 理論的保証： 事後分布の一致性とベルンシュタイン＝フォン・ミーゼス定理の証明を行い、緩やかな正則条件の下で、LRM-Bayes事後分布が漸近的にガウス分布となり、真の損失の最小値に集中することを示した。
5. 柔軟性： 本フレームワークは、複雑な事前分布（例：ホースシュー、スパイク・アンド・スラブ）や時系列モデルに対する部分的共役性をサポートしており、特定のパラメータブロックに対する厳密な更新を可能にする。

4. 実験結果

本手法は、いくつかの困難な離散的困難モデルを用いて評価された：

• 単変量コンウェイ・マクスウェル・ポアソン（CMP）モデル：
  • LRM-Bayesは、標準的なMCMCおよびDFD-Bayesとほぼ同一の事後分布信頼領域を生成した。
  • 速度： 中程度のサンプルサイズにおいて、LRMはDFD-Bayesよりも100倍以上速く、標準的なMCMCよりも20倍以上速かった。
• 多変量CMPグラフィカルモデル（乳がんデータ、$d=10, p=65$）：
  • 標準的なベイズ推論は計算上不可能であった。
  • LRM-Bayesは信頼性の高い事後予測分布を提供した。
  • 速度： LRMはDFD-Bayesよりも35倍以上速かった（約2秒 vs 31分）。
  • スパース性： 本手法はホースシューおよびスパイク・アンド・スラブ事前分布を組み込むことに成功し、厳密なギブス更新を維持しながらスパース性を誘導した。
• 自己回帰型カウント時系列（犯罪データ）：
  • 自己回帰パラメータ $\phi$ はメトロポリス・ヘイスティングス法で更新し、他のパラメータは厳密なギブスステップで更新するという部分的共役性を実証した。
  • 速度： LRM-Bayesは約1分で混合したが、標準的な近似MCMCは約20分を要した（20倍の高速化）。
• マルコフ確率場（IsingおよびPottsモデル）：
  • Isingモデル： LRMはDFDおよび擬似尤度法と同等の精度でパラメータを回収したが、約10倍高速であった。
  • Pottsモデル（南極氷データ）： LRMは補助変数MCMCよりも35倍以上速く、DFD/PLよりも有意に高速であった。事後分布は他の手法と同等であったが、著者らはモデル自体が不均一なデータに対して誤設定されている可能性を指摘している。

5. 意義と主張

本論文は、LRM-Bayesが離散的な二重に困難な問題に対する計算効率の高い代替手段を提供すると主張している。その意義は以下の通りである：

• ギャップの解消： 連続領域におけるKSD-Bayes（Matsubara et al., 2022）の計算上の利点を、離散領域へと橋渡しした（これはこれまで達成されていなかった）。
• スケーラビリティ： 共役性を実現することで、MCMCの反復回数（$T$）への依存を排除し、計算量を $O(ndpT)$から$O(ndp^2 + p^3)$ へと低減させた。
• 実用性： 以前はベイズ分析において計算コストが高すぎた複雑で柔軟なモデル（高次元グラフィカルモデル、重い裾を持つ事前分布を持つ時系列など）の適用を可能にした。
• 理論的健全性： 本手法は単なるヒューリスティックではなく、一致性と正規性を保証する厳密な漸近理論に支えられている。

著者らは、本手法が参照PMF（$\hat{q}$）の推定に依存していること、およびマッチング集合 $M$ の選択が事後分布の集中度に影響を与えることを挙げ、範囲について謙虚な姿勢を保っているが、スケーリングパラメータ $\beta$ を推定することでこの感度を軽減できるとしている。本研究は、シミュレーションベースの推論および潜在変数モデルへのより広範な応用への一歩として位置づけられている。