Nonparametric Riemannian Empirical Bayes, and Denoising Measurements on Manifolds

技術要約：リーマン多様体における非パラメトリック・リーマン・経験的ベイズおよびデノイジング

問題の定式化
本論文は、潜在変数 $\Theta$ とその観測値 $X$ の両方がコンパクトで連結なリーマン多様体 $M$ 上に存在する場合の、潜在変数のデノイジング（除去）問題を扱う。統計モデルは、潜在変数 $\Theta \sim G$（ここで $G$ は $M$ 上の未知の確率分布）であり、$\Theta = \theta$ という条件の下での観測 $X$ はリーマン・ガウス分布 $P_{\theta, \sigma^2}$ に従うと仮定している。この尤度の密度関数は $p_{\theta, \sigma^2}(x) \propto \exp(-d^2(x, \theta)/(2\sigma^2))$ で与えられる。ここで $d$ は測地線距離であり、$\sigma^2$ は既知のノイズスケールである。目的は、観測された一連の観測値 $X_1, \dots, X_n$ から潜在変数 $\Theta_1, \dots, \Theta_n$ を推定するために、期待平方測地線距離リスクを最小化するデノイザー $\delta: M \to M$ を見つけることである。

手法
著者らは、$f$-モデリング（データの周辺密度を推定する手法）に基づく非パラメトリック経験的ベイズ法を開発している。この手法は、以下の3つの理論的およびアルゴリズム的なステップを通じて進行する。

1. 接空間ベイズ・サロゲート（Tangential Bayes Surrogate）:
   最適なベイズ・デノイザー $\delta_B(x)$ は、事後期待損失を最小化する事後フレーシェ平均（Fréchet mean）である。しかし、$\delta_B$ は未知の $G$ に依存し、各データ点に対して反復的なリーマン最適化を必要とするため、計算が困難である。
   著者らは、リーマン版のツイディ・エディントン公式（Tweedie-Eddington formula）を導出している：
   $$E[\text{Log}_x \Theta \mid X = x] = \sigma^2 \nabla_x \log f(x)$$
   ここで $f$ は $X$ の周辺密度であり、$\text{Log}_x$ は対数写像である。この恒等式は、サロゲート・オラクル・デノイザーであるオラクル接空間ベイズ・デノイザー $\delta_T$ の定義を動機付けている：
   $$\delta_T(x) := \text{Exp}_x(\sigma^2 \nabla_x \log f(x))$$
   幾何学的に、$\delta_T(x)$ は、素朴なデノイザー $\delta_N(x) = x$ から開始される事後損失関数に対するリーマン勾配降下法の単一ステップに対応している。

2. 経験的近似:
   完全にデータ駆動型の推定器 $\hat{\delta}_T$ を構築するために、スペクトル理論を用いて周辺密度 $f$ を推定する。具体的には、著者らはラプラス・ベルトラミ演算子 $\Delta$ の固有関数 $\{\phi_j\}$ を利用して、カーネル密度推定量を構成する：
   $$\hat{f}_n(x) = \frac{1}{n} \sum_{i=1}^n K(x, X_i, \ell_n), \quad \text{ただし } K(x, y, \ell) = \sum_{j=0}^\ell \phi_j(x)\phi_j(y)$$
   経験的接空間ベイズ・デノイザーは次のように定義される：
   $$\hat{\delta}_T(x) := \text{Exp}_x\left( \sigma^2 \frac{\nabla_x \hat{f}_n(x)}{\max\{\hat{f}_n(x), \rho\}} \right)$$
   ここで $\rho > 0$ は、低密度領域を処理するための正則化パラメータである。

3. 収束解析:
   著者らは、低ノイズ領域（$\sigma^2 \to 0$）において $\delta_T$ が $\delta_B$ に近いこと、および $n \to \infty$ において $\hat{\delta}_T$ が $\delta_T$ に収束することを証明している。

主要な貢献と結果

• オラクルレベルのリスク比較: 任意のコンパクト・リーマン多様体において、接空間ベイズ・デノイザーと最適なベイズ・デノイザーの間のリスク差は、$\sigma^2 \to 0$ のとき $O(\sigma^5)$ であることを証明した。これにより、$\delta_T$ が事後フレーシェ平均を計算する計算量的な複雑さを回避できる、準最適なサロゲートであることが確立された。
• 非パラメトリック収束率: ユークリッド空間におけるガウス混合密度は無限回微分可能であるが、リーマン・ガウス混合密度はフレーシェ平均のカット軌跡（cut locus）において特異性を示すことがある。この「スミアリーネス（smeariness）」現象により、真に非パラメトリックな収束率がもたらされる。
  • 距離 $D_T(\hat{\delta}_T)$ の収束率は、周辺密度 $f$ のソボレフ滑らかさ $r$ に依存する。
  • 円周 $M=S^1$ について、著者らは一致する上限および下限を確立し、$\hat{\delta}_T$ が混合密度 $G$ の滑らかさを $s$ としたとき、$n^{-(2s+2)/(2s+5)}$ のレートでミニマックス最適であることを証明した。これは、問題が非パラメトリックな収束率を示すことを裏付けている。
• ソボレフ正則性解析: 本論文は、リーマン・ガウス混合密度のソボレフノルムに関する詳細な境界を提供している。ここでは、周辺密度 $f$ の滑らかさが、ユークリッド空間のように自動的に無限にはならないことが強調されている。その滑らかさは $M$ の幾何学的構造と $G$ の滑らかさに依存する。リー群の場合、$f$ は $G$ の滑らかさを継承するが、球面 $S^2$ の場合、$f$ は滑らかさを得るものの、カット軌跡の特異性に起因する特定の制約を受ける。
• 科学的応用: 本手法は、2つの実世界の課題に適用されている：
  1. 天文学: 球面 $S^2$ 上の2,702個のガンマ線バーストの所在のデノイジング。経験的ベイズ・デノイザーは、ノイズによって隠されていたバーストのクラスターを特定することに成功し、素朴なアプローチを上回る性能を示した。
  2. 構造生物学: タンパク質中のアミノ酸の二面角ペア（ラムチャンドラン・プロット）をトーラス $S^1 \times S^1$ 上でデノイジング。このデノイザーは、データを既知の二次構造（$\alpha$ ヘリックスや $\beta$ シート）に対応する高密度領域へと効果的に収縮させ、同時に低密度領域からは遠ざけるように機能した。

意義と主張
本論文は、リーマン・ガウス尤度を持つリーマン多様体の設定における、非パラメトリック経験的ベイズ・デノイジングの研究を開始するものである。その主な意義は以下の通りである：

1. 理論と実践の架け橋: 未知の潜在分布 $G$ や、各点に対する高価な反復最適化を必要とせずに、ベイズ・リスクに極めて近い値を達成する、計算可能で完全にデータ駆動型のデノイザー ($\hat{\delta}_T$) を提供している。
2. 非ユークリッド現象の特性付け: カット軌跡によって引き起こされる「スミアリーネス」の効果を厳密に特定・定量化し、それがユークリッド経験的ベイズで見られる準パラメトリックなレートとは異なる、より遅い非パラメトリックな収束率をもたらすことを示している。
3. ミニマックス最適性: 円周のケースにおける一致する下限を確立することで、著者らは提案手法がミニマックス最適であることを示し、この遅いレートが推定器の限界ではなく、問題の幾何学的構造に固有のものであることを確認している。
4. 実用的な有用性: シミュレーションと科学的応用を通じて、経験的ベイズによる測定値間の情報の集約（高密度領域への収縮）が、複雑な幾何学的設定（球面やトーラス）においても、各測定値を独立に扱う場合よりも大幅に優れていることを実証している。

著者らは、滑らかさの解析の一般性に関して控えめな姿勢を維持しており、任意の多様体におけるリーマン・ガウス混合の平滑化特性の完全な定量的制御、特にカット軌跡付近での挙動については依然として未解決の問題であると述べている。彼らは、本研究を $g$-モデリングおよび複合決定問題への将来的な拡張のための基礎的な一歩として位置づけている。