Weak Information Geometry: Riemannian Structures from Distributional Inference Functions and Stein Discrepancies

技術要約：弱情報幾何学（Weak Information Geometry）

問題提起
Fisher、Rao、Amariらによって開拓された統計モデルの古典的な微分幾何学的理論は、フィッシャー・ラオ計量（Fisher–Rao metric）に依拠している。この計量はフィッシャー情報行列を通じて定義されるが、これには、支配的な$\sigma$-有限測度に対する確率密度関数の存在、対数尤度の微分可能性、および情報行列の有限性が要求される。これらの条件は、以下の重要な統計モデルのクラスにおいて成立しない：

1. パラメータ依存的なサポート： パラメータによって分布のサポートが変化するモデル（例：一様スケール、シフトされた指数分布）。これらはスコア関数をバイアスさせるか、あるいは未定義にする。
2. 支配的測度の不在： 支配的測体が存在しない特異連続族（例：カントール・ロケーションモデル）。ここでは尤度やスコア関数自体が存在しない。
3. モーメントの不在： 重い裾を持つモデル（例：$\nu \le 1$のStudent $t$分布、$\alpha$-安定過程）。ここでは古典的なモーメントが発散する。
4. 支配されたモデルにおけるバイアスのあるスコア： 層化された有限混合モデルにおいて、スコア関数がバイアスのある推論関数となり、形式的な尤度は存在するものの、最尤推定量が一致性を失うケース。

これらのシナリオでは、フィッシャー・ラオ構成は利用不可能であるか、あるいは推論として無意味となるため、測地線、曲率解析、自然勾配法といった情報幾何学的なツールの適用が妨げられる。

手法
本論文は、確率法則の表現を、密度関数からテンパード分布（tempered distribution） $T_\theta \in \mathcal{S}'(\mathbb{R}^k)$ へと転換することで、統計モデルの一般化を提案する。この枠組みにおいて、法則は、テスト関数 $g \in \mathcal{S}(\mathbb{R}^k)$ を期待値 $\langle T_\theta, g \rangle = \mathbb{E}_\theta[g(X)]$ へと写す連続線形汎関数として識別される。

情報は、局所的な尤度の振る舞いからではなく、一つの**インストゥルメント（測定器/計器）**を通じて抽出される。本論文では、二種類のインストゥルメントを用いる：

1. 弱正則推論関数（Weak Regular Inference Functions）： Godambeの正則推論関数の一般化であり、不偏性と微分可能性は、密度の点での恒等式ではなく、分布の表現 $T_\theta$ とテスト関数のペアリングとして表現される。
2. 弱シュタイン表現（Weak Stein Representations）： テスト関数に対して $\langle T_\theta, A_\theta g \rangle = 0$ を満たす作用素 $A_\theta$。

選択されたインストゥルメント $\psi(\cdot, \theta)$ に対し、弱感度（weak sensitivity） $S(\theta) = -\mathbb{E}_\theta[\partial_\theta \psi]$ および弱変動性（weak variability） $V(\theta) = \mathbb{E}_\theta[\psi \psi^\top]$ を定義する。そして、**ゴドメ情報行列（Godambe information matrix）**は以下のように構成される：
$$G(\theta) = S(\theta)^\top V(\theta)^{-1} S(\theta)$$
この行列は、パラメータ空間 $\Theta$ 上のリーマン計量として機能する。この枠組みは、モデル写像 $\theta \mapsto \langle T_\theta, g \rangle$ が弱微分可能であるという仮定（仮定 2.3）に依拠しており、これにより、感度と分布の微分を関連付ける弱バートレット恒等式の使用が可能となる。

主要な貢献と結果

1. リーマン統計モデルの拡張（定理 1.1）：
   パラメータ族がフルランクの感度と正定値の変動性を持つインストゥルメントを備えている場合、ゴドメ情報 $G(\theta)$ が滑らかなリーマン計量を定義することを証明する。これは、リーマン構造を持つモデルのクラスを、フィッシャー・ラオの範疇を遥かに超えて拡張するものである。

   • フィッシャー・ラオの回復： 密度が存在し、スコア関数が適当なインストゥルメントであるとき、$G(\theta)$ はフィッシャー情報 $I(\theta)$ と一致する。
   • レーヴェン順序（Loewner Ordering）： フィッシャー情報が存在する場合、常に $G(\theta) \preceq I(\theta)$ がレーヴェン順序において成立する。等号成立は、インストゥルメントがスコアの非特異な線形変換である場合に限られる。

2. 非正則モデルにおけるインストゥルメントの存在（命題 1.2）：
   本論文は、フィッシャー・ラオの条件を異なる理由で満たさないモデルに対して、適切なインストゥルメントが存在することを示す：

   • 一様スケールおよびシフトされた指数分布： パラメータ依存的なサポートは、モーメントベースまたは変換ベース（特性関数）のインストゥルメントによって処理され、滑らかな計量を与える。
   • カントール・ロケーション族： 支配的測体を持たない特異連続モデルであっても、有界変換インストゥルメント（正弦波）やモーメント・インストゥルメントを通じて、ゴドメ計量が導入できる。モーメント・インストゥルメントの場合、計量は平坦（$G(\theta) \equiv 8$）となる。
   • 層化された有限混合モデル： スコアがバイアスを持つ支配されたモデルにおいて、「層化に依存しない（stratification-agnostic）」インストゥルメント（各成分の法則の下で不偏なもの）を用いることで、有効なリーマン計量を回復できる。一方、尤度に基づく経路は失敗する。
   • $\alpha$-安定格子SPDE： 分散が定義されない（$\alpha$-安定ノイズによって駆動される）動的システムにおいて、固有モード・プローブから導出される閉形式のゴドメ計量が利用可能である。

3. シュタイン・ディスレパンシーとの等価性（セクション 6）：
   二次形式のシュタイン・ディスレパンシーが、ゴドメ計度と同じ局所幾何学を誘導することを確立する。具体的には、最適な重み付け $V(\theta)^{-1}$ を用いた期待残差の二次形式によってシュタイン・ディスレプションが定義される場合、得られる計量は正確にゴドメ情報となる。これにより、シュタイン法と情報幾何学が直接結びつけられる。さらに、再生核ヒルベルト空間（RKHS）シュタイン・ディスレパンシーが、連続的な恒等性を集約する階層的な幾何学を生成することも示される。

4. 幾何学的安定性とスペクトル・ギャップ（セクション 5）：
   格子型熱方程式の例において、ゴドメ計量が定常値に安定する速度は、基礎となる離散ラプラシアンのスペクトル・ギャップによって支配されることを示す。これにより、システムの動的な安定性と統計モデルの幾何学的安定性の間の定量的架け橋が提供される。

5. 推論の分離とブロック対角性（セクション 8）：
   推論の分離（nonformation）の幾何学的特徴付けを行う。ゴドメ計量の非対角ブロックが消滅すること（$G_{\alpha\beta} = 0$）は、関心パラメータと妨害（nuisance）パラメータの直交性に相当する。

   • 自動的な直交性： 対称なロケーション・スケールモデルにおいて、奇関数（サイン）と偶関数（コサイン）のインストゥルメントのペアを使用することで、自動的にブロック対角な計量が得られ、スコアが存在しないモデル（例：コーシー、カントール）においても厳密な推論の分離が達成される。
   • Bhapkar–Godambe射影： 関心のインストゥルメントを妨害インストゥルメントの直交補空間へと射影することにより、計量をブロック対角化する構成的な手法が提示される。

意義と主張
本論文は、密度ベースの表現を取り除いても、計量が尤度ではなくインストゥルメントから導出される限り、統計モデルの微分幾何学的取り扱いが存続することを主張している。

• 存在性と標準性： この拡張は、チェントフ・マルコフ不変性（フィッシャー計量の唯一性）を、存在性と引き換えに放棄している。非正則モデルにおいては、標準的な（canonical）計量は存在せず、代わりに、インストゥルメントの選択によって索引付けされたゴドメ計量の族が存在する。
• インストゥルメント相対的な幾何学： 計量は、特定のインストゥルメントを通して見たモデルの幾何学として解釈される。異なるインストゥルメントは異なる幾何学を生み出し、非正則モデル（一様スケールなど）においては、その族は最大元（フィッシャー型の境界が存在しない）を持たないことがあり、これは超効率性の現象を反映している。
• 有用性： 本枠組みにより、以前は「病理的」あるいはアクセス不能と考えられていたモデル（パラメータ依存的なサポート、特異測度、無限分散を含むモデル）に対して、幾何学的ツール（測地線、曲率、自然勾配）を適用することが可能となる。

結論として、ゴドメ・リーマン構造は、尤度関数の存在から幾何学的構造の存在を切り離した、推論関数に基づく統一的な統計モデルの特性付けを提供する。