A Global Characterization of $f$-Divergences Yielding PSD Mutual-Information Matrices

技術的概要：PSD 相互情報行列をもたらす f 発散の全球的特徴付け

問題定義
本論文は、依存度測度とカーネル法における根本的な問いに答えるものである：$n$ 個の確率変数 $X_1, \dots, X_n$ が与えられたとき、ペアワイズ f 相互情報 $M^{(f)}_{ij} := I_f(X_i; X_j)$ で定義される行列が、正定値（PSD）カーネルとなるのはどのような条件下においてか。

相互情報は因子分析、独立性検定、特徴抽出において広く用いられているが、得られる行列の PSD 性は、すべての f 発散に対して保証されるものではない。本論文は、分布間の発散の距離的性質（例えば、$\sqrt{JS}$ が距離となるかどうか）の問題とは区別し、変数インデックス付き行列 $M^{(f)}$ の PSD 性に焦点を当てる。著者らは、$\chi^2$ 発散が PSD 行列をもたらす一方で、シャノン相互情報（$f(t) = t \log t$ に基づく）は $n \ge 4$ の場合この要件を満たさず、この不定性は任意に弱いペアワイズ依存性のもとでも生じ得ることを指摘している。

手法
本論文は、確率的構成、関数解析、および代数的特徴付けの組み合わせを用いて、必要十分条件を導出する。

1. 線形変換不変性: 著者らはまず、f 発散が線形変換 $f(t) \mapsto f(t) + c(t-1)$ に対して不変であることを確立する。したがって、特徴付けは $\bar{f}(1) = \bar{f}'(1) = 0$ となる正規化代表元 $\bar{f}(t)$ に対して行われる。
2. レプリカ埋め込みによる十分性: 特定の関数クラスが PSD 行列をもたらすことを証明するために、著者らは「レプリカ埋め込み」を利用する。$m \ge 2$ なる単項生成子 $f_m(t) = (t-1)^m$ に対して、相互情報行列が確率変数の独立なコピー（レプリカ）から導出された特定関数のグラム行列として実現可能であることを示す。PSD 行列の非負混合は依然として PSD であるため、これら単項式の非負混合として表現可能な任意の関数は PSD 生成性を持つ。
3. 局所抽出と全球的伝播による必要性:
   • 局所抽出: 著者らは、偏った潜在変数族（3 点カーネル $H_a$）を構成して、$t=1$ における $f$ の局所的性質を抽出する。低ランク・ハンケル正定値性保存に関する Belton–Guillot–Khare–Putinar（BGKP）定理を適用することで、行列が PSD であるならば、$t=1$ における $f$ の局所テイラー展開の係数が、すべての次数 $m \ge 2$ に対して非負でなければならないことを示す。
   • 全球的伝播: この局所条件を定義域 $(0, \infty)$ 全体に拡張するために、著者らは「ベルヌーイ切片」を解析する。共分散 $\rho$ を持つベルヌーイ変数に対して、相互情報 $H_p(\rho)$ がシフトされた引数で評価された $f$ の線形結合であることを示す。シフトされた BGKP テストを通じて全球的 PSD が局所的解析性を意味するという事実に基づき、$f(t)$ について代数的に解くことで、$f$ が $(0, \infty)$ 上で解析的である必要があることを証明する。
   • 収束半径: 最後に、Vivanti–Pringsheim 定理が適用される。テイラー係数が非負であるため、有限の収束半径は正の境界における特異性を意味する。しかし、$(0, \infty)$ 上で確立された解析性はそのような特異性を排除するため、収束半径は無限大でなければならない。

主要な貢献と結果
主要な結果は定理 II.1であり、有限アルファベット族に対する PSD 生成 f 発散の完全な特徴付けを提供する。

定理: $f: (0, \infty) \to \mathbb{R}$ を凸、有限、$f(1)=0$、かつ有限の境界値 $f(0)$ を持つ関数とする。行列 $M^{(f)}_{ij} = I_f(X_i; X_j)$ がすべての有限アルファベット族に対して PSD となるのは、正規化代表元 $\bar{f}(t) = f(t) + c(t-1)$ が $(0, \infty)$ 上で全球的に収束する展開
$$\bar{f}(t) = \sum_{m \ge 2} a_m (t-1)^m, \quad \text{ただし } a_m \ge 0.$$
を許容する場合に限る。

含意と例:

• 成功事例: $\chi^2$ 発散（$f(t) = (t-1)^2$）は PSD 生成である。より一般的に、$m \ge 2$ なる単項式 $(t-1)^m$ の任意の非負全体的混合（例：$f(t) = \cosh(t-1) - 1$）は、「近独立」制限を必要とせずに成功する。
• 失敗事例:
  • シャノン相互情報: 生成子 $f(t) = t \log t$ は $(t-1) + \frac{1}{2}(t-1)^2 - \frac{1}{6}(t-1)^3 + \dots$ と展開される。負の 3 次係数（$a_3 < 0$）が条件に違反するため、シャノン MI 行列が $n \ge 4$ に対して PSD とならない理由を説明する。
  • ジェンセン・シャノン発散: 同様に、その展開には負の 3 次項が含まれており、除外される。
  • 非解析的生成子: $t=1$ において凸だが非解析的な関数、例えば全変動（$f(t) = \frac{1}{2}|t-1|$）または ReLU（$f(t) = (t-1)_+$）は除外される。本論文は、4 つの変数を用いた具体的な反例を提供し、それにより得られる全変動のカーネル行列が不定であることを示している。

重要性
本論文は、距離的性質とは異なる「カーネル特徴付け問題」を解決したと主張する。それは、$\chi^2$ に基づく測度の成功と、カーネル文脈におけるシャノンおよびジェンセン・シャノン測度の失敗の構造的理由を説明する。この結果は、変数インデックス付き行列に対する PSD 生成が、情報理論的依存度測度に対して「極めて脆い」ものであり、局所的凸性だけでなく、全球的解析性と非負のテイラー係数を必要とすることを浮き彫りにしている。著者らは、この結果が有限アルファベットに対して確立されたものであるが、連続モデルへの拡張には追加の測度論的仮定が必要となるものの、有限アルファベットにおける障害はすでに明確な理論的境界を提供していると指摘している。