A Global Characterization of $f$-Divergences Yielding PSD Mutual-Information Matrices

技术摘要：产生半正定互信息矩阵的 f-散度的全局刻画

问题陈述
本文探讨了依赖度度量与核方法中的一个基本问题：给定 $n$ 个随机变量 $X_1, \dots, X_n$，在什么条件下，成对 $f$-互信息矩阵（定义为 $M^{(f)}_{ij} := I_f(X_i; X_j)$）构成一个半正定（PSD）核？

尽管互信息广泛应用于因子分析、独立性检验和特征提取中，但由所有 $f$-散度生成的矩阵并不保证具有半正定性。本文将该问题与分布间散度的度量性质（例如 $\sqrt{JS}$ 是否为度量）区分开来，而是专注于变量索引矩阵 $M^{(f)}$ 的半正定性。作者指出，虽然 $\chi^2$-散度能产生半正定矩阵，但基于 $f(t) = t \log t$ 的香农互信息对于 $n \ge 4$ 不满足此要求，且这种不定性甚至可以在任意微弱的成对依赖下发生。

方法论
本文结合概率构造、泛函分析和代数刻画，推导出了必要且充分的条件。

1. 线性变换不变性：作者首先确立 $f$-散度在变换 $f(t) \mapsto f(t) + c(t-1)$ 下具有不变性。因此，刻画工作是在归一化代表元 $\bar{f}(t)$ 上进行的，其中 $\bar{f}(1) = \bar{f}'(1) = 0$。
2. 充分性：通过副本嵌入：为了证明特定函数类能产生半正定矩阵，作者利用了“副本嵌入”（replica embedding）。他们表明，对于单项式生成元 $f_m(t) = (t-1)^m$（其中 $m \ge 2$），互信息矩阵可以表示为源自随机变量独立副本（replicas）的特定函数的 Gram 矩阵。由于半正定矩阵的非负混合仍保持半正定，任何可表示为这些单项式非负混合的函数都是能生成半正定矩阵的。
3. 必要性：通过局部提取与全局传播：
   • 局部提取：作者构建了一个有偏的潜变量族（三点核 $H_a$），以提取 $f$ 在 $t=1$ 处的局部性质。通过应用关于低秩 Hankel 正定保持子的 Belton–Guillot–Khare–Putinar (BGKP) 定理，他们证明了如果矩阵是半正定的，则 $f$ 在 $t=1$ 处的局部泰勒展开必须对所有阶数 $m \ge 2$ 具有非负系数。
   • 全局传播：为了将此局部条件扩展到整个定义域 $(0, \infty)$，作者分析了“伯努利切片”。他们表明，对于协方差为 $\rho$ 的伯努利变量，互信息 $H_p(\rho)$ 是 $f$ 在平移参数处取值的线性组合。利用全局半正定性通过平移后的 BGKP 测试意味着局部解析性这一事实，他们代数地求解出 $f(t)$，证明了 $f$ 必须在 $(0, \infty)$ 上解析。
   • 收敛半径：最后，应用了 Vivanti–Pringsheim 定理。由于泰勒系数非负，有限的收敛半径将意味着在正边界处存在奇点。然而，在 $(0, \infty)$ 上已确立的解析性排除了此类奇点，从而迫使收敛半径为无穷大。

主要贡献与结果
主要结果是定理 II.1，它为有限字母表族提供了生成半正定 $f$-散度的完整刻画。

定理：设 $f: (0, \infty) \to \mathbb{R}$ 为凸函数，有限，且满足 $f(1)=0$ 及有限边界值 $f(0)$。矩阵 $M^{(f)}_{ij} = I_f(X_i; X_j)$ 对每个有限字母表族均为半正定，当且仅当归一化代表元 $\bar{f}(t) = f(t) + c(t-1)$ 在 $(0, \infty)$ 上 admit 全局收敛展开：
$$\bar{f}(t) = \sum_{m \ge 2} a_m (t-1)^m, \quad \text{其中 } a_m \ge 0.$$

推论与示例：

• 成功案例：$\chi^2$-散度（$f(t) = (t-1)^2$）是生成半正定的。更一般地，任何 $m \ge 2$ 的单项式 $(t-1)^m$ 的非负全纯混合（例如 $f(t) = \cosh(t-1) - 1$）都能成功，且无需“近独立”限制。
• 失败案例：
  • 香农互信息：生成元 $f(t) = t \log t$ 展开为 $(t-1) + \frac{1}{2}(t-1)^2 - \frac{1}{6}(t-1)^3 + \dots$。负的三次项系数（$a_3 < 0$）违反了该条件，解释了为何香农互信息矩阵对于 $n \ge 4$ 不是半正定的。
  • Jensen–Shannon 散度：同样，其展开式包含负三次项，因此被排除。
  • 非解析生成元：在 $t=1$ 处凸但非解析的函数，如全变差（Total Variation, $f(t) = \frac{1}{2}|t-1|$）或 ReLU（$f(t) = (t-1)_+$），均被排除。本文提供了一个具体的反例，使用四个变量，其中全变差生成的核矩阵是不定的。

意义
本文声称解决了一个区别于度量性质的“核刻画问题”。它解释了基于 $\chi^2$ 的度量在核语境下成功的原因，以及香农和 Jensen–Shannon 度量失败的结构性理由。该结果强调，对于变量索引矩阵的半正定生成，信息论依赖度度量是“异常脆弱的”，需要全局解析性和非负泰勒系数，而不仅仅是局部凸性。作者指出，虽然该结果已针对有限字母表确立，但扩展到连续模型需要额外的测度论假设，但有限字母表的障碍已经提供了一个清晰的理论边界。