Higher-order Common Information

技术摘要：高阶共同信息

问题陈述
表征 $n$ 个随机变量（$X_1, \dots, X_n$）内部共享的信息仍然是一个重大挑战，尤其是当 $n > 2$ 时。虽然香农的互信息 $I(X_1; X_2)$ 能有效量化成对依赖关系，但目前尚不存在单一的规范性扩展用于描述高阶交互。现有的方法通常依赖于成对摘要（例如最小成对互信息），但这可能会产生误导，因为它们无法确定是否同一份信息同时存在于所有变量中。

其他已建立的共同信息概念，如 Wyner 的共同信息（$C_W$）和 Gács–Körner 共同信息（$C_{GK}$），也存在局限性。$C_W$ 量化了通过潜在变量模拟联合分布所需的随机性，其数值往往大于互信息。$C_{GK}$ 仅捕捉确定性的共同部分，即使变量之间存在统计相关性，其值也可能为零。此外，许多针对连续变量的现有度量（如基于熵的共同随机性）可能会发散，而部分信息分解（PID）度量通常需要一个外部目标变量或受到严格的模型假设限制（如联合高斯性）。因此，需要一种能够捕捉 $n$ 个变量之间内在共享结构、无需参考外部目标、在每个变量中局部存在、且对离散和连续分布均有意义的度量方法。

方法论
本文引入了高阶共同信息（Higher-order Common Information, HCI），记作 $R(X_1, \dots, X_n)$。其核心方法论是基于嵌套马尔可夫约束的迭代信息瓶颈构建（information-bottleneck construction）。

1. 迭代构建： 定义始于固定一个参考变量 $X_i$ 以及剩余变量的一个排序。通过一系列阶段构建一个辅助变量 $T$。在每个阶段 $\ell$，从前一个辅助变量 $T_\ell$ 推导出新的辅助变量 $T_{\ell+1}$，使得：

   • 马尔可夫约束： $T_{\ell+1} - T_\ell - X$ 成立（其中 $X$ 是所有变量的集合）。
   • 信息匹配约束： 当前辅助变量与序列中的下一个变量之间的互信息保持不变：$I(T_{\ell+1}; T_\ell) = I(T_\ell; X_{\pi(\ell)})$。
   • 优化： 构建过程最小化新辅助变量与整个变量集 $X$ 之间的互信息，从而剥离掉私有信息，同时保留共享信息。

2. HCI 的定义： 通过对所有可能的参考变量 $X_i$ 求最小值，并对所有排列顺序及所有有效的终端辅助变量求上确界来定义最终的 HCI。形式化表示为：
   $$R(X_1, \dots, X_n) \triangleq \min_i \sup_{T \in \mathcal{T}_i(X)} \min_j I(T; X_j)$$
   这确保了该度量对于参考变量的选择具有不变性，并能捕捉到能够同时保留关于所有变量信息的单一压缩表示的最大速率。

3. 一般源的近似： 对于缺乏闭式解的任意分布，本文提出了一种实用的数值程序。这涉及通过添加噪声（例如高斯噪声）来构建退化的辅助变量，以经验方式满足信息匹配约束。这产生了一个 HCI 的可计算下界。

主要贡献与结果

• 闭式表达式：

  • 高斯源： 对于联合高斯变量，其相关系数为 $\rho_{jk}$，本文推导出了一个涉及绝对相关系数顺序统计量的闭式表达式。具体而言，对于参考变量 $i$，HCI 取决于集合中最小相关系数的乘积。
  • 伯努利源： 对于由共同源 $U$ 被独立噪声干扰生成的二元源（$X_j = U \oplus N_j$），推导出了一个闭式表达式。值得注意的是，对于这些源，Gács–Körner 共同信息为零，而所提出的 HCI 对于所有有限的 $n$ 均为严格正值，证明了其捕捉统计（非确定性）共享结构的能力。
  • 一般离散源： 对于由独立分量构成的变量，HCI 被证明等于分量集合交集的熵。

• 理论性质：

  • 界限： 本文确立了 $R(X_1, \dots, X_n) \leq I(X_i; X_j) \leq C_W(X_1, \dots, X_n)$ 以及 $R(X_1, \dots, X_n) \leq DTC(X_1, \dots, X_n) \leq TC(X_1, \dots, X_n)$。
  • 一致性： 当 $n=2$ 时，$R(X_1, X_2)$ 精确还原为标准的互信息 $I(X_1; X_2)$。
  • 非增性： 向集合中添加更多变量不会增加 HCI；即 $R(X_1, \dots, X_n) \leq R(X_1, \dots, X_{n-1})$。
  • 消失性： 如果任何一对变量是独立的，则 HCI 消失。

• 经验应用（EEG 数据）：
  作者将数值近似方法应用于一个真实世界数据集，该数据集包含在听觉注意任务期间的 64 通道头皮 EEG 记录。他们分析了 EEG 信号（来自颞部电极）与目标语音流和干扰语音流包络之间的关系。

  • 发现： 研究表明，三阶共同信息（$R_3$）包含了关于神经语音追踪响应的重要信息，而这些信息无法通过最小成对互信息（$R_2$）来解释。
  • 统计显著性： 回归分析显示，$R_3$ 在捕捉到的神经追踪响应之外，解释了显著的方差，证实了在对语音的神经响应中存在高阶依赖关系。

意义
本文声称，HCI 提供了一种本质上属于变量集合的、局部的共享结构度量，它不同于依赖于外部目标或潜在变量模拟的方法。通过比现有界限（特别是相比于成对互信息和 Wyner 共同信息）进行更严格的冗余特征刻画，HCI 揭示了现有度量可能遗漏的共享结构。能够推导高斯源和伯努利源的闭式解，结合针对一般数据的实用估计程序，为在复杂系统中发现内在的多变量依赖关系提供了新的工具，这一点已在神经数据分析中得到验证。