Higher-order Common Information

技術要約：高次共通情報 (Higher-order Common Information)

問題提起
$n$ 個の確率変数（$X_1, \dots, X_n$）の集合内で共有されている情報を特徴付けることは、$n > 2$ の場合において依然として大きな課題である。シャノンの相互情報量 $I(X_1; X_2)$ は、ペアごとの依存関係を効果的に定量化するが、高次の相互作用に対して単一の標準的な拡張は存在しない。既存のアプローチは、しばしばペアごとの要約（例：最小のペア間相互情報量）に依存しているが、これらは「同じ」情報がすべての変数に同時に存在するかどうかを判断できないため、誤解を招く可能性がある。

Wyner の共通情報量 ($C_W$) や Gács–Körner 共通情報量 ($C_{GK}$) といった他の確立された共通情報の概念には、限界がある。$C_W$ は、潜在変数を用いて結合分布をシミュレートするために必要なランダム性を定量化するものであり、しばしば相互情報量よりも大きな値をとる。$C_{GK}$ は決定論的な共通部分のみを捉えるため、変数が統計的に依存していても、その値がゼロになることがある。さらに、連続変数に関する多くの既存の尺度（エントロピーに基づく共通ランダムネスなど）は発散することがあり、部分情報分解 (PID) の尺度は、外部のターゲット変数や制限的なモデル仮定（例：結合ガウス分布）を必要とすることが多い。現在求められているのは、外部のターゲットを参照することなく、各変数内に局所的に存在し、離散分布と連続分布の両方において意味を持ち、集合内の本質的な共有構造を捉える尺度である。

手法
本論文では、高次共通情報 (Higher-order Common Information: HCI) を導入する。これを $R(X_1, \dots, X_n)$ と表記する。コアとなる手法は、入れ子状のマルコフ制約に基づいた反復的な情報ボトルネック構成である。

1. 反復的構成: 定義は、参照変数 $X_i$ と残りの変数の順序を固定することから始まる。補助変数 $T$ は、一連のステージを経て構築される。各ステージ $\ell$ において、新しい補助変数 $T_{\ell+1}$ は、前段階の $T_\ell$ から以下の条件を満たすように導出される：

   • マルコフ制約: $T_{\ell+1} - T_\ell - X$ が成立する（ここで $X$ はすべての変数の集合）。
   • 情報一致制約: 現在の補助変数と次の変数との間の相互情報量が保持される：$I(T_{\ell+1}; T_\ell) = I(T_\ell; X_{\pi(\ell)})$。
   • 最適化: この構成は、新しい補助変数と全変数集合 $X$ との間の相互情報量を最小化し、共有情報を保持しつつ、プライベートな情報を削ぎ落としていく。

2. HCI の定義: HCI は、すべての可能な参照変数 $X_i$ について最小化し、残りの変数のすべての置換およびすべての有効な終端補助変数について上限を取ることによって定義される。形式的には以下の通りである：
   $$R(X_1, \dots, X_n) \triangleq \min_i \sup_{T \in \mathcal{T}_i(X)} \min_j I(T; X_j)$$
   これにより、この尺度は参照の選択に対して不変であり、単一の圧縮された表現がすべての変数に関する情報を同時に保持できる最大レートを捉えることが保証される。

3. 一般的なソースに対する近似: 閉形式の解が得られない任意の分布に対して、本論文は実用的な数値的手順を提案している。これには、情報一致制約を経験的に満たすために、ノイズ（例：ガウスノイズ）を付加することで劣化させた補助変数を構築することが含まれる。これにより、HCI の計算可能な下限が得られる。

主な貢献と結果

• 閉形式の表現:

  • ガウスソース: 相関係数 $\rho_{jk}$ を持つ結合ガウス変数に対して、絶対相関の順序統計量を用いた閉形式の表現を導出している。具体的には、参照 $i$ に対して、HCI は集合内の最小の相関の積に依存する。
  • ベルヌーイ・ソース: 共通のソース $U$ が独立したノイズによって汚染されたバイナリ・ソース（$X_j = U \oplus N_j$）に対して、閉形式の表現を導出している。特筆すべきは、これらのソースにおいて Gács–Körner 共通情報量はゼロであるが、提案された HCI は有限の $n$ に対して厳密に正であることであり、これは HCI が統計的（非決定論的）な共有構造を捉える能力を示している。
  • 一般的な離散ソース: 独立した成分から構成される変数に対して、HCI は成分集合の共通部分のエントロピーに等しいことが示されている。

• 理論的特性:

  • 境界: $R(X_1, \dots, X_n) \leq I(X_i; X_j) \leq C_W(X_1, \dots, X_n)$ および $R(X_1, \dots, X_n) \leq DTC(X_1, \dots, X_n) \leq TC(X_1, \dots, X_n)$ が成立する。
  • 整合性: $n=2$ のとき、$R(X_1, X_2)$ は標準的な相互情報量 $I(X_1; X_2)$ に一致する。
  • 非増加性: 変数の集合に変数を追加しても、HCI は増加しない：$R(X_1, \dots, X_n) \leq R(X_1, \dots, X_{n-1})$。
  • 消失: いずれかのペアの変数が独立である場合、HCI は消失する。

• 実証的応用 (EEG データ):
  著者らは、聴覚注意タスク中の 64 チャネルの頭皮 EEG 記録を含む実世界のデータセットに対して、数値近似法を適用した。彼らは、側頭部の電極からの EEG 信号と、ターゲットおよびディストラクターの音声ストリームのエンベロープとの関係を分析した。

  • 知見: 本研究は、第 3 次共通情報量 ($R_3$) が、ペア間の相互情報の最小値 ($R_2$) では説明できない神経的な音声追跡応答に関する重要な情報を含んでいることを示した。
  • 統計的有意性: 回帰分析により、$R_3$ が $R_2$ によって捉えられたものを超えて、神経追跡応答の分散を有意に説明したことが示され、音声への神経応答における高次依存性の存在が確認された。

意義
本論文は、HCI が、外部のターゲットや潜在変数のシミュレーションに依存するアプローチとは異なる、変数の集合に固有の本質的な共有構造の、根本的に局所的な尺度を提供すると主張している。冗長性の特徴付けを既存の境界（具体的には、多くのケースでペア間の相互情報量や Wyner の共通情報量よりも厳密に低い）と比較して厳密にタイトにすることで、HCI は既存の尺度が逃してしまう共有構造を明らかにする。ガウス分布およびベルヌーイ分布に対する閉形式の解の導出能力と、一般のデータに対する実用的な推定手順を組み合わせることで、複雑なシステムにおける固有の多変量依存性を解明するための新しいツールを提供しており、それが神経データの分析によって実証されている。