Higher-order Common Information

기술 요약: 고차 공통 정보 (Higher-order Common Information)

문제 정의
$n$개의 확률 변수($X_1, \dots, X_n$) 집합 내에서 공유되는 정보를 특성화하는 것은 $n > 2$인 경우 여전히 중요한 과제로 남아 있다. 섀넌의 상호 정보량 $I(X_1; X_2)$는 쌍별 의존성을 효과적으로 정량화하지만, 고차 상호작용에 대한 단일한 정형적 확장 방식은 존재하지 않는다. 기존의 접근 방식들은 종종 쌍별 요약(예: 최소 쌍별 상호 정보량)에 의존하는데, 이는 동일한 정보 조각이 모든 변수에 동시에 존재하는지 여부를 결정하지 못하므로 오해의 소지가 있을 수 있다.

위너(Wyner)의 공통 정보($C_W$)나 가치스-쾨너(Gács–Körner) 공통 정보($C_{GK}$)와 같은 다른 확립된 공통 정보 개념들은 한계가 있다. $C_W$는 잠재 변수를 통해 결합 분포를 시뮬레이션하는 데 필요한 무작위성을 정량화하며, 종종 상호 정보량보다 큰 값을 갖는다. $C_{GK}$는 결정론적인 공통 부분만을 포착하며, 변수들이 통계적으로 의존적임에도 불구하고 그 값이 0이 될 수 있다. 또한, 연속 변수에 대한 많은 기존 척도(예: 엔트로피 기반 공통 무작위성)는 발산할 수 있으며, 부분 정보 분해(PID) 척도는 종전의 외부 타겟 변수나 제한적인 모델 가정(예: 결합 가우시안성)을 요구하는 경우가 많다. 따라서 외부 타겟에 대한 참조 없이도, 각 변수에 국소적으로 존재하며, 이산 및 연속 분포 모두에서 유의미하게 유지되는, $n$개 변수 간의 본질적인 공유 구조를 포착할 수 있는 척도가 필요하다.

방법론
본 논문은 중첩된 마르코프 제약(nested Markov constraints)에 기반한 반복적인 **정보 병목 구축(information-bottleneck construction)**을 통해 고차 공통 정보(Higher-order Common Information, HCI), 즉 $R(X_1, \dots, X_n)$를 소개한다.

1. 반복적 구축: 정의는 기준 변수 $X_i$와 나머지 변수들의 순서를 고정하는 것부터 시작된다. 보조 변수 $T$는 일련의 단계들을 통해 구축된다. 각 단계 $\ell$에서, 새로운 보조 변수 $T_{\ell+1}$은 이전의 $T_\ell$로부터 다음과 같은 조건을 만족하며 유도된다:

   • 마르코프 제약: $T_{\ell+1} - T_\ell - X$ 관계가 성립한다 (여기서 $X$는 모든 변수의 집합이다).
   • 정보 일치 제약: 현재의 보조 변수와 다음 변수 사이의 상호 정보량이 보존된다: $I(T_{\ell+1}; T_\ell) = I(T_\ell; X_{\pi(\ell)})$.
   • 최적화: 구축 과정은 전체 변수 집합 $X$와 새로운 보조 변수 사이의 상호 정보량을 최소화하여, 공유된 정보는 유지하면서 사적인(private) 정보를 제거한다.

2. HCI의 정의: 최종적인 HCI는 가능한 모든 기준 변수 $X_i$에 대해 최소화하고, 나머지 변수들의 모든 순열 및 모든 유효한 터미널 보조 변수에 대해 상한(supremum)을 취함으로써 정의된다. 형식적으로는 다음과 같다:
   $$R(X_1, \dots, X_n) \triangleq \min_i \sup_{T \in \mathcal{T}_i(X)} \min_j I(T; X_j)$$
   이는 척도가 기준 변수의 선택에 불변하며, 단일 압축 표현이 모든 변수에 대한 정보를 동시에 보존할 수 있는 최대 속도를 포착하도록 보장한다.

3. 일반 소스에 대한 근사: 폐쇄형 해(closed-form solution)를 구할 수 없는 임의의 분포를 위해, 본 논문은 실용적인 수치적 절차를 제안한다. 이는 정보 일치 제약을 경험적으로 만족시키기 위해 노이즈(예: 가우시안 노이즈)를 추가하여 퇴화된(degraded) 보조 변수를 구성하는 과정을 포함한다. 이를 통해 HCI에 대한 계산 가능한 하한을 얻을 수 있다.

주요 기여 및 결과

• 폐쇄형 표현식:

  • 가우시안 소스: 상관 계수 $\rho_{jk}$를 갖는 결합 가우시안 변수의 경우, 본 논문은 절대 상관 계수의 순서 통계량을 포함하는 폐쇄형 표현식을 도출한다. 구체적으로, 기준 $i$에 대하여 HCI는 집합 내 가장 작은 상관 계수들의 곱에 의존한다.
  • 베르누이 소스: 공통 소스 $U$가 독립적인 노이즈($X_j = U \oplus N_j$)에 의해 오염되어 생성되는 이진 소스의 경우, 폐쇄형 표현식이 도출된다. 주목할 점은, 이러한 소스들에 대해 가치스-쾨너 공통 정보는 0이지만, 제안된 HCI는 유한한 $n$에 대해 엄격히 양수라는 것이며, 이는 통계적(비결정론적) 공유 구조를 포착하는 능력을 입증한다.
  • 일반 이산 소스: 독립적인 성분들로부터 구성된 변수들에 대해, HCI는 성분 집합들의 교집합의 엔트로피와 같음을 보인다.

• 이론적 특성:

  • 경계값: $R(X_1, \dots, X_n) \leq I(X_i; X_j) \leq C_W(X_1, \dots, X_n)$ 이며, $R(X_1, \dots, X_n) \leq DTC(X_1, \dots, X_n) \leq TC(X_1, \dots, X_n)$ 이다.
  • 일관성: $n=2$일 때, $R(X_1, X_2)$는 표준 상호 정보량 $I(X_1; X_2)$로 축소된다.
  • 비증가성: 집합에 더 많은 변수를 추가하는 것은 HCI를 증가시킬 수 없다; $R(X_1, \dots, X_n) \leq R(X_1, \dots, X_{n-1})$.
  • 소멸성: 만약 어떤 쌍의 변수라도 독립이라면, HCI는 0이 된다.

• 경험적 적용 (EEG 데이터):
  저자들은 청각 주의력 과제 수행 중의 64채널 두피 EEG 기록을 포함하는 실제 데이터셋에 수치적 근사법을 적용하였다. 이들은 타겟 및 방해 자극 음성 스트림의 엔벨로프(envelope)와 EEG 신호(측두엽 전극) 간의 관계를 분석하였다.

  • 결과: 연구 결과, 3차 공통 정보($R_3$)는 쌍별 상호 정보량의 최솟값($R_2$)에 의해 설명되지 않는 신경학적 음성 추적 반응에 관한 유의미한 정보를 포함하고 있음을 보여주었다.
  • 통계적 유의성: 회귀 분석을 통해 $R_3$가 $R_2$가 포착한 것 이상의 분산을 신경 추적 반응에서 설명해 냄을 보여주었으며, 이는 음성 반응에 나타나는 고차 의존성의 존재를 확인시켜 준다.

의의
본 논문은 HCI가 외부 타겟이나 잠재 변수 시뮬레이션에 의존하는 방식과는 구별되는, 변수 집합에 내재된 공유 구조의 근본적으로 국소적인 척도를 제공한다고 주장한다. 기존의 경계값(특히 많은 경우에서 쌍별 상호 정보량 및 위너의 공통 정보보다 엄격히 낮은 값)에 비해 중복성을 더 엄격하게 규정함으로써, HCI는 기존의 척도들이 놓치는 공유 구조를 드러낸다. 가우시안 및 베르누이 소스에 대한 폐쇄형 해를 도출하는 능력과 일반 데이터를 위한 실용적인 추정 절차를 결합하여, HCI는 복잡한 시스템 내의 내재적 다변량 의존성을 밝혀내는 새로운 도구를 제공하며, 이는 신경 데이터 분석을 통해 입증되었다.