A Global Characterization of $f$-Divergences Yielding PSD Mutual-Information Matrices

기술적 요약: PSD 상호정보 행렬을 생성하는 f-발산의 전역적 특성화

문제 제기
본 논문은 의존성 측정 및 커널 방법의 근본적인 질문에 답합니다: $n$개의 확률 변수 $X_1, \dots, X_n$이 주어졌을 때, 쌍별 $f$-상호정보 행렬 $M^{(f)}_{ij} := I_f(X_i; X_j)$가 양의 반정부호 (PSD) 커널이 되기 위한 조건은 무엇입니까?

상호정보는 요인 분석, 독립성 검정, 특징 추출에서 널리 사용되지만, 결과 행렬의 PSD 속성은 모든 $f$-발산에 대해 보장되지 않습니다. 본 논문은 분포 간의 발산의 거리 (metric) 속성 (예: $\sqrt{JS}$가 거리인지 여부) 과는 구별되는 이 문제를 다룹니다. 대신 변수 인덱싱된 행렬 $M^{(f)}$의 PSD 성질에 초점을 맞춥니다. 저자들은 $\chi^2$-발산은 PSD 행렬을 생성하지만, 섀넌 상호정보 ($f(t) = t \log t$ 기반) 는 $n \ge 4$인 경우 이 요구 사항을 충족하지 못하며, 이 부정성 (indefiniteness) 은 임의로 약한 쌍별 의존성 하에서도 발생할 수 있음을 지적합니다.

방법론
본 논문은 필요충분조건을 유도하기 위해 확률적 구성, 함수해석학, 대수적 특성화의 조합을 사용합니다.

1. 선형 변환 불변성: 저자들은 먼저 $f$-발산이 선형 변환 $f(t) \mapsto f(t) + c(t-1)$ 하에서 불변임을 확립합니다. 따라서 특성화는 $\bar{f}(1) = \bar{f}'(1) = 0$인 정규화된 대표 $\bar{f}(t)$에 대해 수행됩니다.
2. 복제 임베딩을 통한 충분성: 특정 함수 클래스가 PSD 행렬을 생성함을 증명하기 위해 저자들은 "복제 임베딩 (replica embedding)"을 활용합니다. $m \ge 2$인 단항식 생성자 $f_m(t) = (t-1)^m$의 경우, 상호정보 행렬이 확률 변수의 독립적인 사본 (replicas) 에서 유도된 특정 함수들의 그람 행렬로 실현될 수 있음을 보입니다. PSD 행렬의 음이 아닌 혼합은 여전히 PSD 이므로, 이러한 단항식들의 음이 아닌 혼합으로 표현 가능한 모든 함수는 PSD 생성 함수입니다.
3. 국소 추출과 전역 전파를 통한 필요성:
   • 국소 추출: 저자들은 $t=1$에서의 $f$의 국소적 속성을 추출하기 위해 편향된 잠재 변수 계열 (세 점 커널 $H_a$) 을 구성합니다. 저랭크 한켈 양정부호 보존에 대한 Belton–Guillot–Khare–Putinar (BGKP) 정리를 적용하여, 행렬이 PSD 이라면 $t=1$에서의 $f$의 국소적 테일러 전개가 모든 차수 $m \ge 2$에 대해 음이 아닌 계수를 가져야 함을 입증합니다.
   • 전역 전파: 이 국소적 조건을 전체 정의역 $(0, \infty)$로 확장하기 위해 저자들은 "베르누이 슬라이스"를 분석합니다. 공분산 $\rho$를 가진 베르누이 변수의 경우, 상호정보 $H_p(\rho)$가 이동된 인자에서 평가된 $f$의 선형 결합임을 보입니다. 이동된 BGKP 테스트를 통한 전역 PSD 가 국소적 해석성을 함의한다는 사실을 이용하여 $f(t)$에 대해 대수적으로 풀어, $f$가 $(0, \infty)$에서 해석적이어야 함을 증명합니다.
   • 수렴 반경: 마지막으로 Vivanti–Pringsheim 정리가 적용됩니다. 테일러 계수가 음이 아니므로, 유한한 수렴 반경은 양의 경계에서 특이점을 의미합니다. 그러나 $(0, \infty)$에서 확립된 해석성은 그러한 특이점을 배제하므로, 수렴 반경은 무한해야 합니다.

주요 기여 및 결과
주요 결과는 유한 알파벳 계열에 대한 PSD 생성 $f$-발산의 완전한 특성화를 제공하는 정리 II.1입니다.

정리: $f: (0, \infty) \to \mathbb{R}$가 볼록하고 유한하며 $f(1)=0$이고 유한한 경계값 $f(0)$을 가진다고 합시다. 행렬 $M^{(f)}_{ij} = I_f(X_i; X_j)$가 모든 유한 알파벳 계열에 대해 PSD 일 필요충분조건은 정규화된 대표 $\bar{f}(t) = f(t) + c(t-1)$가 $(0, \infty)$에서 전역적으로 수렴하는 전개를 갖는 것입니다:
$$\bar{f}(t) = \sum_{m \ge 2} a_m (t-1)^m, \quad \text{where } a_m \ge 0.$$

함의 및 예시:

• 성공 사례: $\chi^2$-발산 ($f(t) = (t-1)^2$) 은 PSD 생성 함수입니다. 더 일반적으로, $m \ge 2$인 단항식 $(t-1)^m$의 음이 아닌 전체 혼합 (예: $f(t) = \cosh(t-1) - 1$) 은 "근접 독립" 제한 없이 성공합니다.
• 실패 사례:
  • 섀넌 상호정보: 생성자 $f(t) = t \log t$는 $(t-1) + \frac{1}{2}(t-1)^2 - \frac{1}{6}(t-1)^3 + \dots$로 전개됩니다. 음의 3 차 계수 ($a_3 < 0$) 가 조건을 위반하므로, 섀넌 MI 행렬이 $n \ge 4$인 경우 PSD 가 아닌 이유를 설명합니다.
  • 젠센-섀넌 발산: 마찬가지로, 그 전개에는 음의 3 차 항이 포함되어 제외됩니다.
  • 비해석적 생성자: $t=1$에서 볼록하지만 해석적이지 않은 함수들, 예를 들어 총변동 (Total Variation, $f(t) = \frac{1}{2}|t-1|$) 또는 ReLU ($f(t) = (t-1)_+$) 는 제외됩니다. 본 논문은 네 개의 변수를 사용하여 총변동에 대한 결과 커널 행렬이 부정적 (indefinite) 인 구체적인 반례를 제시합니다.

의의
본 논문은 거리 속성과 구별되는 "커널 특성화 문제"를 해결했다고 주장합니다. 이는 커널 맥락에서 $\chi^2$ 기반 측정의 성공과 섀넌 및 젠센-섀넌 측정의 실패 뒤에 있는 구조적 이유를 설명합니다. 이 결과는 변수 인덱싱된 행렬에 대한 PSD 생성이 정보이론적 의존성 측정의 경우 "매우 취약 (exceptionally brittle)"하며, 단순한 국소적 볼록성이 아닌 전역적 해석성과 음이 아닌 테일러 계수를 요구함을 강조합니다. 저자들은 이 결과가 유한 알파벳에 대해 확립되었지만, 연속 모델로의 확장은 추가적인 측도론적 가정을 필요로 하겠지만, 유한 알파벳의 장애물 자체가 이미 명확한 이론적 경계를 제공한다고 지적합니다.