Weak Information Geometry: Riemannian Structures from Distributional Inference Functions and Stein Discrepancies

기술 요약: 약한 정보 기하학 (Weak Information Geometry)

문제 정의
Fisher, Rao, Amari 등에 의해 개척된 통계 모델의 고전적 미분 기하학 이론은 Fisher-Rao 메트릭에 의존한다. 이 메트릭은 지배적인 $\sigma$-유한 측도(measure)에 대한 확률 밀도 함수의 존재, 로그 가능도(log-likelihood)의 미분 가능성, 그리고 정보 행렬의 유한성을 요구한다. 이러한 조건들은 다음과 같은 중요한 통계 모델 클래스에서 실패한다:

1. 매개변수 의존적 지지집합 (Parameter-dependent support): 분포의 지지집합이 매개변수에 따라 변하는 모델 (예: 균등 척도, 이동된 지수 분포)은 스코어 함수(score function)가 편향되거나 정의되지 않게 만든다.
2. 지배 측도의 부재: 지배적인 측도가 존재하지 않는 특이 연속 가족 (예: 칸토어 위치 모델)에서는 가능도나 스코어 함수 자체가 존재할 수 없다.
3. 모멘트의 부재: 두터운 꼬리(heavy tails)를 가진 모델 (예: $\nu \le 1$인 Student $t$ 분포, $\alpha$-안정 프로세스)에서는 고전적 모멘트가 발산한다.
4. 지배된 모델에서의 편향된 스코어: 층화된 유한 혼합 모델(stratified finite mixtures)에서 스코어 함수는 편향된 추론 함수가 되어, 형식적인 가능도가 존재함에도 불구하고 최대 가능도 추정량(MLE)의 일관성을 해친다.

이러한 시나리오에서 Fisher-Rao 구조는 사용 불가능하거나 추론적으로 무의미하며, 따라서 측지선(geodesics), 곡률 분석, 자연 경사법(natural gradient methods)과 같은 정보 기하학 도구의 적용을 방해한다.

방법론
본 논문은 확률 법칙의 표현을 밀도가 아닌 템퍼드 분포(tempered distribution) $T_\theta \in \mathcal{S}'(\mathbb{R}^k)$로 전환함으로써 통계 모델을 일반화할 것을 제안한다. 이 프레임워크에서 법칙은 테스트 함수 $g \in \mathcal{S}(\mathbb{R}^k)$와 그 기댓값 $\langle T_\theta, g \rangle = \mathbb{E}_\theta[g(X)]$ 사이의 매핑인 연속 선형 범함수로 식별된다.

정보는 국소적인 가능도의 거동으로부터 추출되는 것이 아니라, 하나의 도구(instrument) (또는 측정 장치)를 통해 추출된다. 본 논문은 두 가지 클래스의 도구를 활용한다:

1. 약한 정규 추론 함수 (Weak Regular Inference Functions): Godambe의 정규 추론 함수의 일반화로, 여기서 비편향성과 미분 가능성은 밀도에 대한 점별 항등식이 아니라, 분포적 표현 $T_\theta$와 테스트 함수 사이의 쌍(pairing)으로 표현된다.
2. 약한 스타인 표현 (Weak Stein Representations): 테스트 함수에 작용하여 $\langle T_\theta, A_\theta g \rangle = 0$을 만족하는 연산자 $A_\theta$.

선택된 도구 $\psi(\cdot, \theta)$에 대하여, 본 논문은 약한 민감도(weak sensitivity) $S(\theta) = -\mathbb{E}_\theta[\partial_\theta \psi]$와 약한 변동성(weak variability) $V(\theta) = \mathbb{E}_\theta[\psi \psi^\top]$를 정의한다. Godambe 정보 행렬은 다음과 같이 구성된다:
$$G(\theta) = S(\theta)^\top V(\theta)^{-1} S(\theta)$$
이 행렬은 매개변수 공간 $\Theta$ 상의 리만 메트릭 역할을 한다. 이 프레임워크는 모델 맵 $\theta \mapsto \langle T_\theta, g \rangle$가 약하게 미분 가능하다는 가정(Assumption 2.3)에 의존하며, 이를 통해 약한 Bartlett 항등식을 사용하여 민감도와 분포의 미분 관계를 연결한다.

주요 기여 및 결과

1. 리만 통계 모델의 확장 (Theorem 1.1):
   본 논문은 매개변수 가족이 완전 계수(full-rank) 민감도를 가진 도구를 갖추고 양의 정치성(positive-definite) 변동성을 가질 경우, Godambe 정보 $G(\theta)$가 매끄러운 리만 메트릭을 정의함을 증명한다. 이는 리만 구조를 허용하는 모델의 범위를 Fisher-Rao 클래스를 훨씬 넘어 확장한다.

   • Fisher-Rao의 회복: 밀도가 존재하고 스코어 함수가 허용 가능한 도구일 때, $G(\theta)$는 Fisher 정보 $I(\theta)$와 일치한다.
   • Loewner 순서: Fisher 정보가 존재하는 모든 경우, $G(\theta) \preceq I(\theta)$ (Loewner 순서) 관계가 성립한다. 등호는 도구가 스코어의 비특이 선형 변환일 때만 성립한다.

2. 비정규 모델에서의 도구 존재성 (Proposition 1.2):
   본 논문은 Fisher-Rao 조건을 서로 다른 이유로 충족하지 못하는 모델들에 대해 적절한 도구가 존재함을 입증한다:

   • 균등 척도 및 이동된 지수 분포: 매개변수 의존적 지지집합은 모멘트 기반 또는 변환 기반(특성 함수) 도구를 통해 처리되며, 매끄러운 메트릭을 생성한다.
   • 칸토어 위치 가족: 지배 측도가 없는 특이 연속 모델도 유계 변환 도구(사인 함수) 또는 모멘트 도구를 통해 Godambe 메트릭을 허용한다. 모멘트 도구의 경우 메트릭은 평탄하다 ($G(\theta) \equiv 8$).
   • 층화된 유한 혼합: 스코어가 편향된 지배된 모델에서, "층화 불가지론적(stratification-agnostic)" 도구(모든 구성 법칙 하에서 비편향적인 도구)는 유효한 리만 메트릭을 회복하지만, 가능도 기반 경로는 실패한다.
   • $\alpha$-Stable 격자 SPDE: 분산이 정의되지 않는 $\alpha$-안정 노이즈에 의해 구동되는 동적 시스템은 고유 모드 프로브(eigenmode probes)로부터 유도된 폐쇄형 Godambe 메트릭을 갖는다.

3. Stein 편차 등가성 (Section 6):
   본 논문은 이차 Stein 편차가 Godambe 메트릭과 동일한 국소 기하학을 유도함을 입증한다. 구체적으로, 최적의 가중치 $V(\theta)^{-1}$를 사용하여 기대 잔차의 이차 형식으로 Stein 편차가 정의될 때, 결과 메트릭은 정확히 Godambe 정보와 같다. 이는 Stein 방법론을 정보 기하학과 직접 연결한다. 또한, RKHS Stein 편차는 연속적인 항등체들을 집합시키는 계층적 기하학을 생성함을 보여준다.

4. 기하학적 안정성 및 스펙트럼 갭 (Section 5):
   격자 열방정식 예시에서, Godabe 메트릭이 정상 상태 값으로 안정화되는 속도는 기저의 이산 라플라시안(discrete Laplacian)의 **스펙트럼 갭(spectral gap)**에 의해 결정됨을 보여준다. 이는 시스템의 동적 안정성과 통계 모델의 기하학적 안정성 사이의 정량적 가교를 제공한다.

5. 추론 분리 및 블록 대각화 (Section 8):
   본 논문은 추론 분리(nonformation)에 대한 기하학적 특성을 제공한다. Godambe 메트릭의 오프-대각 블록이 소멸하는 것($G_{\alpha\beta} = 0$)은 관심 매개변수와 넌서스(nuisance) 매개변수의 직교성에 대응한다.

   • 자동 직교성: 대칭 위치-척도 모델에서, 홀수(사인)와 짝수(코사인) 도구 쌍을 사용하면 자동으로 블록-대각 메트릭을 얻게 되며, 이는 스코어가 없는 모델(예: 코시, 칸토어)에서도 정확한 추론 분리를 달もの한다.
   • Bhapkar–Godambe 투영: 관심 도구를 넌서스 도구의 직교 보공간으로 투영함으로써 메트릭을 블록-대각화하는 구성적 방법을 제시한다.

의의 및 주장
본 논문은 모델의 표현을 밀도 기반에서 도구 기반으로 전환함으로써, 미분 기하학적 처리가 유지됨을 주장한다.

• 존재성 vs 정형성: 이 확장은 Chentsov-Markov 불변성(Fisher 메트릭의 유일성)을 희생하는 대신 존재성을 얻는다. 비정규 모델에서는 정형적인 메트릭이 존재하지 않으며, 대신 도구의 선택에 의해 인덱싱되는 Godambe 메로의 가족이 존재한다.
• 도구 상대적 기하학: 메트릭은 특정 도구를 통해 바라본 모델의 기하학으로 해석된다. 서로 다른 도구는 서로 다른 기하학을 생성하며, 비정규 모델(예: 균등 척도)의 경우, 이 가족은 최대 원소(Fisher 유형의 상한이 없는 경우)를 결여할 수 있으며, 이는 초효율성(superefficiency) 현상을 반영한다.
• 유용성: 이 프레임워크는 매개변수 의존적 지지집합, 특이 측도, 무한 분산을 포함하여 기존에는 "병리적"이거나 접근 불가능하다고 여겨졌던 모델들에 기하학적 도구(측지선, 곡률, 자연 경사)를 적용할 수 있게 한다.

결론적으로, 본 논문은 Godabe-리만 구조가 가능도 함수로부터의 존재성을 분리하여, 추론 함수에 기반한 통합된 통계 모델의 특성을 제공한다고 주장한다.