Functional Bias and Tangent-Space Geometry in Variational Inference

이 논문은 변분 추론에서 사후 분포 함수량의 편향을 분석하기 위한 기하학적 프레임워크를 제시하여, 변분 접공간에 수직인 성분이 편차의 주요 원인이 되며 특히 평균장 가정 하에서 교차 블록 간 의존성 측정이 체계적으로 왜곡되는 현상을 설명합니다.

핵심

1. 문제 상황: 완벽한 지도를 그릴 수 없는 상황

상상해 보세요. 여러분은 아주 복잡하고 구불구불한 산악 지형 (실제 데이터와 확률 분포) 의 지도를 그려야 합니다. 하지만 여러분은 직선과 사각형으로만 그림을 그릴 수 있는 도구만 가지고 있습니다. 이것이 바로 '변분 추론'입니다.

• 실제 지형 (Posterior): 매우 복잡하고 구불구불한 산, 계곡, 강이 있습니다.
• 변분 추론 (Variational Approximation): 이 복잡한 지형을 직선과 사각형으로 단순화해서 근사적으로 그리는 방법입니다.

이 방법은 계산이 빠르고 쉽다는 장점이 있지만, 원래 지형의 복잡한 곡선이나 구석구석을 완벽하게 묘사할 수는 없습니다. 그래서 "어디가 얼마나 틀렸을까?"가 중요한 문제가 됩니다.

2. 핵심 발견: "직선"은 잘 그리지만, "교차"는 못 그린다

이 논문의 저자는 이 오류가 무작위가 아니라, 기하학적인 규칙을 따르고 있다고 발견했습니다.

여기서 중요한 개념은 **'접선 공간 (Tangent Space)'**입니다. 쉽게 말해, **"우리 도구 (직선과 사각형) 로 그릴 수 있는 것들의 집합"**이라고 생각하세요.

• 접선 공간에 있는 것 (Tangent Space):

  • 예를 들어, "산 A 의 높이"나 "산 B 의 높이"처럼 개별적인 부분을 설명하는 것은 우리 도구로 잘 그릴 수 있습니다.
  • 이 논문은 "개별 블록 (산 A, 산 B) 에 대한 정보"는 변분 추론이 매우 정확하게 잡아낸다고 말합니다.

• 접선 공간에 없는 것 (Orthogonal Complement):

  • 하지만 "산 A 와 산 B 가 함께 어떻게 움직이는지" (예: 산 A 가 높을 때 산 B 는 반드시 낮아지는 관계) 같은 **상호작용 (Interaction)**은 우리 도구 (직선/사각형) 로는 그릴 수 없습니다.
  • 이 논문은 이 '상호작용' 부분이 바로 오류 (Bias) 의 주범이라고 지적합니다.

3. 비유: 사진 필터와 교차점

이해를 돕기 위해 사진 필터 비유를 들어보겠습니다.

• 상황: 여러분은 두 사람 (A 와 B) 이 서로 손을 잡고 춤추는 장면을 찍으려 합니다.
• 변분 추론 (단순 필터): 이 필터는 "A 의 모습"과 "B 의 모습"을 각각 따로 잘 처리할 수 있습니다. (A 는 웃고 있고, B 는 춤추고 있다).
• 문제점: 하지만 이 필터는 **"A 와 B 가 손을 잡고 있다는 사실 (상호작용)"**을 무시합니다. 필터는 A 와 B 를 따로따로 찍어서 합쳐놓은 것처럼 보이게 만들 뿐, 그들이 서로 연결되어 있다는 '관계'는 사라져 버립니다.

이 논문은 **"변분 추론은 개별적인 특징 (A 의 얼굴, B 의 옷) 은 잘 보여주지만, 그들 사이의 관계 (손을 잡음) 를 보여주는 데는 큰 실수를 저지른다"**고 말합니다.

4. 왜 이런 일이 일어날까? (기하학적 설명)

논문의 핵심 아이디어는 다음과 같습니다.

1. 오류의 원인: 우리가 그릴 수 없는 방향 (접선 공간에 수직인 방향) 으로 실제 지형이 얼마나 찌그러져 있느냐에 따라 오류가 결정됩니다.
2. 상호작용의 중요성: 만약 우리가 "A 와 B 의 관계"를 알고 싶다면 (예: 두 변수의 공분산, 꼬리 확률 등), 변분 추론은 1 차적인 큰 오류를 범합니다.
3. 개별 정보의 정확성: 만약 우리가 "A 의 평균값"만 알고 싶다면, 변분 추론은 오류가 거의 없습니다 (2 차 이상의 아주 작은 오류만 남습니다).

5. 결론: 무엇을 믿고 무엇을 의심해야 할까?

이 연구는 우리에게 다음과 같은 실용적인 조언을 줍니다.

• 믿을 수 있는 것: 개별 변수들의 평균이나 분산 같은 단순한 요약 정보는 변분 추론으로 구해도 꽤 정확합니다.
• 주의해야 할 것: 변수들 사이의 **관계 (상관관계, 공분산, 동시 발생 확률)**를 구할 때는 변분 추론이 심각하게 왜곡될 수 있습니다.

한 줄 요약:

"변분 추론은 개별적인 사실은 잘 알려주지만, 사실들 사이의 복잡한 관계는 무시하고 단순화해버리기 때문에, 관계에 대한 분석을 할 때는 특히 조심해야 한다."

이 논문은 수학적으로 복잡한 증명들을 통해, 왜 우리가 변분 추론을 쓸 때 "관계"에 대한 결론을 내릴 때 항상 의심을 품어야 하는지에 대한 기하학적 이유를 명확히 밝혀냈습니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 변분 추론 (Variational Inference, VI) 은 계산적으로 다루기 어려운 베이지안 사후 분포를 다루기 쉬운 분포족 (tractable family) 으로 투영하여 근사하는 널리 사용되는 방법론입니다.
• 문제점: 기존 VI 의 이론적 분석은 대부분 Kullback-Leibler (KL) 발산과 같은 전역적 (global) 거리 측정에 초점을 맞추고 있습니다. 그러나 실제 응용에서는 사후 분포의 특정 요약 통계량 (기대값, 분산, 공분산, 꼬리 확률 등) 의 정확도가 더 중요합니다.
• 핵심 질문: 변분 근사로부터 어떤 사후 분포 요약 통계량 (posterior functionals) 을 정확하게 추정할 수 있으며, 왜 특정 통계량 (예: 블록 간 의존성) 은 체계적으로 왜곡되는가?
• 목표: 전역적 오차가 아닌, **특정 기능 (functional) 에 대한 편향 (bias)**을 기하학적 관점에서 분석하고 그 구조를 규명하는 것입니다.

2. 방법론 (Methodology)

이 논문은 변분 해를 사후 분포를 제한된 변분족으로 KL 투영 (KL projection) 한 것으로 해석하고, 접공간 (Tangent Space) 기하학을 도입하여 편향을 분석합니다.

• 잔차 표현 (Residual Representation):
  • 사후 분포 $\pi$와 변분 근사 $q^*$ 사이의 로그 밀도 잔차 $\Delta(\theta) = \log(q^*/\pi)$를 정의합니다.
  • KL 최적화 조건에 의해, 이 잔차 $\Delta$는 변분족의 접공간 $T_{q^*}Q$와 직교 (orthogonal) 합니다 (Lemma 1).
• 기능적 편향 분해 (Functional Bias Decomposition):
  • 임의의 함수 $g$ (사후 분포의 요약 통계량) 를 접공간 $T_{q^*}Q$에 평행한 성분 ($g_{\parallel}$) 과 직교하는 성분 ($g_{\perp}$) 으로 분해합니다.
  • 주요 발견: $g$의 편향 (기대값 차이) 은 주로 **접공간에 직교하는 성분 ($g_{\perp}$)**에 의해 결정됩니다. 접공간에 속하는 성분은 2 차 편향만 발생시키지만, 직교 성분은 1 차 편향 (leading-order bias) 을 유발합니다 (Theorem 1).
• 구조화된 Mean-Field 가족 분석:
  • 매개변수를 블록 ($\theta_{B_1}, \dots, \theta_{B_m}$) 으로 나누는 구조화된 Mean-Field 가정 하에서 접공간을 명시적으로 특성화합니다.
  • 이 경우 접공간은 **블록 가법 함수 (block-additive functions)**의 집합이며, 그 직교 여백은 **블록 간 상호작용 (interaction terms)**에 해당합니다.

3. 주요 기여 (Key Contributions)

1. 기능적 편향 분해 공식 유도: 변분 KL 투영에 대한 편향을 변분 접공간의 직교 여백 (orthogonal complement) 과 관련된 항으로 표현하는 공식을 도출했습니다.
2. 접공간 정렬 함수의 편향 특성: 접공간에 정렬된 (aligned) 사후 분포 함수는 변분 근사 하에서 **2 차 편향 (second-order bias)**만 갖는다는 것을 증명했습니다. 즉, 1 차 편향이 제거됩니다.
3. 구조화된 Mean-Field 에 대한 접공간 특성화:
   • 접공간은 개별 블록에 의존하는 가법 함수들로 구성됨을 보였습니다.
   • 블록 간 상호작용 (interaction) 성분이 1 차 편향의 주원인임을 규명했습니다.
4. 구체적 예시 분석: 사후 공분산 (cross-covariance), 선형 대비의 분산, 결합 꼬리 확률 (joint tail probabilities) 등에 대한 이론적 함의를 예시를 통해 설명했습니다.
5. 국소 점근적 편향 전개 (Local Asymptotic Bias Expansion):
   • 국소 점근적 정규성 (LAN) 조건 하에서 편향의 점근적 전개를 유도했습니다.
   • Mean-Field 근사 시, **생략된 상호작용 방향 (omitted interaction directions)**이 교차 블록 의존성 측정치 (cross-block dependence measures) 에 1 차 점근적 왜곡을 발생시킨다는 것을 보였습니다.

4. 주요 결과 (Key Results)

• 기하학적 편향 원리: 사후 분포 요약 통계량의 편향은 그 함수가 변분족의 접공간에 얼마나 "수직"인지에 의해 결정됩니다.
  • 접공간 내 함수: 정확한 추정 (편향은 $O(\|\Delta\|^2)$).
  • 접공간 외 함수 (상호작용): 큰 편향 발생 (편향은 $O(\|\Delta\|)$).
• Mean-Field 의 체계적 왜곡:
  • Mean-Field 가정은 블록 간 의존성을 무시하므로, 블록 간 상호작용을 포함하는 통계량 (예: $Cov(\theta_i, \theta_j)$ where $i \neq j$) 은 체계적으로 과소평가되거나 왜곡됩니다.
  • 반면, 개별 블록의 합이나 가법 함수는 정확하게 추정됩니다.
• 점근적 결과 (Theorem 3 & Proposition 3):
  • 정규 근사 하에서, Mean-Field 변분 추론은 공분산 행렬의 비대각선 요소 (상호작용) 를 0 으로 강제합니다.
  • 이로 인해 $g(\theta) = \theta_i \theta_j$ ($i \neq j$) 와 같은 함수의 기대값 편향은 $\frac{\Sigma_{ij}}{n} + o(n^{-1})$로, 사후 분포의 실제 공분산 $\Sigma_{ij}$에 비례하는 0 이 아닌 1 차 편향을 가집니다.
  • 반면, 블록 가법 함수에 대해서는 이 1 차 편향 항이 소거됩니다.

5. 의의 및 결론 (Significance)

• 이론적 통찰: 변분 추론의 실패나 성공을 전역적 거리 (KL divergence) 가 아닌, 구체적인 통계량의 기하학적 구조 관점에서 설명합니다. 이는 준모수 통계학 (semiparametric inference) 에서의 효율적 추정자 이론과 유사한 기하학적 틀을 제공합니다.
• 실용적 함의:
  • 연구자들은 어떤 통계량을 추정하려는지 (예: 공분산 vs 평균) 에 따라 변분족을 선택해야 함을 시사합니다.
  • **구조화된 Mean-Field (Structured Mean-Field)**가 완전한 독립 가정보다 우수한 이유는 블록 구조를 확장함으로써 접공간을 넓히고, 직교 여백 (편향 원인) 을 줄이기 때문입니다.
• 향후 방향:
  • 더 복잡한 변분족 (믹스처 모델, Normalizing Flows) 에 대한 기하학적 분석.
  • 접공간과 변분 알고리즘 (예: Coordinate Ascent) 의 수렴 속도 간의 관계 규명.
  • 편향에 취약한 통계량을 식별하는 진단 도구 개발.

결론적으로, 이 논문은 변분 추론의 편향이 단순한 계산적 한계가 아니라, 변분족의 기하학적 구조 (접공간) 와 추정하려는 함수의 방향성 사이의 불일치에서 비롯됨을 수학적으로 엄밀하게 증명했습니다. 이는 변분 근사의 정확성을 평가할 때 전역적 거리뿐만 아니라 관심 있는 기능적 (functional) 특성에 대한 기하학적 적합성을 고려해야 함을 시사합니다.