Riemannian Laplace Approximation with the Fisher Metric

이 논문은 기존 리만 라플라스 근사법의 한계를 지적하고 피셔 계량을 기반으로 데이터가 무한히 많아질 때 정확한 근사가 가능하도록 두 가지 대안 변형을 개발하여 이론적 분석을 확장하고 실험적 개선을 입증합니다.

핵심

1. 문제 상황: "산꼭대기만 보고 지도를 그리다"

상상해 보세요. 여러분이 안개 낀 거대한 산 (데이터의 분포) 에 있습니다. 여러분은 이 산의 전체 모양을 파악하고 싶지만, 안개 때문에 멀리 보이지 않습니다.

• 기존 방법 (라플라스 근사): 여러분은 가장 높은 곳 (최고점, MAP) 에 서서, 그 주변이 얼마나 가파른지 (곡률) 만 보고 지도를 그립니다. 이때 **평평한 평면 (유클리드 공간)**을 기준으로 그리기 때문에, 산이 구불구불하거나 비틀어져 있다면 지도가 실제 지형과 많이 달라집니다. 마치 평평한 종이 위에 구부러진 산을 그려서, 실제 산의 모양을 왜곡시키는 것과 같습니다.

2. 새로운 시도: "산의 지형에 맞춰 구부러진 지도"

최근 연구자들은 "산의 지형 자체를 따라가면 어떨까?"라고 생각했습니다. 이를 **리만 기하학 (Riemannian Geometry)**이라고 합니다.

• 기존의 새로운 시도 (Bergamin et al. 방법): 산의 경사도 (기울기) 를 이용해 지도를 구부리는 방법을 썼습니다. 하지만 이 방법은 너무 좁은 지도를 만들거나, 산의 실제 모양과 어긋나는 (편향된) 지도를 만들어내는 문제가 있었습니다. 마치 산을 따라가려다가 오히려 산을 더 좁게 착각하게 만드는 오류였습니다.

3. 이 논문의 해결책: "피셔 정보량 (Fisher Metric) 이라는 나침반"

저자들은 이 문제를 해결하기 위해 두 가지 방법을 제안했습니다.

방법 A: "되돌아가는 나침반 (로그 맵)"

기존의 잘못된 지도를 바로잡기 위해, "어디로 갔는지 다시 계산해서 되돌아가는" 복잡한 과정을 추가했습니다. 이론적으로는 완벽하지만, 계산이 너무 무겁고 불안정할 수 있습니다.

방법 B: "자연스러운 나침반 (피셔 메트릭)" - 이 논문의 핵심

저자들은 "산의 지형을 가장 잘 설명하는 나침반은 무엇일까?"라고 생각했고, **피셔 정보량 (Fisher Information Matrix)**이라는 도구를 선택했습니다.

• 비유: 피셔 정보량은 산의 자연스러운 굽힘을 가장 정확하게 반영하는 나침반입니다.
  • 만약 산이 완벽한 원뿔 모양이라면, 이 나침반은 평평한 지도와 똑같은 결과를 줍니다.
  • 하지만 산이 구불구불한 '구불구불 산 (Squiggle)'이나 '깔때기 모양 (Funnel)'처럼 기하학적으로 복잡한 형태라도, 이 나침반을 사용하면 산이 실제로 구부러진 대로 지도를 그릴 수 있습니다.
  • 중요한 점은, 데이터가 무한히 많아지면 이 방법이 완벽하게 정확한 지도를 그려준다는 것입니다.

4. 실험 결과: "왜 이 방법이 더 좋은가?"

저자들은 다양한 실험을 통해 이 방법을 검증했습니다.

1. 바나나 모양 분포 (Banana Distribution): 산이 바나나처럼 휘어진 형태입니다. 기존 방법은 휘어진 부분을 제대로 따라가지 못해 산의 끝부분을 놓쳤지만, 피셔 메트릭을 쓴 방법은 바나나의 곡선을 완벽하게 따라갔습니다.
2. 깔때기 모양 (Funnel): 한쪽은 매우 좁고 다른 쪽은 넓은 깔때기 모양입니다. 기존 방법들은 좁은 부분으로 들어가지 못하거나 넓게 퍼져버렸지만, 피셔 메트릭은 정확하게 좁은 통로를 통과했습니다.
3. 신경망 (Neural Networks): 복잡한 AI 모델을 훈련시킬 때도, 기존 방법보다 더 적은 계산량으로 더 정확한 결과를 냈습니다.

5. 요약: 이 논문이 우리에게 주는 메시지

• 기존의 한계: 단순히 "가장 높은 곳"만 보고 지도를 그리면, 복잡한 현실 (데이터) 을 제대로 이해하지 못합니다.
• 기존의 오류: 산을 따라가려던 시도 (기존 리만 방법) 가 오히려 산을 왜곡시켰습니다.
• 해결책: **피셔 정보량 (Fisher Metric)**이라는 도구를 쓰면, 데이터가 가진 자연스러운 '구부러짐'을 가장 잘 이해할 수 있습니다.
• 결론: 이 방법을 쓰면, 복잡한 AI 모델이나 통계 문제를 풀 때 계산은 빠르고, 결과는 훨씬 정확하며, 데이터가 많아질수록 완벽에 가까워집니다.

한 줄 요약:

"복잡하게 구부러진 산 (데이터) 을 평평한 종이 (기존 방법) 로 그리려다 실패했던 과거를 끝내고, **산의 모양에 딱 맞는 유연한 고무 지도 (피셔 메트릭)**를 만들어 완벽한 지도를 그리는 방법을 제안합니다."

기술 요약

이 논문은 베이지안 추론을 위한 리만 라플라스 근사 (Riemannian Laplace Approximation, RLA) 방법론을 개선하고, 특히 피셔 정보 행렬 (Fisher Information Matrix, FIM) 을 기반으로 한 새로운 메트릭을 제안하여 기존 방법론의 한계를 극복하는 내용을 다루고 있습니다.

저자: Hanlin Yu, Marcelo Hartmann, Bernardo Williams, Mark Girolami, Arto Klami (University of Helsinki, University of Cambridge, The Alan Turing Institute)

---

1. 문제 정의 (Problem)

• 라플라스 근사 (Laplace Approximation, LA) 의 한계:
  • 전통적인 LA 는 타겟 분포의 최댓값 (MAP) 에서 가우시안 분포로 근사하는 방법으로, 계산 효율성이 높고 데이터가 무한대로 갈 때 점근적으로 정확합니다 (Bernstein-von Mises 정리).
  • 그러나 유한한 데이터나 복잡한 비가우시안 타겟 분포의 경우, 단순한 가우시안 가정으로 인해 근사가 너무 단순하고 부정확한 경우가 많습니다.
• 기존 리만 라플라스 근사 (RLA-B) 의 결함:
  • Bergamin et al. (2023) 은 리만 기하학을 도입하여 가우시안 분포를 변환함으로써 더 유연한 근사족을 제안했습니다.
  • 그러나 이 논문에서 지적했듯, 그들이 사용한 메트릭 (Monge metric, 그라디언트 기반) 은 편향 (Bias) 을 일으키며, 데이터가 무한히 많아져도 정확한 가우시안 분포로 수렴하지 않습니다.
  • 특히 고차원 공간에서 분산이 실제보다 과소평가되어 (overly narrow) 불확실성 정량화에 실패하는 문제가 발생했습니다.

2. 방법론 (Methodology)

이 논문은 RLA 의 편향을 해결하기 위해 두 가지 대안을 제시하며, 그중 피셔 메트릭 (Fisher Metric) 을 사용한 방법이 핵심입니다.

A. 리만 라플라스 근사의 일반적 프레임워크

• 매개변수 공간에 리만 기하학을 부여하여, 가우시안 분포에서 샘플링된 속도 벡터 (velocity) 를 지오데식 (geodesic, 측지선) 경로를 따라 매니폴드 상으로 변환 (Exponential Map) 하는 방식을 사용합니다.
• 이 과정에서 선택된 메트릭 텐서 (Metric Tensor) 가 근사의 성질을 결정합니다.

B. 제안된 개선 방법 1: 로그 맵을 이용한 보정 (RLA-BLog)

• 기존 RLA-B 의 편향을 보정하기 위해 로그 맵 (Logarithmic Map) 을 도입합니다.
• 가우시안 샘플을 먼저 가상의 매니폴드 (P) 에서 로그 맵을 통해 초기 속도로 변환한 후, 실제 타겟 매니폴드 (M) 의 지오데식을 따라 샘플을 생성합니다.
• 장점: 가우시안 타겟에 대해 정확해집니다.
• 단점: 로그 맵 계산이 수치적으로 불안정할 수 있으며 계산 비용이 높을 수 있습니다.

C. 제안된 방법 2: 피셔 메트릭 기반 RLA (RLA-F) - 핵심 기여

• 메트릭을 그라디언트 기반이 아닌 피셔 정보 행렬 (FIM) 기반으로 변경합니다.
• 메트릭 정의: $G(\theta) = E_Y[-\nabla^2 \log \pi(Y|\theta)] - \nabla^2 \log \pi(\theta)$ (우측 항은 사전분포의 헤시안).
• 이론적 근거:
  • 정리 1 & 2: 가우시안 사전분포와 가우시안 가능도 (또는 지수족) 의 경우, 피셔 메트릭은 상수이며 무한 데이터 한계에서 RLA-F 는 정확합니다.
  • 정리 3: 하우스도르프 MAP (Hausdorff MAP) 을 사용할 경우, 가우시안 분포와 미분동형사상 (diffeomorphism) 관계에 있는 타겟 분포에 대해 RLA-F 는 정확 (Exact) 합니다.
  • 하우스도르프 MAP 은 리만 구조 하에서 재매개변수화 (reparameterization) 에 불변인 최대 우도 추정치로, 피셔 메트릭과 함께 사용 시 편향을 제거합니다.
• 신경망 적용: 신경망의 FIM 을 기본 모델의 FIM 과 자코비안 (Jacobian) 을 이용해 계산하는 방법 (Pullback metric) 을 제시하여 확장성을 확보했습니다.

3. 주요 기여 (Key Contributions)

1. 기존 방법론의 편향 규명: Bergamin et al. (2023) 의 RLA-B 가 무한 데이터 한계에서도 편향되어 불확실성을 과소평가함을 이론적, 실험적으로 증명했습니다.
2. 새로운 메트릭 제안 (Fisher Metric): 편향이 없고, 가우시안과 미분동형사상인 분포에 대해 정확한 근사를 제공하는 피셔 메트릭 기반 RLA-F 를 제안했습니다.
3. 이론적 확장: Hausdorff MAP 과 Fisher 메트릭의 조합이 왜 정확한 근사를 제공하는지에 대한 엄밀한 증명 (Theorem 3) 을 제공했습니다.
4. 실용적 알고리즘: 신경망 모델에서도 FIM 과 Christoffel 심볼을 효율적으로 계산할 수 있는 방법을 제시하여 실제 적용 가능성을 높였습니다.

4. 실험 결과 (Results)

다양한 실험 (2D Banana 분포, 베이지안 로지스틱 회귀, 신경망 회귀) 을 통해 제안된 방법을 평가했습니다.

• Banana 분포 (복잡한 기하학):
  • 기존 RLA-B 는 분포의 형태를 제대로 따라가지 못하고 편향되었습니다.
  • RLA-F 는 Hausdorff MAP 을 사용할 때 가장 정확한 근사를 보였으며, Wasserstein 거리가 가장 작았습니다.
• 베이지안 로지스틱 회귀 (5 개 데이터셋):
  • 정확도: RLA-F 가 모든 데이터셋에서 ELA(전통적) 및 RLA-B 보다 우수한 성능을 보였습니다. 특히 원시 입력 (raw inputs) 을 사용할 때 RLA-B 는 수치적 불안정으로 인해 매우 많은 함수 평가 횟수가 필요했으나, RLA-F 는 안정적이고 빠르게 수렴했습니다.
  • 효율성: RLA-F 는 행렬 역행렬 계산 비용이 있음에도 불구하고, 더 적은 함수 평가 횟수 (T) 로 인해 전체적으로 더 빠른 샘플링 속도를 보였습니다.
• 신경망 회귀 (Neural Network Regression):
  • RLA-F 는 NUTS(참값) 와 거의 구별할 수 없는 예측 분포를 생성했습니다.
  • 반면 RLA-B 와 RLA-BLog 는 예측 분산이 과대평가되거나 (overestimate) 일부 샘플이 편향되는 문제가 있었습니다.
  • RLA-F 는 계산 시간과 함수 평가 횟수 면에서 가장 효율적이었습니다.

5. 의의 및 결론 (Significance)

• 이론적 엄밀성과 실용성의 조화: RLA-F 는 리만 기하학의 이론적 장점 (편향 제거, 정확성) 을 유지하면서도 신경망과 같은 복잡한 모델에 적용 가능한 계산 효율성을 제공합니다.
• 불확실성 정량화의 신뢰성 향상: 기존 RLA-B 의 과소평가 문제를 해결함으로써, 베이지안 딥러닝 및 불확실성 정량화 분야에서 더 신뢰할 수 있는 근사 방법을 제공합니다.
• 확장성: FIM 을 신경망에 적용하는 방법을 체계화하여, 대규모 모델에서도 적용 가능한 방향을 제시했습니다 (미니배칭 등을 통한 추가 최적화 가능성 언급).

요약하자면, 이 논문은 리만 기하학을 활용한 베이지안 추론에서 메트릭 선택의 중요성을 강조하며, 피셔 메트릭을 기반으로 한 새로운 접근법이 기존 방법론의 이론적 결함을 해결하고 실제 성능을 크게 향상시킨다는 것을 입증했습니다.