Laplace Approximation for Bayesian Tensor Network Kernel Machines

Albert Saiapin 과 Kim Batselier 의 논문 "Laplace Approximation for Bayesian Tensor Network Kernel Machines"에 대한 상세한 기술적 요약입니다.

1. 문제 제기

머신러닝 시스템은 모호한 입력, 분포 외 (out-of-distribution) 데이터, 그리고 노이즈가 포함된 특징을 처리하기 위해 강력한 **불확실성 추정 (UE)**이 필요합니다. **가우시안 프로세스 (GPs)**는 UE 를 위한 원칙적인 확률론적 프레임워크를 제공하지만, 계산 복잡도가 데이터 포인트 수에 따라 세제곱 ($O(N^3)$) 으로 증가하여 소규모에서 중규모 데이터셋으로 제한됩니다.

반면, **텐서 네트워크 커널 머신 (TNKMs)**은 모델 가중치를 텐서 네트워크 (특히 Canonical Polyadic Decomposition, CPD) 로 매개변수화함으로써 확장 가능한 대안을 제공합니다. 이는 입력 차원에 비례하여 파라미터 수를 지수에서 선형으로 줄입니다. 그러나 표준 TNKMs 은 일반적으로 최대 사후 확률 (MAP) 추정에 의존합니다. 텐서 네트워크의 비선형적이고 다선형인 구조는 폐쇄형 베이지안 추론에 필요한 가우시안성 가정을 깨뜨려, 비용이 많이 드는 샘플링 방법 (MCMC 등) 이나 복잡한 변분 추론에 의존하지 않고는 원칙적인 불확실성 추정을 도출하기 어렵게 만듭니다.

핵심 질문: 텐서 네트워크 커널 머신이 가우시안 프로세스나 베이지안 신경망 (BNN) 과 비교할 수 있는 원칙적이고 확장 가능한 불확실성 추정을 제공할 수 있는 방법은 무엇인가?

2. 방법론: LA-TNKM

저자들은 텐서 네트워크에서 실행 가능한 베이지안 추론을 수행하기 위해 변분 추론과 (선형화된) 라플라스 근사를 통합하는 LA-TNKM(Laplace Approximation Tensor Network Kernel Machine) 프레임워크를 제안합니다.

주요 구성 요소:

1. 모델 공식화:

   • 모델은 $f(x) = \phi(x)^T w$로 정의되며, 여기서 특징 $\phi(x)$는 텐서 곱 구조를 가지며 가중치 $w$는 CPD 텐서 네트워크로 표현됩니다.
   • 매개변수에 대해 가우시안 가능도 (likelihood) 와 가우시안 사전 분포가 가정됩니다.

2. 라플라스 근사:

   • 고차원 사후 분포를 적분하는 대신 (실현 불가능함), 저자들은 사후 분포 $p(v|D)$를 MAP 추정치 $v^*$를 중심으로 한 가우시안 분포로 근사합니다:
     $$q(v) = \mathcal{N}(v | v^*, H_{v^*}^{-1})$$
   • 여기서 $H_{v^*}$는 최적점에서 평가된 손실 함수의 헤시안 행렬입니다.

3. 헤시안 근사:

   • 텐서 네트워크에 대한 전체 헤시안을 계산하는 것은 메모리 집약적입니다. 논문은 메모리와 정확도 사이의 균형을 맞추기 위해 다섯 가지 근사 전략을 체계적으로 평가합니다:
     • 전체 헤시안 (Full Hessian): 정확하지만 계산 비용이 많이 듭니다 ($O((DIR)^2)$).
     • 일반화된 가우스 - 뉴턴 (GGN): 양의 준정부호 근사로, BNN 에서 자주 사용됩니다.
     • 블록 대각 (Block-Diagonal): CPD 코어 간의 독립성을 가정합니다 (BNN 의 레이어와 유사).
     • 대각 (Diagonal): 모든 가중치가 독립적이라고 가정합니다 (mean-field).
     • 마지막 코어 (Last Core): 초기 코어들을 고정된 것으로 간주하고 마지막 CPD 코어에만 베이지안 추론을 적용합니다. 이는 매우 효율적 ($O(I^2R^2)$) 이고 효과적임이 입증되었습니다.

4. 선형화된 라플라스 근사 (LLA):

   • 저자들은 비선형 모델과 가우시안 사후 분포 사이의 불일치를 해결하기 위해 $v^*$ 주변에서 모델 함수 $f(x, v)$를 선형화합니다.
   • 이를 통해 예측 분포를 선형화된 모델을 사용하여 분석적으로 계산할 수 있으며, 비선형화된 라플라스 근사에 비해 예측 성능 (Negative Log-Likelihood) 을 크게 향상시킵니다.

5. 고유값 절단 (Eigenvalue Truncation):

   • 조건이 나쁜 헤시안 (고유값이 0 에 가깝거나 음수인 경우) 을 처리하기 위해 저자들은 절단된 고유값 분해를 적용합니다. 하이퍼파라미터 $\hat{t}$를 교차 검증을 통해 조정하여 작은 고유값을 필터링함으로써 예측 분산이 폭발하는 것을 방지합니다.

3. 주요 기여

• 새로운 프레임워크 (LA-TNKM): 계산 비용이 표준 MAP 기반 TNKMs 과 비교할 수 있으면서도 불확실성을 인식하는 예측을 가능하게 하는 최초의 베이지안 텐서 네트워크 커널 머신을 도입했습니다.
• 체계적인 헤시안 분석: 텐서 네트워크 컨텍스트 내에서 헤시안 근사 기법 (전체, GGN, 블록, 대각, 마지막 코어) 을 종합적으로 비교하여 메모리 사용량과 예측 성능에 대한 지침을 제공합니다.
• 선형화 전략: 텐서 네트워크에서 고품질 불확실성 추정을 달성하기 위해 예측 함수를 선형화 (LLA) 하는 것이 중요함을 입증했으며, 이는 최근 BNN 연구 결과와 부합합니다.
• 실증적 검증: 다양한 회귀 작업에서 LA-TNKM 이 가우시안 프로세스 및 BNN 과 일치하거나 능가한다는 광범위한 실험을 수행했습니다.

4. 실험 결과

이 방법은 9 개의 UCI 회귀 데이터셋과 합성 cubic 회귀 작업 ($y = x^3 + \epsilon$) 에서 평가되었습니다.

• 기저 모델 대비 성능:

  • LA-TNKM(특히 마지막 코어 근사를 사용한 경우) 은 9 개 데이터셋 중 4 개에서 일관되게 가장 낮은 **음의 로그 가능도 (NLL)**를 달성했으며, 나머지 데이터셋에서도 경쟁력 있는 성능을 보였습니다.
  • 표준 BNN(Bayes-by-Backprop, Variational Dropout) 과 기타 텐서 기반 방법 (MF-BTN, SP-BTN) 보다 우수한 성능을 보였습니다.
  • 불확실성 보정 (Uncertainty Calibration) 측면 (ECP-95 및 상대 보정 오차로 측정) 에서 LA-TNKM 은 BNN 보다 더 날카롭고 (낮은 WCPI-95) 잘 보정된 구간을 생성했으며, 가우시안 프로세스의 동작과 밀접하게 일치했습니다.

• 합성 데이터 발견:

  • 합성 $x^3$ 작업에서 LA-TNKM 은 데이터가 희소한 영역의 불확실성을 성공적으로 포착한 반면, SP-BTN 은 분산을 과대평가하는 경향 (너무 넓은 구간) 을 보였고, LA-BNN 은 외삽 시 모델 불일치 징후를 보였습니다.

• Ablation 연구:

  • 선형화: 선형화된 라플라스 근사 (LLA) 는 NLL 측면에서 표준 라플라스 근사보다 일관되게 우수한 성능을 보였습니다.
  • 헤시안 선택: "마지막 코어" 근사가 가장 메모리 효율적이었으며 일반적으로 가장 잘 수행되었지만, 최적의 선택은 데이터에 의존하는 것으로 나타났습니다. 그러나 "마지막 코어"와 "블록 대각"이 효율성과 정확도 사이의 가장 좋은 균형을 제공했습니다.

5. 의의 및 결론

이 연구는 텐서 네트워크의 확장성과 베이지안 추론의 견고성 사이의 간극을 메웁니다.

• 확장성: 텐서 분해와 효율적인 헤시안 근사를 활용함으로써 LA-TNKM 은 GPs 의 $O(N^3)$ 병목 현상을 피하여, 더 큰 데이터셋과 고차원 입력에 대한 원칙적인 불확실성 추정을 실현 가능하게 합니다.
• 실용성: 이 방법은 복잡한 샘플링이나 변분 가족을 필요로 하지 않고 기존 텐서 네트워크 아키텍처에 "플러그 앤 플레이" 확률론적 레이어를 제공합니다.
• 미래 영향: 많은 회귀 작업에 대해 국소화된 베이지안 처리 (예: 마지막 코어) 와 선형화를 결합하는 것이 최첨단 불확실성 정량화를 달성하기에 충분하다는 결과는 GPs 와 전체 BNN 모두에 대한 계산 효율적인 대안을 제시합니다.

요약하자면, LA-TNKM 은 텐서 네트워크 커널 머신이 효과적으로 베이지안적일 수 있음을 보여주며, 현대 머신러닝의 불확실성 추정을 위한 확장 가능하고 견고하며 원칙적인 접근 방식을 제공합니다.