📊 statistics

Self-Supervised Laplace Approximation for Bayesian Uncertainty Quantification

본 논문은 다양한 회귀 작업에서 고전적인 라플라스 근사보다 우수한 보정 능력과 계산 효율성을 제공하며, 자기 예측 데이터에 대한 모델 재적합을 통해 베이지안 예측 불확실성을 정량화하는 새로운 샘플링 없는 방법인 자기지도 라플라스 근사 (SSLA) 를 소개합니다.

원저자: Julian Rodemann, Alexander Marquard, Thomas Augustin, Michele Caprio

게시일 2026-05-13

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Julian Rodemann, Alexander Marquard, Thomas Augustin, Michele Caprio

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

맛있는 케이크를 위한 완벽한 레시피를 완성한 셰프가 되어 상상해 보세요. 당신은 밀가루, 설탕, 계란을 얼마나 사용해야 하는지 정확히 알고 있습니다 (이것이 바로 당신의 파라미터입니다). 하지만 현실 세계에서는 단순히 레시피를 아는 것만으로는 부족합니다. 당신은 알고 싶습니다: "이 케이크를 고객에게 굽는다면, 그것이 완벽하게 나올 것이라고 얼마나 확신할 수 있을까?"

기계 학습의 세계에서는 이 "얼마나 확신할 수 있는가?"라는 질문을 **불확실성 정량화 (uncertainty quantification)**라고 부릅니다.

이 논문은 그 질문에 답하는 새로운 방법을 소개합니다. 바로 **자기지도식 라플라스 근사 (Self-Supervised Laplace Approximation, SSLA)**와 그 더 빠른 버전인 ASSLA입니다. 이것이 어떻게 작동하는지 간단한 개념으로 나누어 설명하겠습니다.

문제: "레시피" 대 "케이크"

전통적으로 모델이 얼마나 불확실한지 파악하기 위해 과학자들은 데이터를 생성했을 가능성이 있는 "레시피"(파라미터) 의 모든 버전을 매핑하려고 시도합니다. 그들은 이렇게 묻습니다. "설탕을 조금 더 사용했다면 어떨까? 밀가루를 조금 덜 사용했다면 어떨까?"

이는 어떤 케이크가 가장 좋은지 보기 위해 케이크의 모든 변형을 맛보는 것과 같습니다. 이는 특히 신경망과 같은 복잡한 모델 (거대하고 다층적인 케이크와 같은) 의 경우 매우 느리고 계산 비용이 많이 듭니다.

해결책: "자기 맛보기" 트릭

저자들은 모든 가능한 레시피 변형을 맛보는 대신, 모델이 자신의 미래 데이터를 예측하고 그 예측에 어떻게 반응하는지 보라는 영리한 단축키를 제안합니다.

이것을 다음과 같이 생각해보세요:

예측: 현재 가장 좋은 레시피를 바탕으로 케이크를 굽습니다. 예를 들어, 맛이 "초콜릿"일 것이라고 예측합니다.
자기 테스트: 당신은 그 "초콜릿"이 방금 발견한 실제 사실인 것처럼 가장합니다. 이 "초콜릿" 사실을 증거 노트에 추가합니다.
재굽기: 당신은 원래 데이터에 이 새로운 "초콜릿" 사실을 더하여 케이크를 빠르게 다시 굽습니다 (모델을 다시 적합시킵니다).

통찰:

如果你的 모델이 케이크 맛이 초콜릿일 것이라고 매우 확신했다면, 이 사실을 추가해도 레시피는 크게 변하지 않습니다. 케이크 맛은 그대로입니다. 낮은 불확실성.
만약 모델이 추측 중이었고 케이크가 실제로 "바닐라" 맛이라면 (또는 모델이 불확실하다면), "초콜릿" 사실을 추가하면 이를 수용하기 위해 레시피를 극적으로 변경해야 합니다. 높은 불확실성.

모델이 자신의 예측을 받아들이기 위해 얼마나 "땀을 흘려야"(파라미터를 변경해야) 하는지 측정함으로써, 모델이 얼마나 불확실한지에 대한 직접적인 측정을 얻을 수 있습니다.

두 가지 버전: SSLA 와 ASSLA

1. SSLA (꼼꼼한 셰프)
이 버전은 전체 과정을 실제로 수행합니다: 예측하고, 데이터를 추가하고, 케이크를 다시 굽고, 변화를 측정합니다. 이는 매우 정확하지만 모델을 "다시 굽는"(재학습) 과정이 필요하므로 시간이 걸립니다.

2. ASSLA (빠른 셰프)
저자들은 대부분의 케이크의 경우 레시피를 조정해야 하는지 알기 위해 완전히 다시 굽을 필요가 없다는 것을 깨달았습니다. 이미 가지고 있는 재료만 살펴보면 변화를 추정할 수 있습니다.

ASSLA는 전체 재굽기를 생략합니다. 레시피가 얼마나 변했을지 추측하기 위한 수학적 단축키 (근사) 를 사용합니다.
결과: 훨씬 빠르며 꼼꼼한 버전과 거의 동일한 정확도를 가지므로 거대한 데이터셋과 복잡한 모델에 실용적입니다.

왜 이것이 중요한가

이 논문은 이 방법이 다음과 같다고 주장합니다:

더 빠름: 불확실성을 추정하기 위해 수천 개의 무작위 샘플 (몬테카를로) 을 필요로 하는 전통적인 방법의 중노동을 피합니다.
모듈형: 시스템을 망가뜨리지 않고 레시피에 대한 다른 "가정"(사전분포) 을 교체할 수 있습니다. 마치 "글루텐 프리" 가정에서 "비건" 가정으로 변경할 때 주방 전체를 재건하지 않아도 되는 것과 같습니다.
정확함: 인공 데이터와 실제 세계 데이터 (콘크리트 강도 예측이나 와인 품질 예측 등) 를 사용한 테스트에서 SSLA 와 ASSLA 는 기존 표준 방법보다 더 나은 "보정"(신뢰도 수준이 현실과 일치함) 을 제공했습니다.

함정 (한계점)

이 논문은 이 트릭이 어디서 실패할 수 있는지 솔직하게 인정합니다:

"간" 문제: 일부 어려운 시나리오 (테스트에서의 "간 질환" 데이터셋과 같은) 에서 빠른 버전 (ASSLA) 은 때로 너무 확신하여 위험을 과소평가합니다. 이는 자신의 실력을 너무 확신하여 나쁜 계란 통을 무시하는 셰프와 같습니다.
대규모 데이터 오류: 데이터셋이 방대할 때 (수백만 개의 항목), 빠른 버전의 수학적 기반은 컴퓨터 정밀도 한계로 인해 약간 "노이즈"가 발생할 수 있지만, 꼼꼼한 버전 (SSLA) 은 여전히 견고하게 유지됩니다.

요약

간단히 말해, 이 논문은 기계 학습 모델이 자신의 미래를 예측하고 그 예측이 그 기반을 얼마나 흔드는지 보임으로써 모델의 신뢰도를 측정하는 방법을 가르쳐 줍니다. 모델이 거의 깜짝 놀라지 않는다면 그것은 확신 있는 것입니다. 만약 당황하고 마음을 바꾼다면 그것은 불확실한 것입니다. 그리고 그들의 "빠른 셰프"(ASSLA) 방법 덕분에 오븐을 예열하는 몇 시간을 기다리지 않고도 이를 수행할 수 있습니다.

기술 요약: 베이지안 불확실성 정량을 위한 자기지도식 라플라스 근사

문제 제기

근사 베이지안 추론 (ABI) 은 전통적으로 모델 파라미터의 사후 분포, $p(\theta | D)$ 를 계산하는 데 중점을 두어 왔습니다. 그러나 실제 응용에서는 파라미터 자체가 아닌 예측의 불확실성을 정량화하는 사후 예측 분포, $p(\hat{y}_{n+1} | x_{n+1}, D)$ 가 종종 주요 관심 대상이 됩니다.

변분 추론 (VI), 마르코프 연쇄 몬테카를로 (MCMC), 또는 파라미터 사후 분포에 적용된 후 몬테카를로 (MC) 샘플링을 수행하는 고전적 라플라스 근사와 같은 사후 예측 분포를 근사하는 표준 방법들은 종종 상당한 계산 오버헤드를 수반합니다. 구체적으로, 베이지안 신경망 (BNN) 에서 파라미터 사후 분포를 적분하기 위한 MC 샘플링의 필요성은 추론 비용을 급격히 증가시킵니다. 또한, 기존 결정론적 대안들은 종종 강력한 분포 가정에 의존하거나 불확실성 모델링을 최종 레이어로 제한하여 일반 딥러닝 회귀 모델에 대한 적용 가능성을 제한합니다.

방법론

저자들은 파라미터 사후 분포의 명시적 계산을 우회하여 사후 예측 분포를 직접 근사하는 **자기지도식 라플라스 근사 (SSLA)**를 제안합니다. 이 방법은 자기 학습 (self-training) 과 준지도 학습 개념, 특히 자기 예측 데이터로부터 학습한다는 아이디어에서 영감을 받았습니다.

핵심 메커니즘

SSLA 의 근본적인 통찰은 모델이 자기 예측 데이터에 대해 "재적합 (refit)"될 때 모델 적합도가 어떻게 변화하는지 관찰함으로써 예측 불확실성을 정량화하는 것입니다.

증강 데이터셋: 훈련 데이터셋 $D$ 와 새로운 입력 $x_{n+1}$ 이 주어지면, 모델은 점 예측 $\hat{y}_{n+1}$ (예: MAP 예측) 을 생성합니다. 그런 다음 증강 데이터셋 $D_{n+1} = D \cup \{(x_{n+1}, \hat{y}_{n+1})\}$ 이 구성됩니다.
재적합: 모델은 $D_{n+1}$ 에 대해 재적합되어 새로운 최적점 $\tilde{\theta}$ 를 찾습니다.
불확실성 정량화: 예측 불확실성은 자기 예측의 포함로 인해 유발된 모델의 가능도, 사전 분포, 그리고 곡률 (피셔 정보) 의 변화로부터 도출됩니다.
- 모델이 자기 예측에 높은 가능도를 부여하는 경우 (즉, $\tilde{\theta} \approx \hat{\theta}$ ), 예측은 낮은 불확실성으로 간주됩니다.
- 자기 예측이 모델 적합도에 상당한 변화를 일으키는 경우 (가능도 또는 곡률의 큰 변화), 예측에는 높은 불확실성이 할당됩니다.

수학적 공식화

저자들은 모델 적합도에서 평가되는 세 가지 해석 가능한 증분으로 분해되는 로그 사후 예측 밀도 $\log p(\hat{y}_{n+1} | x_{n+1}, D)$ 에 대한 계산 가능한 근사를 유도합니다:
$\log p(\hat{y}_{n+1} | x_{n+1}, D) \approx \underbrace{[\tilde{\ell}(\tilde{\theta}) - \ell(\hat{\theta})]}_{\text{가능도 증분}} + \underbrace{[\log \pi(\tilde{\theta}) - \log \pi(\hat{\theta})]}_{\text{사전 분포 증분}} - \underbrace{\frac{1}{2}[\log |\tilde{J}(\tilde{\theta})| - \log |J(\hat{\theta})|]}_{\text{곡률 증분}}$
여기서:

$\hat{\theta}$ 는 $D$ 에 대한 MAP 추정치입니다.
$\tilde{\theta}$ 는 $D \cup \{(x_{n+1}, \hat{y}_{n+1})\}$ 에 대한 MAP 추정치입니다.
$\ell$ 과 $\tilde{\ell}$ 은 로그 가능도입니다.
$J$ 와 $\tilde{J}$ 는 관측 피셔 정보 행렬 (음의 헤시안) 입니다.

근사 변형 (ASSLA)

모델을 재적합하는 ( $\tilde{\theta}$ 를 구하는) 계산 비용을 제거하기 위해, 저자들은 **근사 SSLA (ASSLA)**를 도입합니다.

점근적 전개: 이론적 결과 (Lemma 1, Theorem 1) 에 따르면, 큰 $n$ 의 경우 증강 최적점 $\tilde{\theta}$ 와 원래 최적점 $\hat{\theta}$ 사이의 차이는 $O(n^{-1})$ 차수입니다.
단순화: ASSLA 는 $\tilde{\theta} \approx \hat{\theta}$ 로 근사하고 주된 차수 항 (leading-order terms) 만 유지합니다. 이를 통해 방법은 새로운 의사 관측치의 국소 곡률 기여도와 원래 적합도 $\hat{\theta}$ 만을 사용하여 예측 불확실성을 평가할 수 있으며, 두 번째 최적화 단계가 필요하지 않습니다.
사전 분포 모듈성: ASSLA 근사에서는 사전 분포 증분이 고차 항으로 간주되어 제외되므로, 가능도와 곡률 변화에 대한 민감도를 유지하면서 계산 효율성이 향상됩니다.

주요 기여

직접 예측 근사: 파라미터 사후 분포와 몬테카를로 샘플링의 필요성을 우회하여 사후 예측 분포를 직접 근사하는 새로운 프레임워크.
자기지도식 메커니즘: 모델 적합도가 자기 예측 데이터에 대한 민감도를 통해 불확실성을 정량화하는 자기 학습 기반 라플라스 근사의 도입.
모듈성: SSLA 공식화는 재훈련 없이 다양한 사전 분포 명세를 플러그인할 수 있게 하여, 사전 선택에 대한 베이지안 민감도 분석을 용이하게 합니다.
계산 효율성: 재적합 요구 사항을 제거한 ASSLA 의 유도로, 경쟁력 있는 보정 능력을 유지하면서 대규모 모델과 데이터셋에 확장 가능한 방법을 제공합니다.
이론적 정당화: 표준 정규성 조건 하에서 오차가 샘플 크기 $n$ 에 선형적으로 감소함을 보여주는 ASSLA 의 근사 오차를 특징짓는 엄격한 증명.

실험 결과

저자들은 켤레 분석 모델부터 복잡한 신경망 이분산성 회귀에 이르기까지 다양한 회귀 작업에서 (A)SSLA 를 평가했습니다.

켤레 모델: 정규 - 정규 및 포아송 - 감마 설정에서 SSLA 와 ASSLA 는 $n=20$ 부터 $n=1,000,000$ 까지의 샘플 크기에 걸쳐 분석적으로 계산된 사후 예측 분포와 밀접하게 일치했습니다. ASSLA 의 수치적 불안정성은 부동소수점 상쇄로 인해 매우 큰 $n$ ( $>10^6$ ) 에서만 관찰되었으며, 이는 배정밀도 (double precision) 를 사용하여 해결되었습니다.
이분산성 회귀 (합성 데이터): 입력 의존적 노이즈가 있는 합성 데이터에서 ASSLA 는 과도하게 보수적이었던 고전적 라플라스 근사보다 더 매끄럽고 좁은 신뢰 구간을 생성했으며, 변분 추론 (VI) 과 해밀토니안 몬테카를로 (HMC) 와 경쟁력 있는 성능을 보였습니다. 그러나 ASSLA 는 HMC 에 비해 넓은 구간에서 불확실성을 약간 과소평가하는 경향을 보였습니다.
실제 벤치마크: 다양한 UCI 데이터셋 (예: Concrete, Wine Quality, Bike Sharing) 에서 평가됨:
- 보정: ASSLA 는 일반적으로 고전적 라플라스 근사보다 더 나은 음의 로그 가능도 (NLL) 와 연속 순위 확률 점수 (CRPS) 를 달성하여 더 날카롭고 잘 보정된 예측을 나타냈습니다.
- 커버리지: ASSLA 는 때때로 어려운 영역 (예: 신호 대 잡음비가 낮은 Liver Disorders 데이터셋) 에서 커버리지가 부족하는 경향을 보였지만, 과도하게 넓은 구간을 생성한 보수적인 라플라스 기준선보다 종종 더 나은 성능을 발휘했습니다.
- 효율성: ASSLA 는 MC 샘플링의 높은 오버헤드를 피하면서 계산 비용과 예측 품질 사이의 유리한 균형을 제공했습니다.

중요성 및 주장

이 논문은 (A)SSLA 가 예측 불확실성 정량을 위한 표준 베이지안 추론 기법에 대한 결정론적이고 샘플링이 없는 대안을 제공한다고 주장합니다. 그 중요성은 다음과 같습니다:

불가능성 우회: 베이지안 딥러닝의 주요 한계인 MC 샘플링을 통한 파라미터 공간 적분의 계산 병목 현상을 회피합니다.
실용적 적용 가능성: 이 방법은 일반적인 딥러닝 회귀 모델에 적용 가능하며 모듈식 사전 분포 명세를 지원하여, 크레달 베이지안 딥러닝과 같은 신흥 분야에 특히 관련이 있습니다.
트레이드오프 관리: 저자들은 ASSLA 를 계산적 처리 가능성과 경쟁력 있는 확률적 보정 사이의 균형을 맞추는 방법으로 위치시켜, 완전 베이지안 추론이 너무 비싼 실제 회귀 작업에 대한 실용적인 해결책을 제시합니다.

저자들은 SSLA 가 매우 큰 데이터셋이나 사전 - 데이터 충돌 상황에서 불안정해질 수 있으며, ASSLA 는 고분산 영역에서 불확실성을 과소평가할 수 있음을 인정하며 제한 사항에 대해 겸손한 태도를 유지합니다. 이들은 이러한 방법들이 드리프트/OOD 감지 및 강건한 가능도 모델링과 함께 사용되어야 한다고 제안합니다.