📊 statistics

Going NUTS with ADVI: Exploring various Bayesian Inference techniques with Facebook Prophet

이 논문은 Facebook Prophet의 기본 추론 방식이 가진 한계를 극복하기 위해 이를 PyMC로 완전히 재구현하였으며, 이를 통해 시계열 예측 문제에 대한 MCMC, MAP, 변분 추론(Variational Inference)을 포함한 다양한 베이지안 기법들의 상세한 비교를 가능하게 합니다.

원저자: Jovan Krajevski, Biljana Tojtovska Ribarski

게시일 2026-01-29

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jovan Krajevski, Biljana Tojtovska Ribarski

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

개요: 미래를 예측하려는 시도

당신이 내일 특정 위키피디아 페이지에 몇 명의 방문자가 올지 예측하려고 한다고 상상해 보세요. 당신에게는 이 일을 아주 잘 수행하는 Facebook Prophet이라는 도구가 있습니다. 이 도구는 과거의 데이터를 살펴보고 문제를 세 부분으로 나누어 미래를 추측합니다:

추세 (The Trend): 시간이 흐름에 따라 페이지가 점점 더 인기를 얻고 있는가? (천천히 높아지는 언덕과 같습니다).
계절성 (The Seasons): 사람들이 주말이나 공휴일에 더 많이 방문하는가? (밀물과 썰물처럼 들어오고 나가는 것과 같습니다).
노이즈 (The Noise): 데이터에 나타나는 무작위적이고 예측 불가능한 굴곡들입니다.

이 논문의 저자들은 이 도구를 사용하여 수학적 예측 뒤에 숨겨진 문제를 "푸는" 다양한 방법들을 테스트하고자 했습니다. 그들은 기존의 도구가 다소 경직되어 있다는 것을 발견했고, 그래서 PyMC라는 새로운 툴킷을 사용하여 이를 처음부터 다시 구축했습니다.

퍼즐을 푸는 세 가지 방법

이 논문은 미래의 데이터를 밝혀내기 위해 미스터리를 풀고 있는 세 명의 서로 다른 "탐정"(추론 방법)을 비교합니다. 이들을 안개 낀 산맥 속에서 최적의 경로를 찾는 세 가지 방법이라고 생각해보세요.

1. "최선의 추측" 탐정 (MAP 추정)

로의 비유:* 당신이 산맥에서 가장 높은 봉우리를 찾고 있다고 상상해 보세요. 이 탐정은 지도를 보고 단 하나의 가장 높은 지점을 찾아낸 뒤, "정답은 바로 여기입니다"라고 말합니다.

논문의 내용: 이 방법은 매우 빠릅니다. 정답에 대해 하나의 구체적인 숫자만을 제공합니다. 하지만 주변에 다른 높은 봉우리들이 있을 수 있다는 사실이나 지면이 흔들릴 수 있다는 사실은 무시합니다. 이 방법은 정답이 어디에 있는지 알려주지만, 그 정답이 얼마나 확실한지는 알려주지 않습니다.
결과: 속도가 빠르고 좋은 예측을 내놓았지만, 불확실성에 대한 전체 이야기를 들려주지는 못했습니다.

2. "철저한 등산객" (Full MCMC / NUTS)

비유: 이 탐정은 단순히 한 지점만 찍지 않습니다. 그들은 팀 전체를 파견하여 산맥의 모든 경로를 걸으며, 전체 지형을 그려내기 위해 수천 번의 발걸음을 옮깁니다. 이들은 단순히 꼭대기뿐만 아니라 산 전체의 모양을 알고 싶어 합니다.
논문의 내용: 이것이 가장 정확한 방법입니다. 이들은 "사후 분포"(가능한 정답들의 전체 형태)를 탐색합니다. 저자들은 세 종류의 등산객을 테스트했습니다:
- 메트로폴리스-헤이스팅스 (MH): 무작위로 느리게 걷는 등산객입니다. 이들은 길을 잃고 산을 제대로 탐색하지 못했습니다.
- DMZ: 다른 사람의 발걸음을 따라 하려고 노력하는 등산객입니다. 이들 역시 효율적으로 지면을 커버하는 데 어려움을 겪었습니다.
- NUTS (No-U-Turn Sampler): 지도와 나침반(경사도/그레이디언트)을 사용하여 효율적으로 걷는 아주 똑똑한 등산객입니다. 이 방식이 승자였습니다. 이들은 시간을 낭비하지 않고 빠르게 최적의 경로를 찾아내며 산의 모습을 완벽하게 그려냈습니다.
결과: NUTS가 가장 신뢰할 수 있었지만, "최선의 추측" 탐정보다는 실행 시간이 더 오래 걸렸습니다.

3. "빠른 근사치 계산기" (변분 추론 / VI)

비유: 산 전체를 걷는 대신, 이 탐정은 헬리콥터를 타고 산을 내려다보며 산의 모습과 비슷해 보이는 단순하고 매끄러운 타원형 모양을 그려냅니다. 이것은 일종의 지름길입니다.
논문의 내용: 이 방법은 복잡한 데이터에 단순한 모양(예: 종 모양 곡선)을 맞추려고 시드합니다. 이는 "철저한 등산객"보다 훨씬 빠릅니다.
- ADVI: 단순한 타원을 그렸습니다. 빠르긴 했지만 너무 확신에 차 있었습니다 (타원이 너무 좁았습니다).
- FullRank ADVI: 더 복잡하고 길쭉한 타원을 그렸습니다. 이 역시 빠르긴 했지만 너무 불확실했습니다 (타원이 너무 넓었습니다).
결과: 가장 빠른 방법이었지만, 정답의 "모양"이 "철저한 등산객"에 비하면 완벽하게 정확하지는 않았습니다.

경기 결과

저자들은 유명한 축구 선수의 위키피디아 페이지 데이터를 사용하여 이 탐정들을 테스트했습니다. 결과는 다음과 같습니다:

속도: "빠른 근사치 계산기"(VI)가 가장 빨랐습니다. "최선의 추측"(MAP) 또한 매우 빨랐습니다. "철저한 등산객"(NUTS)은 더 느렸지만 여전히 감당할 만한 수준이었습니다. 나머지 등산객들(MH와 DMZ)은 너무 느리고 비효적이라서 일을 제대로 끝내지 못했습니다.
정확도: "철저한 등산객"(NUTS)이 미래에 대한 가장 신뢰할 수 있는 지도를 제공했습니다. "빠른 근사치 계산기"는 근접하긴 했지만 불확실성을 측정하는 방식에서 결함이 있었습니다. "최선의 추측"은 빠른 답변을 얻기에는 좋았으나 세부 사항을 놓쳤습니다.
승자: 이 특정 문제에 있어서는 NUTS가 전반적으로 가장 좋은 선택이었습니다. 가장 빠른 것은 아니었지만, 길을 잃거나 잘못된 추측을 하지 않고 전체 산의 모습을 성공적으로 그려낸 유일한 방법이었습니다.

새로운 도구 (재구축된 API)

저자들은 또한 기존의 Facebook Prophet 도구가 마치 "완제품 밀키트"와 같다고 언급했습니다. 먹을 수는 있지만 재료를 쉽게 바꿀 수는 없었습니다.
그들은 이 도구를 PyMC를 사용하여 모듈형 레고 세트처럼 재구축했습니다. 이제 단순히 레시 recipe를 따르는 대신, "선형 추세" + "연간 계절성"과 같은 조각들을 서로 끼워 맞춰서 당신이 원하는 정확한 모델을 직접 만들 수 있습니다. 이렇게 "직관적인" 방식으로 모델을 구축하는 것은 다양한 아이디어를 실험하는 것을 훨씬 더 쉽게 만들어 줍니다.

요약

이 논문은 본질적으로 특정 수학적 모델을 사용하여 미래를 가장 잘 예측하는 방법을 찾는 경주입니다.

만약 속도와 단일한 답이 필요하다면, **최선의 추측 (MAP)**을 사용하세요.
만약 불확실성에 대한 빠른 근사치가 필요하다면, **빠른 근사치 계산기 (VI)**를 사용하세요.
만약 미래와 그 불확실성에 대한 가장 정확하고 신뢰할 수 있는 그림이 필요하다면, 시간이 조금 더 걸리더라도 **철저한 등산객 (NUTS)**이 최고의 선택입니다.

저자들은 빠른 방법들이 매력적이긴 하지만, 철저하고 똑똑한 방법(NUTS)이 그들의 시계열 예측 문제에서 정확성과 신뢰성의 가장 좋은 균형을 제공한다고 결론지었습니다.

기술 요약: ADVI를 통한 광란의 탐구: Facebook Prophet을 활용한 다양한 베이지안 추론 기법 탐색

문제 정의
Facebook Prophet은 분해 가능한 모델 구조와 내장된 추론 방식인 최대 사후 확률(MAP) 추정(L-BFGS-B 활용) 및 No-U-Turn Sampler(NUTS)를 통한 마르코프 체인 몬테카를로(MCMC) 샘플링 덕분에 시계열 예측 분야에서 주목받아 왔습니다. 그러나 저자들은 기존 구현체에서 두 가지 주요 한계점을 식별했습니다:

유연성 부족: 유창한 API(fluent API) 설계로 인해 기본 설정 외에 커스텀 모델링 구성 요소를 통합하거나 대안적인 추론 기법을 도입하는 데 제약이 있습니다.
추론의 제약: 완전한 MCMC 샘플링은 빠른 실험을 수행하기에는 계산 비용이 너무 높을 수 있으며, MAP 추정은 사후 분포를 단일 점으로 수렴시켜 매개변수 불확실성에 관한 중요한 정보를 버리게 됩니다.

이러한 문제를 해결하기 위해, 저자들은 특정 시계열 예측 시나리오를 대상으로 여러 베이지안 추론 기법(Full MCMC, MAP, Variational Inference)을 평가하고 비교하고자 했습니다.

방법론
본 연구의 핵심은 PyMC라는 확률적 프로그래밍 라이브러리를 사용하여 Facebook Prophet 모델을 완전히 재구현하는 것입니다.

모델 재구현: 저자들은 Prophet 모델( $y(t) \sim g(t) + \sum s(t; p_i, c_i) + h(t) + \epsilon(t)$ )을 PyMC 내에서 재구성했습니다. 기존의 유창한 API를 수학적 표기법을 반영한 모듈식의 직관적인 API로 교체했습니다. 이를 통해 사용자는 각 구성 요소(예: LinearTrend, FourierSeasonality)를 별도로 정의하고 표준 산술 연산자(예: model = trend * (1 + yearly + weekly))를 사용하여 결합할 수 있습니다.
평가된 추론 기법:
- Full MCMC: 세 가지 알고리즘이 테스트되었습니다: Metropolis-Hastings (MH), NUTS, 그리고 Z-score 적응형 DEMetropolis (DMZ).
- MAP 추정: L-BFGS-B 알고리즘을 사용하여 수행되었습니다.
- 변분 추론 (Variational Inference, VI): 두 가지 알고리즘이 조사되었습니다: 자동 미분 변분 추론(ADVI) 및 Full-Rank ADVI (FR ADVI).
실험 설정:
- 데이터셋: 페이튼 매닝(Peyton Manning)의 위키피디아 페이지의 일일 페이지 뷰 로그 데이터 2년치 (이후 1년 예측).
- 모델 구성: 기본 Prophet 설정 (25개의 변화 지점을 가진 피스와이즈 선형 트렌드, 가법적 연간 및 주간 계절성).
- 진단: MCMC의 경우 R-hat (Gelman-Rubin), 유효 샘플 크기(ESS), 자기상관 플롯을 사용하여 수렴을 평가하였고, VI의 경우 음의 ELBO(Negative Evidence Lower Bound) 수렴을 확인했습니다.
- 지표: 예측 성능은 MSE, RMSE, MAE, MAPE를 통해 측정되었으며, 실행 시간 및 계산 효율성(초당 유효 샘플 수)도 함께 측정되었습니다.
주요 기여

PyMC 기반의 Prophet 재구현: 모델 정의와 추론 엔진을 분리하여 커스텀 구성 요소와 다양한 추론 알고리즘의 통합을 가능하게 하는 유연하고 모듈화된 프레임워크를 제공합니다.
비교 분석: 표준 시계열 문제를 대상으로 MAP, Full MCMC (MH, DMZ, NUTS), VI (ADVI, FR ADVI)에 대한 상세한 경험적 비교를 수행하여 통계적 품질과 계산 효율성을 모두 분석했습니다.
진단적 통찰: 본 논문은 Prophet 모델 구조에 대한 서로 다른 샘플러들의 수렴 동작에 관한 구체적인 진단 결과를 제공하며, 특히 NUTS와 비교했을 때 표준 MH 및 DMZ가 수렴에 어려움을 겪는다는 점을 강조합니다.

결과

MCMC 수렴:
- NUTS는 효율적으로 수렴(R-hat < 1.01, ESS > 400)하는 데 성공한 유일한 MCMC 알고리즘이었으며, 단 550개의 샘플만으로 수렴했습니다. 또한 MH 및 DMZ에 비해 우수한 유효 샘플링 비율(169.69 samples/sec)을 보여주었습니다.
- MH와 DMZ는 1,000,000개의 샘플 이후에도 수렴에 실패했습니다. MH는 높은 자기상관을 보였고, DMZ는 낮은 ESS 값을 생성하여 사후 분포 탐색이 비효율적임을 나타냈습니다.
- 수렴 실패에도 불구하고, DMZ는 MCMC 방법 중 의외로 가장 좋은 예측 지표를 생성했는데, 이는 신뢰할 수 있는 사후 근사보다는 특정 점 추정의 특성에 기인한 것으로 보입니다.
변분 추론 (VI):
- ADVI와 FR ADVI 모두 약 80,000회의 반복 계산 후에 수렴했습니다.
- ADVI는 VI 방법들 중 가장 높은 품질의 예측을 제공했으나, 사후 불확실성을 과소평가(과잉 확신)하는 경향이 있었습니다.
- FR ADVI는 사후 불확실성을 과대평가(불확실함)했으며 예측 지표 측면에서 성능이 더 낮았습니다.
- VI 방법들은 MCMC 방법보다 훨씬 빨랐지만(약 18~23초), NUTS의 사후 충실도에는 미치지 못했습니다.
MAP 추정:
- MAP는 가장 빠른 실행 시간과 함께 높은 품질의 예측을 제공했습니다.
- 저자들은 MAP가 정규화(Laplace 사전 분포의 경우 L1, Normal 사전 분포의 경우 L2)가 포함된 최대 우도 추정(MLE)과 동일하다고 언급했습니다.
사후 분포 근사:
- 기울기(slope) 매개변수의 히스토그램을 통해 NUTS가 견고한 사후 분포를 제공함을 확인했습니다.
- ADVI는 "과잉 확신"(더 좁은 분포)을 보였고, FR ADVI는 "과소 확신"(더 넓은 분포)을 보였습니다 (NUTS의 그라운드 트루스 대비).

의의 및 결론
본 논문은 보편적으로 최적인 추론 방법은 존재하지 않으며, 선택은 계산 비용과 정확한 불확실성 정량화 필요성 사이의 절충안(trade-off)에 달려 있다고 결론짓습니다.

NUTS는 현재 설정에서 수렴 신뢰성과 합리적인 수렴 시간 사이의 균형을 제공하므로, 이 특정 문제에 대해 가장 적합한 선택으로 식별되었습니다.
MAP는 전체 사후 분포의 형태를 포착하는 것보다 속도와 점 추정의 정확도가 더 중요한 시나리오에 적합합니다.
VI (특히 ADVI)는 계산 자원이 제한적인 경우 유효한 대안이 될 수 있으며, 실행 시간을 크게 줄이면서도 MCMC와 유사한 예측 지표를 제공하지만, 사후 불확실성을 정확히 포착하는 데 한계가 있습니다.

저자들은 VI가 더 빠르기는 하지만, ADVI와 FR ADVI가 각각 보여주는 불확실성의 과잉/과소 추정 문제는 추가적인 연구가 필요한 과제라고 강조합니다. 향론의 연구는 가능도(likelihood) 계산 속도를 높이기 위해 JAX/NumPyro를 통한 GPU 가속에 집중할 것이나, 저자들은 MCMC의 순차적 특성이 VI 방식에 비해 병렬화 이점이 제한적임을 언급했습니다.