Position: The Time for Sampling Is Now! Charting a New Course for Bayesian Deep Learning

기술 요약: "샘플링의 시기는 지금이다! 베이지안 딥러닝을 위한 새로운 방향 설정"

문제 제기
베이지안 딥러닝 (BDL) 이 원칙적인 불확실성 정량화를 제공할 것이라는 이론적 약속에도 불구하고, 샘플링 기반 추론 (SAI) 의 실제 채택은 제한적입니다. 현재 이 분야는 샘플링의 실현 가능성, 확장성, 효율성에 대한 지속적인 오해로 인해 변분 추론, 딥 앙상블, 라플라스 근사 등 최적화 기반 근사 방법에 의해 지배받고 있습니다. 저자들은 커뮤니티가 SAI 가 최적화 기반 방법과 계산적 동등성을 달성했으나, 구식 신념과 사후 표본을 관리하기 위한 견고한 엔드 - 투 - 엔드 워크플로우의 부재로 인해 방해받고 있는 전환점에 도달했다고 주장합니다.

방법론 및 입장
이 입장 논문은 단일 새로운 알고리즘을 제안하기보다는 연구 초점과 워크플로우 설계의 패러다임 전환을 옹호합니다. 저자들은 핵심 샘플링 방법론 (예: 해밀토니안 몬테카를로, 노 - 유 - 턴 샘플러, 확률적 경사 MCMC) 과 소프트웨어 프레임워크 (예: blackjax, posteriors) 의 최근 발전을 종합하여, SAI 가 이제 대규모 문제에 실행 가능하다고 주장합니다.

이 논문은 새로운 방향을 위한 세 가지 주요 기둥을 제시합니다:

1. 오해 해소: 저자들은 다음과 같은 일반적인 장벽을 체계적으로 다룹니다:
   • 시간 복잡도: 최근 증거에 따르면 좋은 초기화를 찾은 후, 샘플링의 시간 비용은 초기 최적화 단계와 비교 가능하며, 종종 동일한 계산 예산 하에서도 우수한 성능을 냅니다.
   • 확장성: 샘플링이 확장될 수 없다는 신념과 달리, 최근 연구는 수백만 개의 매개변수를 가진 모델 (예: ResNets, Vision Transformers, LLM 어댑터) 에서의 효과성을 입증했습니다.
   • 사전 분포 선택: 단순한 등방성 가우시안 사전 분포가 과매개변수화 영역에서 효과적인 정규화제로 작용함이 입증되었으며, 이는 너무 단순하다는 관점과 대조됩니다.
   • 이산화 오차: 고차원 베이지안 신경망 (BNN) 에서 이산화로 인한 편향 (종종 메트로폴리스 - 헤이스팅스 보정을 통해 수정됨) 은 초기화 및 몬테카를로 오차보다 종종 부차적입니다. 엄격한 보정은 낮은 수용률과 비효율성을 초래할 수 있으므로, 실무에서는 보정되지 않거나 경미하게 보정된 샘플링이 종종 더 바람직합니다.
2. 확장 가능한 탐색 전략: 이 논문은 완전히 분해된 변분 가족과 같은 제한적인 사후 근사에서 벗어나 사후 분포 지형의 유연한 탐색으로 이동할 것을 옹호합니다. 주요 전략은 다음과 같습니다:
   • 병렬화된 탐색: 국소 근사 오차에 대한 민감도를 줄이고 자기상관을 감소시키기 위해 병렬 체인을 활용하며, 종종 최적화 기법을 사용하여 전형적인 집합 (typical set) 근처의 체인을 '워밍업'합니다.
   • 하이브리드 접근법: 딥 앙상블과 같은 최적화 기반 방법을 통합하여 샘플링 루틴을 위한 견고한 초기화를 제공합니다.
3. 효율적인 추론 및 증류: 표본 생성이 반쪽의 싸움에 불과함을 인식하여, 저자들은 효율적인 저장과 추론의 시급한 필요성을 강조합니다.
   • 저장: 저자들은 '단순한 얇게 만들기 (naive thinning, 표본 폐기)'에 반대하며, 정보 손실에 비해 저장 비용이 낮으므로 생성된 모든 표본을 디스크에 저장할 것을 옹호합니다.
   • 증류: 이 논문은 '사후 표본 증류'를 사후 최적화 단계로 제안합니다. 이는 학습된 생성적 대리 모델이나 중요도 샘플링과 같은 기법을 통해 대량의 사후 표본을 더 작고 정보량이 풍부한 집합으로 압축하여 테스트 시 필요한 순방향 통과 횟수를 극적으로 줄이는 것을 포함합니다.
   • 소프트웨어 도구: 저자들은 고전적인 베이지안 모델링 (예: PyMC) 과 딥러닝의 기존 도구와 유사하게 표본 저장, 증류, 제공을 처리하는 성숙한 엔드 - 투 - 엔드 소프트웨어 생태계 개발을 요구합니다.

주요 결과 및 증거
이 논문은 최근 문헌 (예: Sommer et al., 2025; Paulin et al., 2025; Deng et al., 2023) 의 경험적 결과를 종합하여 주장을 뒷받침합니다:

• 성능 동등성 및 우위성: CIFAR-10 회귀부터 ImageNet 분류 및 LLM 미세 조정까지 다양한 작업에서, SAI 방법 (예: 베이지안 딥 앙상블 및 SG-MCMC) 은 로그 점별 예측 밀도 (LPPD) 와 보정 측면에서 강력한 최적화 기반 기준 (딥 앙상블, SWA, 라플라스) 을 일관되게 능가하거나 일치시키며, 종종 동등하거나 더 낮은 실행 시간을 보입니다.
• 확장성: 논문의 표 1 은 최대 2 억 1,800 만 개 매개변수 (Llama 3 어댑터) 와 7,300 만 개 매개변수 (Wide CNN) 를 가진 모델에서 SAI 의 성공적인 적용을 강조하여, SAI 가 소규모 토이 문제에 국한되지 않음을 보여줍니다.
• 추론 비용: 그림 3 은 샘플링된 BNN 의 추론 비용이 기존 네트워크 대비 최대 1,000 배까지 높을 수 있음을 보여주지만, 병렬화 및 증류 전략이 이러한 비용을 완화하여 배포를 실용적으로 만든다고 설명합니다.

의의 및 주장
이 논문은 SAI 의 이론적 잠재력이 마침내 실용적인 현실로 실현될 수 있는 중요한 분기점에 이 분야가 있다고 주장합니다. 저자들은 다음과 같이 단언합니다:

• SAI 는 미래입니다: 샘플링 기반 추론은 베이지안 신경망에서 효과적이고 효율적인 추론을 위한 표준으로 최적화 기반 근사를 대체해야 하며, 우수한 불확실성 정량화 및 예측 성능을 제공합니다.
• 연구 초점의 전환 필요: 커뮤니티는 좁은 알고리즘 개선을 넘어 사후 표본의 관리, 증류, 배포와 같은 '엔드 - 투 - 엔드' 과제를 해결해야 합니다.
• 오해가 주요 장벽입니다: 채택의 주요 장애물은 계산적 비실현성이 아니라 지속적인 오해와 도구 부족입니다. 이를 해결함으로써 커뮤니티는 BDL 의 잠재력을 완전히 발휘할 수 있습니다.
• 기초 모델의 실용적 적용: 거대한 기초 모델 (예: GPT-5) 의 전체 모델 샘플링은 여전히 비실용적일 수 있지만, 이 논문은 저랭크 어댑터 샘플링과 같은 하이브리드 접근법을 옹호하여 prohibitive 비용 없이 판별 작업 및 구조화된 생성에서 견고한 불확실성 정량화를 가능하게 합니다.

결론적으로, 이 논문은 커뮤니티가 이를 지원하기 위한 필요한 인프라와 워크플로우 구축에 전념한다면, SAI 를 단순히 최적법의 대안이 아닌 베이지안 딥러닝을 위한 필수적인 진화로 위치시킵니다.