🤖 machine learning

SVRG and Beyond via Posterior Correction

이 논문은 확률적 분산 감소 경사하강법(SVRG)과 베이지안 사후 보정 사이의 첫 번째 근본적인 연결 고리를 확립하여, SVRG가 이 프레임워크의 특수한 사례임을 입증하고 이를 활용하여 뉴턴 방식 및 아담(Adam) 방식 변형과 같은 새롭고 더 유연한 확장 모델들을 도출한다.

원저자: Nico Daheim, Thomas Möllenhoff, Ming Liang Ang, Mohammad Emtiyaz Khan

게시일 2026-06-09

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Nico Daheim, Thomas Möllenhoff, Ming Liang Ang, Mohammad Emtiyaz Khan

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

핵심 요약: 노이즈가 섞인 나침반 고치기

당신이 광활하고 안개가 자욱한 계곡에서 가장 낮은 지점을 찾으려고 노력하고 있다고 상상해 보세요 (이는 AI 모델이 실수를 줄이도록 훈련하는 과정을 나타냅니다). 당신에게는 어느 방향이 "아래"인지 알려주는 나침반이 있지만, 이 나침반은 매우 흔들리고 신뢰할 수 없습니다. 이것이 표준적인 AI 훈련 방식입니다. 한 번에 아주 작은 데이터 조각만을 살펴보기 때문에, 얻게 되는 방향 정보는 종종 "노이즈"가 섞여 있거나 틀릴 수 있습니다.

10년 넘게 연구자들은 이 문제를 해결하기 위해 SVRG(Stochastic Variance Reduced Gradient)라고 불리는 트릭을 사용해 왔습니다. SVRG는 가끔씩 멈춰 서서, 계곡 전체를 넓게 볼 수 있는 높은 언덕 위로 올라가 (이것은 "풀 배치(full-batch)" 계산입니다), 그 명확한 시야를 바탕으로 다음 몇 걸음을 내디딜 때 흔들리는 나침반을 안정시키는 똑똑한 항해사와 같습니다. 이 방식은 여정을 더 빠르고 안정적으로 만들어 줍니다.

하지만 지금까지는 왜 이 트릭이 작동하는지에 대해 "베이지안(Bayesian)"(확률론적) 관점에서 아무도 알지 못했습니다. 그것은 그저 영리한 수학적 해킹일 뿐이었습니다.

이 논문의 발견:
저자들은 놀라운 연결 고리를 찾아냈습니다. 그들은 SVRG가 사실 **사후 확률 보정(Posterior Correction, PoCo)**이라는 더 새롭고 일반적인 방법의 특수한 사례라는 것을 발견했습니다.

비유: "사후 확률 보정"을 지식을 업데이트하는 방법이라고 생각하세요. 당신에게는 오래된 지도(과거의 지식)와 새로운 관찰 결과가 있습니다. 단순히 오래된 지도를 버리는 대신, 새로운 관찰 결과를 기존 지도와 결합하여 더 나은, 수정된 지도를 만드는 것입니다.
돌파구: 저자들은 SVRG에서 사용하는 "흔들리는 나침반" 보정이 바로 새로운 데이터로 오래된 지도를 "보정"하는 것과 수학적으로 정확히 일치한다는 사실을 깨달았습니다. 이는 이전에 서로 관련이 없던 두 세계, 즉 빠른 최적화(SVRG)와 베이지안 지식 업데이트를 연결했습니다.

이 발견을 통해 그들이 한 일

SVRG가 단지 일종의 "지도 보정"이라는 것을 깨달은 후, 그들은 다음과 같이 질문했습니다. "만약 우리가 서로 다른 종류의 지도를 사용한다면, 훨씬 더 나은 항해사를 만들 수 있지 않을까?"

그들은 SVRG가 보통 사용하는 단순한 형태 대신, 더 복잡한 "지도"(수학적 분포)를 사용해 보았습니다. 이는 두 가지 강력한 새로운 도구로 이어졌습니다.

1. "뉴턴 스타일"의 항해사 (VON-PoCo)

문제점: 표준 SVRG는 오직 방향(그래디언트)만을 보정합니다. 이는 어느 쪽이 아래인지는 알지만, 경사가 얼마나 가파른지는 모르는 것과 같습니다.
해결책: 더 복합적인 "지도"(전체 가우시안 분포)를 사용함으로써, 그들의 새로운 방법은 방향뿐만 아니라 경사도(헤시안, Hessian)까지 모두 보정합니다.
비유: 스키를 타고 있다고 상상해 보세요. 표준 SVRG는 어느 방향으로 회전해야 하는지만 알려줍니다. 새로운 뉴턴 스타일 방식은 경사가 얼마나 가파른지에 따라 회전을 얼마나 급하게 해야 하는지도 알려줍니다. 이를 통해 산 아래로 훨씬 더 정밀하고 효율적으로 내려갈 수 있습니다.

2. 거대 모델을 위한 "아담(Adam) 스타일"의 항해사 (IVON-PoCo)

문제점: "뉴턴 스타일" 방법은 모든 경로의 "경사도"를 저장하기 위해 너무 많은 메모리가 필요하기 때문에, 딥러닝과 같은 거대한 AI 모델에는 너무 무겁고 느립니다.
해결책: 그들은 인기 있는 Adam 옵티마이저가 작동하는 방식과 유사하게, 개별 경로의 경사도(대각 공분산)만을 추적하는 단순화된 버전을 만들었습니다.
비유: 이것은 거대한 화물선에 항법 시스템을 제공하는 것과 같습니다. 모든 물방울의 파도 높이를 계산할 수는 없으므로(너무 무거우니까), 화물선 선체에 닿는 평균 파도 높이를 계산하는 것입니다. 이는 더 가볍고 빠르며, 대규모 언어 모델과 같은 거대한 문제로 확장 가능합니다.

실험 결과가 보여주는 것

저자들은 다양한 작업에서 이 새로운 방법들을 테스트했습니다:

단순한 작업 (로지스틱 회귀): 표준적인 작은 규모의 문제에서, 새로운 방법들은 매우 훌륭하게 작동했습니다. 마치 SVRG가 표준 훈련보다 빠른 것처럼, 이 방법들은 기존 방식보다 훨씬 빠르고 정확했습니다.
딥러닝 (이미지 분류 및 언어 모델): 거대 모델(GPT-2나 이미지 인식을 위한 ResNet 등)에 이 방법들을 적용했을 때, 결과는 엇갈렸습니다.
- 긍정적인 소식: 새로운 방법들은 모델의 최종 정확도를 향상시켰습니다.
- 주의할 점: 하지만 이 방법들이 실제 시간 측면에서 훈련을 반드시 더 빠르게 만든 것은 아니었습니다. 이 방법들은 추가적인 계산(예: 경사도를 확인하거나 "메가 배치"를 실행하는 것)을 필요로 하기 때문에, 비록 더 나은 목적지에 도달하더라도 표준적인 방법들과 시간이 비슷하거나 오히려 더 오래 걸리기도 했습니다.

결론

이 논문은 "로제타 스톤"과 같은 순간입니다. 수십 년 된 최적화 트릭(SVRG)을 베이지안 확률(사후 확률 보정)의 언어로 번역해 냈습니다.

왜 중요한가: SVRG가 일종의 "지식 전이"(새로운 데이터를 안정시키기 위해 과거의 데이터를 사용하는 것)라는 점을 입증했습니다.
결과: 이 통찰력 덕분에 저자들은 방향뿐만 아니라 문제의 "형태"까지 보정하는 더 스마트한 알고리즘을 발명할 수 있었습니다. 이 새로운 도구들은 작고 정밀한 작업에는 매우 유망하지만, 오늘날의 거대한 AI 모델에 있어서는 속도 면에서 아직 "공짜 점심(노력 대비 큰 이득)"을 제공하지는 못한다는 점을 논문은 인정하고 있습니다. 다만, 모델의 최종 품질은 개선합니다.

요약하자면, 그들은 유명한 요리 기법 뒤에 숨겨진 비밀 레시피를 찾아냈고, 그 레시피를 사용하여 더 정교한 두 가지 새로운 요리를 발명했습니다. 하나는 작은 주방을 위한 고급 요리이고, 다른 하나는 요리 시간은 똑같이 걸리지만 맛은 더 좋은 산업용 주방을 위한 거대한 성찬입니다.

기술 요약: 사후 확률 보정(Posterior Correction)을 통한 SVRG 및 그 너머의 연구

문제 제기

Stochastic Variance Reduced Gradient (SVRG) 및 그 변형들은 미니 배치 업데이트를 안정화하기 위해 풀 배치(full-batch) 그래디언트를 활용하여 확률적 최적화를 가속화하는 확립된 기법들이다. 10년 이상의 연구와 수많은 실용적인 변형들(예: SAGA, SARAH, Spider)에도 불구하고, 이 방법들은 베이지안 추론(Bayesian inference)과 근본적으로 연결된 적이 없다. 분산 감소(variance reduction)가 베이지안 절차(예: 확률적 변분 추론)를 가속화하는 데 적용되어 왔음에도 불구하고, SVRG를 베이지안 원리를 통해 설명하거나 베이지안 방법을 사용하여 새로운 SVRG 확장형을 도출하는 더 깊은 이론적 연결 고리는 부재했다. 또한, 기존의 뉴턴 스타일 SVRG 변형들은 그래디언트만을 보정하고 헤시안(Hessian) 보정은 간과하며, 표준 SVRG는 볼록(convex) 문제에 비해 딥러닝 환경에서 속도 향상을 제공하는 데 어려움을 겪는다.

방법론

저자들은 SVRG를 최근 제안된 지식 적응(knowledge adaptation)을 위한 베이지안 방법인 **사후 확률 보정(Posterior Correction, PoCo)**의 특수한 사례로 도출함으로써 이 간극을 메운다 (Khan, 2025).

이론적 토대

베이지안 학습 규칙 (BLR) 및 자연 그래디언트 (Natural Gradients): 본 연구는 지수 가족(exponential family) 내의 분포 $q(\theta)$ 에 대해 자연 그래디언트를 사용하여 최적화함으로써 학습 알고리즘을 통합하는 BLR을 활용한다. 자연 파라미터 공간 $\lambda$ 에서의 업데이트 규칙은 다음과 같다:
$\lambda \leftarrow (1-\eta)\lambda - \eta \sum_{i=0}^N \tilde{\nabla} L_i(\lambda)$
여기서 $\tilde{\nabla}$ 는 자연 그래디언트를 나타낸다.
사후 확률 보정 (PoCo): PoCo는 미래의 업데이트를 보정하기 위해 이전 파라미터 $\lambda_{out}$ 으로부터 유도된 오래된 사후 확률 추정치 $\hat{q}_{out}$ 을 도입하여 BLR을 일반화한다. 업데이트 규칙은 다음과 같다:
$q_{in} \leftarrow q_{in}^{1-\eta} \hat{q}_{out}^{\eta} \exp\left( -\eta N [\hat{\ell}_{i|in} - \hat{\ell}_{i|out}] \right)$
여기서 $\hat{\ell}$ 은 선형 대리 손실 함수(linear surrogate loss functions)를 나타낸다. 이 공식은 그래디언트 보정을 구형(old) 그래디언트와 신형(new) 그래디언트 사이의 지식 전달 메커니즘으로 효과적으로 취급한다.
PoCo로부터 SVRG 도출:
- 사후 확률 $q$ 를 등방성 가우시안(isotropic Gaussian) $N(\theta | m, I)$ 로 제한하고 델타 방법 근사(delta method approximation, $\mathbb{E}_q[\nabla \ell] \approx \nabla \ell(m)$ )를 적용하면, PoCo 업데이트는 정확히 표준 SVRG 업데이트 규칙으로 축소된다.
- 이를 통해 SVRG가 등방성 가우시안의 평균을 '지식'으로 하는 사후 확률 보정의 특수 사례임을 입증한다.
유연한 사후 확률을 통한 새로운 확장:
이 프레임워크는 서로 다른 지수 가족 사후 확률을 선택함으로써 새로운 알고리즘을 도출할 수 있게 한다:
- 뉴턴 유사 변형 (VON-PoCo): 전체 다변량 가우시안 $N(\theta | m, S^{-1})$ 을 사용함으로써, 이 방법은 평균뿐만 아니라 정밀도 행렬(precision matrix, 역공분산)에 대한 보정도 자연스럽게 도출한다. 이는 그래디언트만을 보정하는 기존의 Newton-SVRG 연구들과 달리, 그래디언트에 더해 헤시안을 보정하는 확률적 분산 감소 헤시안(Stochastic Variance-Reduced Hessian, SVRH) 추정치를 생성한다.
- Adam 유사 변형 (IVON-PoCo): 대각 가우시안(diagonal Gaussians)을 사용하여, 저자들은 IVON 옵티마이저의 분산 감소 버전을 도출한다. IVON-PoCo(및 모멘텀 버전인 IVON-PoCoMo)라고 명명된 이 변형은 대규모 문제로 확장 가능하다. 이는 풀 배치 통계량을 추정하기 위해 "메가 배치(mega-batches)"(데이터의 큰 부분 집합)를 활용하며, 엄격한 풀 배치 가정으로부터의 편차를 처리하기 위해 가중치 감소 인자 $\alpha$ 를 사용한다.

주요 기여

이론적 통합: 본 논문은 SVRG와 베이지안 방법 사이의 최초의 근본적인 연결을 제공하여, SVRG가 등방성 가우시안에 대한 사후 확률 보정의 특수 사례임을 보여준다. 이는 그래디언트 보정을 지식 적응 메커니즘으로 재구성한다.
새로운 알고리즘 도출:
- VON-PoCo: 기존 Newton-SVRG 문헌에는 존재하지 않는 헤시안 보정을 자동으로 포함하는 뉴턴 스타일의 SVRG 변형이다.
- IVON-PoCo: 딥러닝에 적합하도록 IVON 옵티마이저에 분산 감소를 적용한 Adam 유사 확장형이다.
경험적 평가: 저자들은 로지스틱 회귀, 이미지 분류(CIFAR-10 및 ImageNet에 대한 ResNet), 그리고 언어 모델 사전 학습(GPT-2)에 대해 이 방법들을 평가한다.

결과

볼록 문제 (로지스틱 회귀): MNIST, Covertype, CIFAR-10과 같은 데이터셋에서 VSGD-PoCo(1차)와 IVON-PoCo(2차) 모두 보정되지 않은 대응 모델(VSGD 및 IVON)보다 성능이 현저히 우수하다. 이들은 SVRG가 SGD에 제공하는 속도 향상과 마찬가지로, 더 적은 그래디언트 계산으로 풀 배치 L-BFGS에 필적하는 정확도를 달もの한다.
딥러닝 (ImageNet & GPT-2):
- ImageNet (ResNet-50)에서, IVON-PoCo는 최적화 단계(optimization steps) 기준으로 측정했을 때 테스트 정확도에서 명확한 개선을 보이지만, 총 데이터 예시 수(total data examples seen) 기준으로 측정할 때는 이득이 감소한다(이는 딥러닝에서의 SVRG에 대한 기존 연구 결과와 일치한다).
- GPT-2 (125M) 사전 학습에서, IVON-PoCoMo는 AdamW 및 표준 IVON에 비해 최종 검증 퍼플렉시티(validation perplexity)를 개선한다. 그러나 저자들은 이러한 개선이 단순히 배치 크기를 키우거나 표준 옵티마이저를 사용하는 것과 비교했을 때, 실제적인 벽시계 시간(wall-clock time)이나 그래디언트 계산 효율성 측면의 속도 향상으로 이어지지는 않는다고 언급한다.
- 이 결과는 Defazio & Bottou (2019)의 연구와 궤를 같이하며, 분산 감소 방법이 현재 볼록한 설정에 비해 딥러닝에서 런타임 속도 향상을 제공하는 데 어려움을 겪고 있음을 시사한다.

의의 및 주장

본 논문은 SVRG를 베이지안 원리와 연결함으로써 향후 연구를 위한 토대를 마련한다고 주장한다.

새로운 관점: SVRG를 지식 적응 방법으로 보는 새로운 해석을 제공하며, 이를 사후 확률 보정의 관점에서 일반화한다.
알고리즘 혁신: 베이지안 원리가 표준적인 SVRG 휴리스틱으로는 도출하기 어려운 복잡한 확장(예: 헤시안 보정)을 자동으로 생성할 수 있음을 보여준다.
딥러닝에 대한 겸허한 주장: 저자들은 자신들의 방법이 딥러닝 작업에서 최종 모델 성능(정확도/퍼플렉시티)을 개선하지만, 현재의 런타임 비효율성을 해결하는 즉각적인 솔루션이라기보다는, 볼록한 문제에서 관찰되는 것과 같은 컴퓨팅 속도 향상을 아직 제공하지 못한다는 점을 명확히 한다. 그들은 이 연구를 현재 딥러닝 훈련의 런타임 문제를 해결하기 위한 직접적인 해결책이라기보다, 향로 딥러닝을 위한 분산 감소의 효과성을 개선할 가능성을 향한 한 단계로 보고 있다.