Adam Converges Without Any Modification On Update Rules

이 논문은 적절하게 조정된 문제 의존적 하이퍼파라미터 (특히 배치 크기에 반비례하여 $\beta_2$를 증가시키고 $\beta_1 < \sqrt{\beta_2}$를 만족하도록 설정) 를 사용할 경우, 기존 연구에서 발산한다고 주장되었던 Adam 옵티마이저가 실제로 수렴함을 이론적으로 증명하고, 이에 대한 $\beta_1$과 $\beta_2$의 위상 전이 경계를 최초로 규명했습니다.

핵심

이 논문은 인공지능 (AI) 을 훈련시키는 데 가장 널리 쓰이는 도구인 **'Adam'**이라는 알고리즘에 대한 놀라운 발견을 담고 있습니다.

간단히 말해, **"Adam 은 원래대로만 사용하면 실제로는 잘 작동합니다. 다만, 설정값을 조금만 잘 맞춰주면 됩니다."**라는 결론을 내린 연구입니다.

이 복잡한 수학적 논문을 일반인도 이해할 수 있도록 비유와 이야기로 풀어보겠습니다.

---

1. 문제의 시작: "Adam 은 위험하다?"는 오해

과거에 어떤 연구자들이 "Adam 이라는 알고리즘은 특정 조건에서 미끄러져서 추락할 수 있다 (발산한다)"는 증거를 제시했습니다. 마치 "이 자동차는 브레이크가 고장 나면 언덕에서 멈추지 않고 계속 미끄러질 수 있다"는 경고문과 비슷합니다.

이 경고 때문에 많은 사람들이 "Adam 은 불안정하니까 다른 걸 써야겠다"라고 생각했고, 실제로는 Adam 을 수정하거나 변형한 새로운 버전들이 많이 만들어졌습니다.

하지만, 현실은 달랐습니다.
실제 AI 개발자들은 이 '위험한' 설정값을 그대로 쓰면서도 (예: β1=0.9, β2=0.999) 엄청난 성능의 AI(예: GPT, Llama 등) 를 성공적으로 훈련시켰습니다. 왜 이론과 현실이 이렇게 다를까요?

2. 핵심 발견: "문제와 설정값을 거꾸로 잡았다!"

이 논문의 저자들은 그 비밀을 찾아냈습니다. 바로 순서의 문제였습니다.

• 이전 연구 (Reddi 등) 의 방식: 먼저 "브레이크가 고장 나는 설정값 (β1, β2)"을 정해놓고, **"그 설정값을 망칠 수 있는 특수한 산 (문제)"**을 만들어냈습니다.
  • 비유: "이 자동차는 100km/h 로 달릴 때만 추락한다"고 증명하기 위해, 100km/h 로만 달릴 수 있는 특수한 언덕을 인위적으로 만들어낸 셈입니다.
• 현실의 방식: 먼저 "우리가 훈련시키고 싶은 데이터 (문제)"를 정해놓고, 그 문제에 맞춰 **설정값 (β1, β2)**을 조절합니다.
  • 비유: 우리가 달릴 실제 도로를 먼저 보고, 그 도로에 맞춰 브레이크와 엑셀을 조절하는 것입니다.

저자들은 **"문제를 먼저 정하고, 그 문제에 맞는 설정값을 고르면 Adam 은 절대 추락하지 않는다"**는 것을 수학적으로 증명했습니다.

3. 해결책: "큰 β2"와 "작은 β1"의 마법

이 논문은 Adam 이 안전하게 작동하기 위한 두 가지 황금 법칙을 찾아냈습니다.

① β2 (베타 2) 는 '무거운 짐'을 들어야 합니다.

• 비유: β2 는 과거의 기억을 얼마나 오래 기억하느냐를 결정합니다. β2 가 **크다 (0.999 등)**는 것은 "과거의 경험 (기울기) 을 아주 오래, 아주 천천히 잊어버린다"는 뜻입니다.
• 효과: β2 가 크면, 알고리즘이 과거의 정보를 너무 급하게 버리지 않고 안정적으로 움직입니다. 마치 무거운 배가 파도 (데이터의 노이즈) 에 흔들리지 않고稳稳하게 항해하는 것과 같습니다.
• 중요한 점: 데이터의 양 (배치 크기) 이 작을수록 β2 는 더 커져야 합니다. (작은 배는 더 무거운 짐을 실어야 흔들리지 않음)

② β1 (베타 1) 은 β2 의 제곱근보다 작아야 합니다.

• 비유: β1 은 최근의 변화에 얼마나 민감하게 반응하느냐입니다. β1 이 너무 크면 과거의 기억 (β2) 보다 현재의 충동 (최근 데이터) 에 너무 쉽게 흔들립니다.
• 조건: β1 이 β2 의 제곱근 (√β2) 보다 작아야만, 과거의 안정감과 현재의 민첩함이 균형을 이룹니다.

4. 흥미로운 현상: "상전이의 문"

이 논문은 가장 흥미로운 발견을 하나 더 했습니다. β1 과 β2 의 조합에 따라 Adam 의 행동이 갑자기 바뀐다는 것입니다.

• 안전 지대 (파란색 영역): β2 가 충분히 크고 β1 이 적당하면, Adam 은 완벽하게 수렴합니다. (목표 지점에 도착)
• 위험 지대 (빨간색 영역): β2 가 너무 작으면, Adam 은 무한히 미끄러져 나갑니다. (추락)
• 상전이 (Phase Transition): 이 두 영역 사이에는 명확한 경계선이 있습니다. 이 경계선을 넘으면 알고리즘의 성질이 완전히 달라집니다. 마치 물이 100 도가 되면 갑자기 기체가 되는 것처럼요.

5. 실생활 조언: "LLM(대형 언어 모델) 을 훈련시킬 때"

이 연구는 AI 개발자들에게 아주 구체적인 조언을 줍니다.

"만약 Adam 으로 훈련이 잘 안 되거나 불안정하다면, β2 값을 더 높여보세요. 특히 데이터를 한 번에 적게 가져오는 (배치 크기가 작은) 상황일수록 β2 를 0.999 나 그 이상으로 높이는 것이 좋습니다."

이 조언은 이미 최신 AI 연구들 (GPT, Llama 등) 에서 실제로 적용되어 더 좋은 성능을 내고 있다는 사실로 뒷받침됩니다.

요약

1. 오해: "Adam 은 이론상 발산할 수 있어서 위험하다."
2. 진실: "그건 특수한 상황을 인위적으로 만든 경우일 뿐이다. 실제 문제에서는 설정값만 잘 맞추면 안전하다."
3. 해결책: β2 를 크게 (0.99 이상) 설정하고, β1 은 β2 의 제곱근보다 작게 유지하면, Adam 은 어떤 수정 없이도 최고의 성능을 낸다.
4. 결론: Adam 은 여전히 AI 훈련의 최고의 엔진입니다. 다만, 엔진을 다룰 때 '과거의 기억 (β2)'을 더 오래, 더 깊게 남겨두는 것이 핵심입니다.

이 논문은 복잡한 수학으로 증명되었지만, 그 결론은 매우 단순하고 실용적입니다. **"무조건 새로운 도구를 만들지 말고, 기존 도구의 설정을 잘 조절해보라"**는 교훈을 줍니다.

기술 요약

1. 문제 제기 (Problem Statement)

• 배경: Adam 은 대규모 언어 모델 (LLM) 을 포함한 신경망 학습의 표준 알고리즘입니다.
• 이슈: Reddi et al. [2018] 은 특정 하이퍼파라미터 설정에서 Adam 이 발산할 수 있음을 보여주는 반례를 제시했습니다. 이는 Adam 의 이론적 안정성에 대한 우려를 불러일으켰습니다.
• 모순: 실제 응용 (GAN, LLM 등) 에서는 Reddi et al.의 발산 조건을 만족하는 하이퍼파라미터 (예: $\beta_1=0.9, \beta_2=0.999$) 를 사용함에도 불구하고 Adam 은 잘 작동하며 수렴합니다.
• 핵심 질문: 왜 이론적 발산과 실제 수렴 사이의 괴리가 발생하는가? Adam 은 수정 없이도 수렴할 수 있는가?

2. 방법론 및 가정 (Methodology & Assumptions)

저자들은 Reddi et al.의 반례와 실제 적용 사이의 설정 차이를 발견했습니다.

• 기존 연구 (Reddi et al.): 먼저 하이퍼파라미터 $(\beta_1, \beta_2)$를 고정하고, 그 파라미터에 맞춰 발산을 유도하는 문제 (미니배치 수 $n$) 를 구성했습니다. 즉, $n$이 파라미터에 의존합니다.
• 본 연구: 실제 학습 환경과 동일하게 문제를 먼저 고정하고 (미니배치 수 $n$ 고정), 그 후 하이퍼파라미터 $(\beta_1, \beta_2)$를 튜닝하는 설정을 가정합니다.

주요 가정:

• 유계 그래디언트 가정 제거: 기존 많은 연구에서 사용되던 $\|\nabla f(x)\| \le G$와 같은 유계 그래디언트 가정을 사용하지 않습니다. 이는 Adam 이 발산할 수 있는 가능성을 열어두기 위해 필수적입니다.
• 변분 조건 (Variance Condition): Assumption 2.2 를 사용하여 그래디언트 분산이 그래디언트 노름에 비례하여 증가할 수 있도록 허용합니다 (Affine variance).
• 샘플링 전략: 교체 샘플링 (With-replacement) 과 무작위 셔플링 (Random Shuffling) 두 가지 경우 모두를 다룹니다.

3. 주요 기여 및 결과 (Key Contributions & Results)

3.1. $\beta_2$에 따른 위상 전이 (Phase Transition)

$(\beta_1, \beta_2)$ 2 차 평면에서 Adam 의 행동이 두 가지 명확한 영역으로 나뉜다는 것을 증명했습니다.

1. 수렴 영역 (Convergence Region):

   • 조건: $\beta_2$가 충분히 크고, $\beta_1 < \sqrt{\beta_2}$를 만족할 때.
   • 결과: Adam 은 임계점 (critical points) 집합으로 수렴합니다. (비실현 가능 문제인 경우 임계점의 근방으로 수렴).
   • 임계값: $\beta_2$의 하한 임계값 $\gamma(n)$은 문제 클래스와 미니배치 수 $n$에 의존합니다. 구체적으로 $\beta_2 \ge 1 - O(\frac{1-\beta_1^n}{n^5})$ 정도여야 합니다.
   • 배치 크기 의존성: $n$이 크면 (배치 크기가 작으면) 더 큰 $\beta_2$가 필요합니다.

2. 발산 영역 (Divergence Region):

   • 조건: $\beta_2$가 작을 때.
   • 결과: 특정 문제 클래스 내에서 Adam 의 반복자, 그래디언트, 함수 값이 모두 무한대로 발산할 수 있음을 증명했습니다.
   • 영역의 확장: $n$이 증가함에 따라 발산 영역이 확장되어, $n \to \infty$일 때 Reddi et al.의 문제 무관 발산 결과와 일치합니다.

3.2. 이론적 증명의 핵심 (Key Technical Insights)

• 집중 효과 (Concentration Effect): $\beta_2$가 클 때, Adam 의 2 차 모멘텀 $v_k$의 변화가 느려져 $1/\sqrt{v_k}$가 $1/\sqrt{E[v_k]}$ 주변에 집중 (concentrate) 된다는 것을 증명했습니다. 이는 확률적 비선형 동역학 시스템을 안정화시키는 핵심 메커니즘입니다.
• 포텐셜 함수 (Potential Function): 모멘텀 $m_k$로 인한 업데이트 방향 왜곡을 보정하기 위해 $z_k = \frac{x_k - \beta_1^n x_{k-n}}{1-\beta_1^n}$과 같은 보조 시퀀스를 도입하여 역사적 신호를 상쇄했습니다.

3.3. 실증적 검증

• MNIST 및 CIFAR-10: 다양한 $(\beta_1, \beta_2)$ 조합에 대한 그리드 서치 실험을 통해, 이론적으로 예측된 수렴 영역 (파란색 영역) 과 발산 영역 (빨간색 영역) 이 실제 학습 손실과 정확히 일치함을 확인했습니다.
• LLM 학습: 최근 LLM 사전 학습 연구들 (Zhang et al., Porian et al. 등) 에서 작은 배치 크기를 사용할 때 $\beta_2$를 높이면 성능이 향상된다는 경험적 보고가 본 이론과 일치함을 지적했습니다.

4. 실용적 제안 (Practical Implications)

논문은 Adam 의 하이퍼파라미터 튜닝에 대한 구체적인 가이드라인을 제시합니다:

1. 배치 크기와 $\beta_2$의 관계: 배치 크기가 작을수록 (미니배치 수 $n$이 클수록) $\beta_2$를 높여야 합니다.
2. 튜닝 전략: Adam 이 잘 작동하지 않을 때, 먼저 $\beta_2$를 배치 크기에 반비례하여 증가시켜 임계값 $\beta^*_2$를 넘게 한 후, $\beta_1 < \sqrt{\beta_2}$ 조건을 만족하도록 $\beta_1$을 조정하십시오.
3. 기본 설정의 타당성: 기존에 널리 사용되던 $(\beta_1, \beta_2) = (0.9, 0.999)$와 같은 설정은 큰 $\beta_2$로 인해 수렴 영역에 위치하므로, 이론적으로도 타당함을 보여줍니다.

5. 의의 (Significance)

• 이론적 정합성: Adam 이 수정 없이도 수렴할 수 있음을 rigorously 증명하여, Reddi et al.의 발산 주장과 실제 성공 사이의 모순을 해결했습니다.
• 최초의 위상 전이 규명: $(\beta_1, \beta_2)$ 평면에서 발산과 수렴이 공존하는 위상 전이 현상을 최초로 규명했습니다.
• 알고리즘 수정 불필요: AMSGrad 나 AdaBound 와 같은 변형 알고리즘이 아닌, **원본 Adam (Vanilla Adam)**의 수렴성을 보장합니다.
• LLM 학습에 대한 통찰: 대규모 언어 모델 학습에서 배치 크기와 $\beta_2$ 간의 관계를 이론적으로 뒷받침하여, 실제 하이퍼파라미터 튜닝에 중요한 지침을 제공합니다.

결론

이 논문은 Adam 이 "발산한다"는 단순한 결론을 넘어, 문제가 고정된 상태에서 적절한 하이퍼파라미터 ($\beta_2$가 크고 $\beta_1 < \sqrt{\beta_2}$) 를 선택하면 Adam 은 수정 없이도 수렴한다는 것을 증명했습니다. 이는 Adam 이 AI 모델 학습의 핵심 엔진으로서의 지위를 이론적으로 확고히 하는 동시에, 실제 학습 시 배치 크기에 따른 $\beta_2$ 조정이 필수적임을 시사합니다.