What do near-optimal learning rate schedules look like?

이 논문은 학습률 스케줄의 최적 형태를 찾기 위한 탐색 절차를 제안하여, 웜업과 감쇠가 필수적이며 기존에 널리 쓰이는 스케줄들은 최적이지 않으며 가중치 감소가 최적 형태에 큰 영향을 미친다는 것을 다양한 작업에서 입증했습니다.

핵심

학습률 스케줄: AI 를 가르칠 때의 '리듬'을 찾아서

이 논문은 인공지능 (AI) 을 훈련시킬 때 가장 중요한 요소 중 하나인 **'학습률 (Learning Rate)'**을 어떻게 조절해야 가장 잘 학습할 수 있는지에 대한 비밀을 파헤친 연구입니다.

비유하자면, AI 를 가르치는 것은 마라톤 선수를 훈련시키는 것과 같습니다.

• 학습률은 선수가 한 걸음에 얼마나 힘껏 뛰는지 (보폭) 를 결정합니다.
• 학습률 스케줄은 훈련 기간 동안 이 보폭을 어떻게 변화시켜야 하는지에 대한 훈련 일정표입니다.

지금까지 연구자들은 "처음엔 천천히 시작해서 (워밍업), 중간에 최고 속도로 뛰고, 마지막엔 천천히 줄여서 (쿨다운)"라는 대략적인 원칙만 알고 있었습니다. 하지만 **"정확히 어떤 곡선으로 속도를 조절해야 가장 빨리, 가장 잘 finish 할 수 있을까?"**에 대해서는 명확한 답이 없었습니다. 이 논문은 바로 그 '완벽한 리듬'을 찾기 위해 수많은 실험을 진행했습니다.

---

1. 연구의 핵심: "최고의 리듬 찾기"

연구진은 다양한 AI 모델 (이미지 인식, 언어 모델 등) 을 훈련시키며, 학습률의 모양을 수학적으로 변형해 보는 대규모 검색 실험을 진행했습니다. 마치 요리사가 레시피의 '불 조절'을 수천 번 바꿔가며 최고의 맛을 찾는 것과 비슷합니다.

그들이 발견한 놀라운 사실들은 다음과 같습니다.

🏁 결론 1: "시작은 천천히, 끝은 부드럽게"가 정답이다

가장 좋은 학습률 스케줄은 거의 항상 두 가지 특징을 가졌습니다.

1. 워밍업 (Warmup): 훈련 시작 시에는 학습률을 0 에 가깝게 시작해 서서히 높입니다. (마치 자동차를 시동 걸고 서서히 가속하는 것)
2. 감쇠 (Decay): 훈련이 진행될수록 학습률을 서서히 줄여 마지막에는 거의 0 이 됩니다. (마치 결승선 근처에서 속도를 줄여 안전하게 멈추는 것)

흥미로운 점은, 연구진이 워밍업이나 감쇠를 강제하지 않은 아주 자유로운 형태의 스케줄을 검색했을 때도, AI 가 스스로 **"아, 역시 시작은 천천히 하고 끝은 부드럽게 줄여야 하는구나!"**라고 깨닫고 똑같은 패턴을 찾아냈다는 것입니다. 이는 이 두 가지가 AI 학습의 불변의 진리임을 보여줍니다.

📉 결론 2: 선형 회귀 (수학 문제) 와 딥러닝 (복잡한 문제) 은 다르다

연구진은 먼저 아주 단순한 수학 문제 (선형 회귀) 에 대해 최적의 스케줄을 찾아냈습니다.

• 단순 수학 문제: 워밍업이 필요 없었고, 중간에는 일정한 속도로 달렸다가 마지막에 갑자기 멈추는 것이 최고였습니다. (마치 경주용 자동차가 직선 도로에서 브레이크를 꽉 밟는 것)
• 복잡한 AI 문제 (이미지/언어): 워밍업이 필수였고, 마지막에 부드럽게 감속해야 했습니다.

이 차이는 AI 학습이 단순한 수학 공식 풀이와는 완전히 다른, 훨씬 복잡한 과정임을 보여줍니다. 그래서 수학 이론만으로 AI 학습을 설명하려는 시도는 위험할 수 있습니다.

🎛️ 결론 3: '스케줄 모양'보다 '기본 속도'가 더 중요하다

학습률 스케줄의 모양 (곡선) 을 아무리 예쁘게 만들더라도, **기본 학습률 (Base Learning Rate)**이라는 '최고 속도' 설정이 잘못되면 아무 소용이 없습니다.

• 비유: 아무리 훌륭한 운전 기술 (스케줄) 을 갖췄어도, 차의 엔진 출력 (기본 학습률) 이 너무 약하거나 너무 강하면 목적지에 도달할 수 없습니다.
• 연구진은 "스케줄 모양을 미세하게 조정하기 전에, 기본 속도를 잘 맞추는 것이 훨씬 더 중요하다"고 강조했습니다.

⚖️ 결론 4: '가중치 감소 (Weight Decay)'라는 조종사가 리듬을 바꾼다

AI 학습에는 '가중치 감소'라는 다른 중요한 설정이 있습니다. 연구진은 이 설정을 바꿨을 때 최적의 학습률 스케줄 모양이 확 달라진다는 것을 발견했습니다.

• 비유: 가중치 감소 설정을 바꾸는 것은 마치 운전하는 차의 종류를 바꾸는 것과 같습니다. 경주용 차 (가중치 감소가 큰 경우) 에는 급가속과 급정거가 잘 맞지만, 가족용 승용차 (가중치 감소가 작은 경우) 에는 부드럽게 가속하고 서서히 멈추는 것이 더 좋습니다.
• 즉, AI 모델의 설정에 따라 최적의 '리듬'도 달라져야 합니다.

---

2. 이 연구가 우리에게 주는 교훈

이 논문은 AI 개발자들에게 다음과 같은 실용적인 조언을 줍니다.

1. 워밍업과 감쇠는 필수입니다: 무조건적인 속도 유지보다는 시작과 끝을 잘 조절하세요.
2. 기본 속도를 먼저 잡으세요: 스케줄 모양을 예쁘게 만들기 전에, 기본 학습률을 잘 튜닝하세요.
3. 단순한 공식에 의존하지 마세요: "코사인 (Cosine) 함수" 같은 정해진 공식이 항상 최고는 아닙니다. 상황에 따라 조금 더 유연한 모양 (예: 스플라인 곡선) 이 더 나을 수 있습니다.
4. 다른 설정과 함께 고려하세요: 학습률 스케줄은 다른 설정 (가중치 감소 등) 과 떼려야 뗄 수 없는 관계입니다.

요약하자면

이 연구는 AI 를 가르칠 때 **"어떻게 뛰어야 가장 잘 달릴까?"**라는 질문에 답하기 위해, 수많은 시도를 통해 최적의 훈련 리듬을 찾아냈습니다. 그 결과, **"시작은 부드럽게, 끝은 천천히, 그리고 상황에 따라 리듬을 바꿔라"**는 것이 가장 좋은 전략임을 증명했습니다.

이제 우리는 AI 를 훈련시킬 때, 단순히 정해진 공식을 따르는 것이 아니라, 모델의 특성에 맞춰 더 정교한 리듬을 설계할 수 있는 길을 알게 되었습니다.

기술 요약

1. 문제 정의 (Problem Statement)

• 배경: 신경망 학습에서 학습률 (Learning Rate, LR) 설정은 성공적인 학습의 핵심 요소입니다. 현재 관행에서는 일반적으로 '워밍업 (Warmup)' 단계와 '감쇠 (Decay)' 단계를 포함하는 스케줄을 사용하지만, 구체적인 스케줄의 **모양 (Shape)**에 대해서는 합의된 바가 없습니다.
• 현황: 연구자들은 주로 선형 (Linear), 역제곱근 (Inverse Square Root), 코사인 (Cosine) 등 고정된 함수 형태를 사용하며, 워밍업 기간이나 피크 학습률 등 몇 가지 파라미터만 조정합니다.
• 핵심 질문: 주어진 작업 (Workload) 에 대해 학습률 스케줄의 최적의 형태는 무엇이며, 이는 다른 최적화 하이퍼파라미터 (예: Weight Decay) 와 어떻게 상호작용하는가?

2. 방법론 (Methodology)

2.1. 학습률 스케줄 패밀리의 정의

저자들은 학습률 스케줄을 $s(t) = \alpha \cdot \phi(t/T)$로 정의하며, 여기서 $\alpha$는 베이스 학습률, $\phi$는 $[0, 1]$ 구간을 $[0, 1]$로 매핑하는 스케줄 모양 (Shape) 함수로 정의했습니다. 다양한 형태의 스케줄 패밀리를 정의하여 탐색 공간으로 삼았습니다 (Table 1 참조):

• 기존 형태: Constant, Cosine (표준 및 일반화), Square-root Decay, Rex.
• 유연한 형태: Two-Point Spline (tps), Two-Point Linear (tpl), Smooth Non-Monotonic (snm).
  • 특히 snm은 워밍업이나 감쇠를 강제하지 않는 가장 유연한 스플라인 기반 패밀리입니다.

2.2. 실험 환경 및 작업 (Workloads)

계산 비용을 줄이고 높은 처리량을 확보하기 위해 세 가지 작고 효율적인 작업을 사용했습니다:

1. 선형 회귀 (Linear Regression): MSE 손실 함수 사용. 이론적 최적 해를 구할 수 있는 Ground Truth 제공.
2. 이미지 분류 (CIFAR-10): 작은 CNN 모델 사용.
3. 언어 모델링 (WikiText-103): 8 백만 파라미터 Transformer 모델 사용.

2.3. 탐색 절차 (Search Procedure)

• 2 단계 전략:
  1. 탐색 단계 (Search Step): 각 스케줄 패밀리 내에서 무작위 샘플링을 통해 3,600 개 (CIFAR-10) 또는 600 개 (WikiText-103) 의 스케줄 모양을 생성합니다. 각 모양에 대해 16 개의 베이스 학습률을 그리드 탐색하며, 10 개 (CIFAR-10) 또는 5 개 (WikiText-103) 의 시드 (Seed) 로 평가하여 중앙값 (Median) 점수를 계산합니다.
  2. 평가 단계 (Evaluation Step): 탐색 단계에서 상위 $k$개 (CIFAR-10 은 100 개, WikiText-103 은 50 개) 의 스케줄을 선정하여 100 개의 시드로 재학습하여 최종 성능을 검증합니다.
• 최적화 제한 영역 (Optimization-limited Regime): 모든 스케줄이 수렴하기 전에 학습을 중단하여, 스케줄 모양에 따른 성능 차이를 명확하게 포착할 수 있도록 설정했습니다.

3. 주요 기여 및 결과 (Key Contributions & Results)

3.1. 선형 회귀 (Ground Truth 검증)

• 이론적 최적 스케줄: 선형 회귀 문제에서 이론적으로 계산된 최적 스케줄은 워밍업이 없으며, 학습 초기에는 큰 학습률을 유지하다가 훈련 말기에 **급격히 감쇠 (Sharp Decay)**하는 형태였습니다.
• 탐색 성능: 무작위 탐색을 통해 이론적 최적 스케줄의 특징 (워밍업 부재, 급격한 감쇠) 을 부분적으로 포착했지만, Smooth Non-Monotonic과 같은 유연한 패밀리에서는 무작위 탐색만으로는 이론적 최적치에 완전히 도달하지 못했습니다. 이는 고차원 공간에서의 탐색 난이도를 시사합니다.

3.2. 신경망 작업 (CIFAR-10, WikiText-103)

• 근사적 최적 스케줄의 발견:
  • 워밍업과 감쇠의 필수성: 선형 회귀와 달리, 신경망 학습 (비선형) 에서는 모든 패밀리 (유연한 snm 포함) 에서 워밍업과 점진적인 감쇠가 필수적으로 나타났습니다. 이는 최적화 과정에서 워밍업과 감쇠가 근본적으로 필요함을 의미합니다.
  • 유연한 패밀리의 우위: 표준 코사인 (Cosine) 스케줄보다 Two-Point Spline, 일반화 코사인 등 더 유연한 패밀리가 더 낮은 훈련 오차 (CIFAR-10) 또는 퍼플렉시티 (WikiText-103) 를 달성했습니다.
  • 베이스 학습률의 중요성: 스케줄의 모양보다 베이스 학습률 ($\alpha$) 튜닝이 성능에 훨씬 더 큰 영향을 미쳤습니다.

3.3. 다른 하이퍼파라미터와의 상호작용

• Weight Decay ($\lambda_{WD}$): Weight Decay 의 크기에 따라 최적 스케줄 모양이 크게 달라졌습니다. Weight Decay 가 클수록 학습률이 더 늦게까지 높게 유지되다가 (Late Decay) 급격히 떨어지는 형태가 최적화되었습니다.
• Adam $\beta_1, \beta_2$: 모멘텀 파라미터 ($\beta_1$) 변화는 스케줄 모양에 미미한 영향을 미쳤으나, $\beta_1$이 낮을 때 (0.8) 더 좋은 성능을 보이는 경향이 있었습니다.

3.4. 탐색의 유효성 검증

• 선형 회귀 vs 신경망: 선형 회귀에서는 워밍업이 불필요했으나, 신경망에서는 필수적이었습니다. 이는 볼록 최적화 (Convex) 에서 도출된 원리가 비볼록 (Non-convex) 인 딥러닝 환경에 직접 적용되기 어렵다는 점을 보여줍니다.
• Smooth Non-Monotonic의 한계: 이 패밀리는 탐색이 매우 어려웠으며, 무작위 탐색만으로는 최적의 워밍업/감쇠 구조를 찾기 힘들었습니다. 이는 더 효율적인 탐색 알고리즘 (베이지안 최적화 등) 이 필요함을 시사합니다.

4. 의의 및 결론 (Significance & Conclusion)

1. 근사적 최적 스케줄의 실체 규명: 이 논문은 다양한 작업에 대해 근사적으로 최적인 학습률 스케줄의 형태를 체계적으로 규명한 최초의 포괄적인 연구 중 하나입니다.
2. 실무적 통찰:
   • 워밍업과 감쇠의 보편성: 신경망 학습에서는 워밍업과 점진적인 감쇠가 단순한 관례가 아니라 필수적인 요소임을 확인했습니다.
   • 베이스 학습률 우선순위: 스케줄 모양을 미세 조정하기 전에 베이스 학습률을 충분히 튜닝하는 것이 훨씬 중요합니다.
   • Weight Decay 의 영향: Weight Decay 설정에 따라 최적의 스케줄 모양이 달라지므로, 두 하이퍼파라미터를 함께 고려해야 합니다.
3. 향후 연구 방향: 더 유연한 스케줄 패밀리를 탐색하기 위해서는 무작위 탐색보다 적응형 탐색 (Adaptive Search) 이나 베이지안 최적화 기법이 필요하며, 자동 학습률 선택 (Automatic LR Selection) 연구에 기초 데이터를 제공합니다.

요약하자면, 이 연구는 "학습률 스케줄의 모양"이 고정된 공식이 아니라 작업의 특성 (비선형성) 과 다른 하이퍼파라미터 (Weight Decay 등) 에 따라 최적의 형태가 달라진다는 것을 증명하며, 특히 신경망 학습에서는 워밍업과 점진적 감쇠가 핵심 요소임을 강조합니다.