Beyond a Single Explanation of the Adam--SGD Gap

기술 요약: Adam–SGD 격차에 대한 단일 설명 그 이상

문제 정의

지난 10년 이상, 적응형 옵티마이저인 Adam과 확률적 경사 하강법(SGD) 사이의 성능 차이는 딥러닝, 특히 트랜스포머 기반 대규모 언어 모델(LLM)의 맥락에서 핵심적인 질문이 되어 왔습니다. Adam은 현대 파운데이션 모델의 사실상 표준(de facto standard)이지만, 기존 문헌은 이 "Adam–SGD 격차"에 대해 파편화된 설명을 제공합니다. 이러한 설명들은 일반적으로 개별적으로 연구되며, 격차의 원인을 다음과 같은 특정 요인들에 귀속시킵니다:

1. 데이터 특성: 텍스트 데이터의 헤비 테일(heavy-tailed) 어휘 분포(Zipfian)가 만드는 비등방성 최적화 지형.
2. 아키텍처: 트랜스포머의 구성 요소 이질성(예: 소프트맥스 어텐션, 임베딩, 정규화 레이어).
3. 최적화 역학: 배치 크기 효과 및 그래디언트 노이즈 특성(예: 헤비 테일 노이즈).

본 연구가 다루는 핵심 문제는 이러한 요인들이 어떻게 상호작용하는지에 대한 통합된 이해가 부족하다는 점입니다. 단일 요인이 보편적으로 격차를 유발하는지, 아니면 이 현상이 데이터, 아키텍처, 그리고 훈련 하이퍼파라미터 간의 복잡한 상호작용으로부터 발생하는 것인지는 여전히 불분명합니다.

방법론

저자들은 언어, 비전, 유전체학, 그래프 학습의 네 가지 서로 다른 도메인에 걸쳐 통제된 대규모 경험적 연구를 수행합니다. 이 연구는 현대적인 트랜스포머 아키텍처와 고전적인 비-트랜스포머 모델(예: ResNet, GCNN, GAT)을 모두 활용합니다.

실험 설계:

• 통합 튜닝 프로토콜: 혼란 변수를 제어하기 위해, 저자들은 두 옵티마이저에 대해 학습률($\eta$)과 모멘텀 파라미터($\beta$)를 공동으로 스윕(sweep)합니다. Adam의 경우, SignSGD 이론과 일치시키기 위해 묶인 파라미터화($\beta_1 = \beta_2 = \beta$)를 사용하며, 절제 연구(ablation studies)에서는 독립적인 튜닝도 테스트합니다.
• 글로벌 제약 조건: 실험에는 글로벌 그래디언트 노름 클리핑(1로 설정)과 일관된 웜업/코사인 스케줄을 적용합니다.
• 격차 지표: 격차는 $\Delta^* = L^*_{Adam} - L^*_{SGD}$로 정의되며, 여기서 $L^*$는 최적의 하이퍼파라미터 구성에서의 최종 훈련 손실입니다. 음수의 $\Delta^*$는 Adam이 SGD보다 우수함을 나타냅니다.
• 이론적 모델링: 저자들은 비유클리드 수렴 경계(Kovalev, 2025)에 기반한 이론적 격차 모델을 통해 경험적 발견을 보완합니다. 이들은 모멘텀을 가진 정규화된 SGD(NSGD)를 Adam의 SignSGD 프록시와 비교하여, 격차가 매끄러움 상수(smoothness constants)의 비율($r = L_\infty / L_2$)과 배치 크기($B$)에 따라 어떻게 달라지는지 분석합니다.

주요 기여 및 결과

1. 단일 요인이 격차를 설명하지 못함

본 연구는 특정 요인(어휘 분포, 어텐션 메커리즘 또는 아키텍처 유형)이 Adam–SGD 격차를 설명하는 데 필요하거나 충분하다는 가설을 체계적으로 반박합니다.

• 어휘 분포: 격차는 거의 균등한 어휘 분포($v=5$)와 작은 어휘 크기를 가진 유전체 데이터(HG38)에서도 지속되며, 이는 헤비 테일 클래스 불균형 가설에 반합니다.
• 소프트맥스 어텐션: GPT의 소프트맥스 어텐션 레이어를 게이트 컨볼루션(GCNN)으로 교체해도 격차가 사라지지 않습니다. 즉, Adam이 여전히 SGD보다 우수하며, 이는 어텐션 메커리즘이 유일한 동인이 아님을 시사합니다.
• 아키텍처 이질성: 구성 요소의 이질성(예: 임베딩 vs 헤드 레이어)이 격차에 영향을 미치기는 하지만, 이것이 결정적인 것은 아닙니다. ImageNet21K로 훈련된 비전 트랜스포머(ViT)는 Adam이 승리하는 모델들과 유사한 아키텍처 복잡성을 가졌음에도 불구하고, SGD가 Adam보다 우수한 역전 현상을 보일 수 있습니다.

2. 교차 배치 크기(Crossover Batch Size) 현상

주요한 경험적 발견은 교차 배치 크기의 존재입니다. 배치 크기($B$)가 확장됨에 따라, 상대적인 우위가 SGD에서 Adam으로 이동합니다.

• 데이터 및 아키텍처 상호작용: 교차 지점과 전이의 기울기는 데이터 모달리티와 아키텍처에 따라 공동으로 결정됩니다. 예를 들어, 이미지 데이터(I21K)는 언어나 유전체 데이터에 비해 Adam에게 우위를 넘겨주기 위해 훨씬 더 큰 배치 크기가 필요하며, 이는 비전 작업에서 SGD가 역사적으로 성공했던 것과 일치합니다.
• 아키텍처 민감도: 동일한 데이터셋에 대해 ReLU를 GeLU로 교체하거나 BatchNorm을 LayerNorm으로 교체하는 것과 같은 작은 아키텍처 변화만으로도 옵티마이저 선호도가 SGD에서 Adam으로 바뀔 수 있습니다.

3. 훈련 레짐 의존성

격차는 최적화 레짐에 따라 다르게 나타납니다:

• 과잉 매개변수화(다중 에폭): 모델이 거의 0에 가까운 훈련 손실에 도달할 수 있는 설정(예: 작은 데이터셋을 여러 에폭 동안 훈련)에서는 훈련이 진행됨에 따라 격차가 줄어들며, SGD가 결국 Adam의 성능을 따라잡을 수 있습니다.
• 미달 매개변수화(단일 에폭): 현대적인 LLM 설정(대규모 데이터셋, 단일 에폭)에서는 훈련 내내 격차가 지속되며, Adam이 SGD에 비해 일관된 우위를 유지합니다.

4. 이론적 격차 모델

저자들은 기하학적 매끄러움 비율 $r = L_\infty / L_2$에 기반하여 두 가지 레짐을 예측하는 이론적 모델을 제안합니다:

• 레짐 I ($1 < r < d^{1/3}$): 교차가 발생하며, 작은 배치 크기에서는 SGD가 유리하고 배치 크기가 증가함에 따라 Adam이 유리해집니다. 이는 대부분의 실험 설정과 일치합니다.
• 레짐 II ($d^{1/3} < r < d$): 모든 배치 크기에 걸쳐 SGD(NSGD)가 유리합니다. 이 레지는 ImageNet21K에서 ResNet이 큰 배치 크기에서도 Adam보다 우수한 성능을 보였던 실험 상황에 해당합니다.
  이 모델은 격차가 최적화 기하학, 데이터셋 특성, 그리고 그래디언트 노이즈 분산의 상호작용에 의해 결정됨을 시사합니다.

의의

본 논문은 이전에 충돌하던 가설들을 화해시키는 통합적 관점을 제공한다고 주장합니다. 격차의 원인을 단일 원인(예: "텍스트 데이터는 Zipfian이다" 또는 "트랜스포머는 복잡하다")으로 돌리기보다는, 저자들은 격차가 데이터 분포, 아키텍처 설계, 그리고 배치 크기 사이의 상호작용에서 발생하는 창발적 속성임을 입증합니다.

교차 배치 크기의 식별은 실용적인 휴리스틱을 제공합니다: 옵티마이저 선택은 절대적인 것이 아니라, 특정 배치 크기 레짐과 데이터-아키텍처 쌍을 고려해야 합니다. 이론적 모델은 이러한 경험적 관찰을 더욱 검증하며, 상대적 성능이 손실 지형의 매끄러움 비율과 노이즈 특성에 따라 달라짐을 예측합니다.

결론적으로, 본 연구는 Adam이 현대의 대규모, 미달 매개한 설정(특히 큰 배치 크기 환경)에서 일관된 실용적 이점을 제공하지만, 특정 레짐(예: 큰 배치를 사용하는 비전 작업이나 과잉 매개된 설정)에서는 SGD가 경쟁력이 있거나 더 우수할 수 있음을 보여줌으로써, 보편적인 승자 옵티마이저라는 관점에 도전합니다.