Why Adam Works Better with $\beta_1 = \beta_2$: The Missing Gradient Scale Invariance Principle

기술적 요약: 왜 $\beta_1 = \beta_2$ 설정 시 Adam 이 더 잘 작동하는가

문제 제기
Adam 이 거의 10 년 동안 대규모 신경망 학습을 위한 기본 최적화 알고리즘으로 사용되어 왔음에도 불구하고, 설명되지 않은 지속적인 경험적 관찰이 존재합니다: 모멘텀 매개변수를 동일하게 설정 ($\beta_1 = \beta_2$) 할 때 학습 안정성과 검증 성능이 종종 향상됩니다. 최근 연구들 (예: Orvieto 와 Gower [2025]) 은 다양한 아키텍처 전반에 걸쳐 이 현상을 문서화했지만, 왜 이 특정 구성이 더 나은 동작을 산출하는지, 그리고 이것이 최적화 알고리즘의 내부 역학과 어떻게 관련되는지에 대한 엄밀한 이론적 설명은 아직 없습니다. furthermore, 현대 최적화 알고리즘 설계의 병행적 경향 (예: Lion, Muon, Scion) 은 명시적으로 스케일-강건한 (scale-robust) 업데이트를 강제하는 것을 포함하지만, 이러한 새로운 방법들과 Adam 의 "균형 잡힌" 영역 간의 연결은 여전히 불명확한 상태입니다.

방법론
저자들은 Adam 의 역학을 분석하기 위해 **그라디언트 스케일 불변성 (gradient scale invariance)**이라는 구조적 속성을 도입합니다. 이 개념을 다음과 같이 형식화합니다: 최적화 알고리즘이 그라디언트를 양수 인자 $\lambda$로 재조정할 때 (내부 상태를 고정시킨 채) 업데이트 벡터가 본질적으로 변하지 않으면, 그 알고리즘은 그라디언트 스케일 불변성을 가집니다.

이를 조사하기 위해 저자들은 Adam 알고리즘의 연속 시간 극한 (continuous-time limit) 분석을 수행합니다. 그들은 Adam 을 상미분방정식 (ODE) 에 의해 지배되는 동역학 시스템의 시간 이산화로 모델링합니다. 이산 매개변수 $\beta_1$과 $\beta_2$에 해당하는 완화 시간 (relaxation times) $\tau_1$과 $\tau_2$를 도입하여 ($\beta_i = e^{-\Delta t/\tau_i}$를 통해), 1 차 모멘트 ($m(t)$) 와 2 차 모멘트 ($v(t)$) 에 대한 연속 시간 흐름을 유도합니다.

분석의 핵심은 정규화된 업데이트 벡터 $R(t) = m(t)/\sqrt{v(t)}$를 그라디언트의 **로그 스케일 드리프트 (logarithmic scale drift)**에 의존하는 성분으로 분해하는 것입니다. 이는 $\delta(t) = \frac{d}{dt} \log |g(t)|$로 정의됩니다. 저자들은 업데이트가 스케일 불변 부호 성분, $(\tau_2 - \tau_1)\delta(t)$에 비례하는 명시적인 "스케일 지연 (scale-lag)"항, 그리고 고차 잔차 항으로 분해될 수 있음을 증명합니다.

주요 기여

1. 그라디언트 스케일 불변성의 형식화: 이 논문은 그라디언트 스케일 변화에 대한 명시적인 선형 응답이 소멸하는 1 차 그라디언트 스케일 불변성을 정의합니다.
2. Adam 의 이론적 특성화: 저자들은 Adam 이 필요충분조건으로 $\beta_1 = \beta_2$ (또는 동등하게 $\tau_1 = \tau_2$) 일 때 1 차 그라디언트 스케일 불변성을 달성함을 증명합니다.
   • $\beta_1 \neq \beta_2$일 때, 업데이트는 그라디언트의 스케일 드리프트에 비례하는 1 차 항을 포함하므로, 업데이트는 그라디언트 크기의 변동에 민감해집니다.
   • $\beta_1 = \beta_2$일 때, 이 1 차 항은 정확히 상쇄되어 민감도를 2 차 수준으로 낮춥니다. 결과적으로 업데이트는 본질적으로 스케일 불변인 부호 기반 방법과 더 유사하게 동작합니다.
3. 합성 및 경험적 검증:
   • 합성 실험: 재조정된 그라디언트 신호를 사용한 통제된 실험은 $\beta_1 = \beta_2$일 때 업데이트 벡터의 노름이 스케일 변화 하에서 안정적으로 유지되는 반면, $\beta_1 \neq \beta_2$일 때는 상당한 1 차 편차가 발생함을 보여줍니다.
   • 실제 학습: 비전 (EfficientNet, ResNet, ViT) 과 언어 (NanoGPT, T5) 작업 전반에 걸친 광범위한 실험은 $\beta_1 = \beta_2$일 때 업데이트 노름 ($\|R_k\|$) 의 진동이 최소화됨을 보여줍니다. 저자들은 이 안정성을 정량화하기 위해 진동 지표 $\omega$를 정의하여, 대각선 구성이 일관되게 더 매끄러운 업데이트 궤적을 산출함을 발견했습니다.
   • 통계적 유의성: 여러 모델 - 데이터셋 쌍에 대한 이항 검정은 업데이트 안정성을 위한 최적의 $\beta_2$가 높은 통계적 유의성으로 $\beta_1$과 일치함을 확인했습니다.

결과
실험들은 스케일 지연 항의 이론적 상쇄가 실제 학습 역학으로 직접 전환됨을 확인시켜 줍니다.

• 업데이트 노름 안정성: 테스트된 모든 아키텍처 (NanoGPT, EfficientNet-B0, ResNet18, ViT-B16, T5) 에서 $\beta_1 = \beta_2$일 때 대각선 외 설정에 비해 업데이트 노름 $\|R_k\|$의 진동이 현저히 낮습니다.
• 분해 분석: 고정된 데이터 프로브 그라디언트에 대한 진단적 재생성 분석은 $\beta_1 \neq \beta_2$일 때 명시적인 스케일 지연 항이 정규화된 업데이트의 절대 예산의 약 50% 를 차지함을 보여줍니다. 반면 $\beta_1 = \beta_2$일 때 이 항은 소멸하며, 업데이트는 스케일 불변 부호 성분에 의해 지배됩니다.
• 강건성: 이러한 발견들은 서로 다른 랜덤 시드, 학습률 스케줄, 아키텍처 패밀리 전반에 걸쳐 유효하므로, 이 현상은 특정 하이퍼파라미터의 인공물이 아니라 최적화 알고리즘 구조의 근본적인 속성임을 시사합니다.

의의 및 주장
이 논문은 Adam 에서의 균형 잡힌 영역 ($\beta_1 = \beta_2$) 의 경험적 성공에 대한 일관된 이론적 설명을 제공한다고 주장합니다. 저자들은 이 구성이 단순히 편리한 휴리스틱이 아니라 Adam 에 1 차 그라디언트 스케일 불변성을 부여하는 구조적 정렬이라고 주장합니다.

저자들은 이 속성이 최근의 최첨단 최적화 알고리즘 (Lion 및 Muon 등) 과 개념적으로 동일한 범주에 균형 잡힌 Adam 영역을 위치시킨다고 논증합니다. 이러한 바람직한 속성이 Adam 의 표준 공식화 내에 잠재되어 있음을 규명함으로써, 이 연구는 전통적인 적응형 방법과 현대적인 스케일 불변 설계 간의 간극을 메웁니다.

이 논문은 그라디언트 스케일에 대한 민감도를 낮추는 것이 안정적인 적응형 최적화를 위한 구조적 원칙이라고 결론지었습니다. 이 연구는 새로운 최적화 알고리즘을 제안하지는 않지만, 향후 최적화 알고리즘 설계에 대한 지침 원칙을 제공하며, 특히 그라디언트 크기가 변동하는 영역에서 학습 안정성을 개선하기 위해 $\beta_1 = \beta_2$를 설정하는 것이 원칙적인 선택임을 시사합니다. 저자들은 분석이 국소적이고 좌표별임을 지적하며, 대각선 상의 공통 $\beta$의 최적 값은 특정 학습 역학에 의존하는 열린 질문으로 남아 있음을 겸손하게 언급합니다.