기술 요약: $\ell_2$-노름과 $\ell_\infty$-노름을 넘어서: 심층 신경망을 위한 곡률 기반 $\ell_p$-노름 스킴

문제 정의

심층 신경망(DNN)의 학습은 종종 곡률 이방성(curvature anisotropy), 즉 손실 지형(loss landscape)이 매개변수 차원마다 매우 다른 곡률을 보이는 현상에 의해 저해됩니다. 본 논문은 기존 옵티마이저들이 학습 과정 중 발생하는 이러한 이방성의 역동적인 변화를 반영하지 못하고 고정된 기하학적 가정을 따르고 있다는 점을 지적합니다:

• $\ell_2$-노름 기반 옵티마이저 (예: SGD): 이들은 고곡률 방향에 의해 지배됩니다. 초기 학습 단계에서 곡률 이방성이 강할 때(큰 헤시안 고윳값 이상치로 특징지어지는 시기), $\ell_2$ 기반 업데이트는 평탄한 방향으로의 진행을 제한하여 수렴 속도를 늦춥니다.
• $\ell_\infty$-노름 기반 옵티마이저 (예: Lion, signSGD와 같은 부호 기반 방법): 이들은 그래디언트의 부호를 기준으로 좌표를 동일한 크기로 업데이트합니다. 이 방식은 이방성이 높은 영역에서는 효과적이지만, 크기 스케일링이 부족하기 때문에 (후기 학습 단계의) 평탄한 영역에서는 진동을 유발할 수 있습니다.

최근 헤시안 고윳값 분포에 대한 분석(예: CIFAR-10에서의 ResNet-18 및 ImageNet-1K에서의 ResNet-50)은 손실 지형이 초기 에포크의 극단적인 고윳값을 가진 고도로 이방성인 비볼록(non-convex) 상태에서, 후기 에포크의 평탄하고 약한 이방성을 가진 근사 볼록(approximately convex) 영역으로 진화함을 보여줍니다. 핵심 문제는 단일한 고정 노름 기하학($\ell_2$ 또는 $\ell_\infty$)이 전체 학습 과정에 충분한가, 아니면 이러한 변화하는 곡률 구조에 부합하는 동적인 스킴이 필요한가 하는 것입니다.

방법론

저자들은 곡률 이방성의 변화에 맞추어 노름 파라미터 $p$를 학습 과정 전반에 걸쳐 동적으로 조정하는 **코사인 $\ell_p$-노름 스킴(Cosine $\ell_p$-Norm Scheme)**을 제안합니다.

1. 이론적 동기

$\ell_p$-매끄러움(smoothness) 모델에 기반할 때, $\ell_p$ 기하학에서의 최급 강하(steepest descent) 업데이트 방향은 좌표별 스케일링 인자 $|g^{(i)}|^{p-2}$를 포함합니다.

• $p=2$ (유클리드)일 때, 업데이트는 그래디언트 크기에 따라 선형적으로 스케일링됩니다.
• $p > 2$일 때, 스케일링은 하위 선형(sublinear, $\alpha = \frac{1}{p-1} < 1$)이 되어 방향적 불균형을 압축하고 고곡률 방향의 지배력을 억제합니다.
• $p \to \infty$로 갈 때, 업데이트는 크기를 완전히 무시하는 부호 기반 형태($\ell_\infty$)에 접근합니다.

저자들은 큰 $p$ (예: $p > 2$)가 초기 학습 단계에서 강한 이방성을 처리하는 데 유익하며, 작은 $p$ (2에 가까운 값)가 후기 단계의 평탄한 영역에서 안정적이고 정교한 업데이트를 보장하는 데 바람직하다고 주장합니다.

2. 제안된 알고리즘

이 스킴은 SGD와 모멘텀이 적용된 SGD(SGDM)에 통합되어 두 가지 새로운 옵티마이저인 LPSGD와 LPSGDM을 생성합니다.

• 동적 스케줄링: 에포크 $s$에서의 노름 파라미터 $p_s$는 코사인 어닐링 전략을 사용하여 스케줄링됩니다:
  $$p_s = 2 + (p_{\max} - 2) \cdot \frac{1 + \cos(\pi \frac{s-1}{S-1})}{2}$$
  여기서 $p_{\max} \geq 2$는 초기 최대 노름이며, $S$는 총 에포크 수입니다. 이 스케줄은 $p_{\max}$에서 시작하여 2로 부드럽게 감소합니다.

• 업데이트 규칙: 확률적 그래디언트 $g_t$ (또는 LPSGDM의 모멘텀 버퍼 $m_t$)에 대해, 업데이트 방향 $u_t$는 다음과 같은 비선형 스케일링 맵을 통해 계산됩니다:
  $$u_t = \frac{g_t}{(|g_t| + \epsilon)^{\rho_s}}$$
  여기서 $\rho_s = \frac{p_s - 2}{p_s - 1}$ 이고 $\epsilon$은 안정성 상수입니다. 이후 매개변수는 $\theta_{t+1} = \theta_t - \eta u_t$로 업데이트됩니다 (LPSGDM의 경우 가중치 감쇠 추가).

3. 수렴 분석

본 논문은 비볼록 확률적 최적화에 대한 이론적 보증을 제공합니다:

• 표준 가정($\ell_p$-매끄러움, 편향되지 않은 그래디언트, 유계된 노이즈) 하에서, 저자들은 LPSGD와 LPSGDM이 기대 제곱 그래디언트 노름에 대해 $O(T^{-1/2})$의 수렴 속도를 달성함을 증명합니다 (여기서 $T$는 반복 횟수).
• 이 분석은 변환된 업데이트 방향의 조건부 정렬(conditional alignment) 및 유계된 이차 모멘트를 확립하는 데 기초합니다.

주요 기여

1. 곡률 진화의 특성화: 본 연구는 DNN 학습 중 헤시안 고윳값 분포의 진화를 경험적으로 특성화하여, 강한 이방성에서 약한 이방성으로의 변화를 강조했습니다.
2. 코사인 $\ell_p$-노름 스킴: 고차원 $p$ 노름(이상치 곡률 지배력 억제)에서 유클리드 노름(평탄한 영역에서의 안정성 확보)으로 전환되는 혁신적인 스케줄링 전략을 제안하며, 이는 계산 오버헤드가 거의 없습니다.
3. 새로운 옵티마이저 (LPSGD/LPSGDM): 이 스킴을 표준 1차 메서드에 통합하여 기존 베이스라인을 능가하는 알고리즘을 도출했습니다.
4. 이론적 보증: 제안된 알고리즘의 비볼록 환경에서의 $O(T^{-1/2})$ 수렴 속도에 대한 엄밀한 증명을 제공합니다.

실험 결과

다양한 아키텍처(VGG-11, ResNet-18, ResNet-50)와 벤치마크 데이터셋(CIFAR-10, CIFAR-100, ImageNet-1K)을 사용하여 광범한 실험을 수행했습니다. 제안된 방법들을 SGD w/Momentum, AdamW, Lion과 비교했습니다.

• CIFAR-10: LPSGDM은 모든 모델과 체크포인트에서 일관되하게 가장 높은 Top-1 정확도를 달s성했습니다. 예를 들어, ResNet-18에서 200 에포크 시점에 94.81% 정확도에 도달하여 SGD(93.15%), AdamW(94.09%), Lion(94.04%)을 능가했습니다.
• CIFAR-100: 더 까다로운 이 설정에서 성능 격차가 더 커졌습니다. LPSGDM은 ResNet-18에서 77.98%, ResNet-50에서 **76.78%**를 달성하여 베이스라인들을 크게 앞질렀습니다 (예: ResNet-50에서 최상의 베이스라인 대비 +1.87%).
• ImageNet-1K: ResNet-50의 경우, LPSGDM은 학습 중간 및 후기 단계에서 모든 베이스라인을 넘어섰으며, 60 에포크에서 **74.04%**의 Top-1 정확도를 달성하여 AdamW보다 2.25 퍼센트 포인트 높은 성능을 보였습니다.
• 일반화: 주목할 점은, LPSGDM이 훈련 Negative Log-Likelihood(NLL)가 가장 낮지 않은 경우에도 더 높은 테스트 정확도를 달성하는 경우가 많았다는 것이며, 이는 이 방법이 단순히 훈련 손실을 최소화하는 것을 넘어 솔루션의 일반화 품질을 개선함을 시사합니다.

의의 및 주장

본 논문은 제안된 코사인 $\ell_p$-노름 스킴이 DNN 손실 지형의 내재적 기하학적 변화에 적응함으로써 고정 노름 옵티마이저의 한계를 효과적으로 해결한다고 주장합니다. 학습 초기에 고곡률 방향의 지배력을 동적으로 억제하고 후기에 안정적인 유클리드 업데이트로 전환함으로써, 이 방법은 우수한 일반화 성능을 달성합니다. 저자들은 이 접근 방식이 1차 정보만을 필요로 하며 최소한의 계산 비용(요소별 재스케일링)만을 추가하므로, 기존 최적화 프레임워크에 대한 실용적이고 확장 가능한 향상임을 강조합니다. 제안된 $O(T^{-1/2})$의 이론적 수렴 속도는 이러한 경험적 이득이 엄밀한 수학적 분석에 의해 뒷받침됨을 확인시켜 줍니다.