기술적 요약: 특이 분포의 안정성 (SoSD)

문제 제기

대형 언어 모델 (LLM) 사전 학습은 일관적으로 "초기 급속 감소 후 장기적 둔화"라는 두 단계 궤적의 특징을 보입니다. 이는 초기에는 손실 (loss) 이 급격히 감소하는 구간이 이어진 뒤, 이후 점근적이고 heavy-tailed(무거운 꼬리) 한 개선이 장기간 지속되는 양상입니다. 이러한 경험적 패턴은 주요 기술 보고서들에서 잘 문서화되어 있으나, 빠른 학습 단계에서 느린 포화 단계로의 전환을 규정하는 근본적인 이론적 메커니즘은 여전히 충분히 탐구되지 않았습니다. 기존 분석들은 종종 제한된 작업 공식화 (예: 인-컨텍스트 학습 또는 선형 회귀) 에 의존하거나 랭크 붕괴 (rank collapse) 와 같은 특정 구조적 현상에 초점을 맞추어, 일반적인 사전 학습 시나리오에서 손실 지형 (loss landscape) 의 거시적 시간적 진화에 대한 통합된 스펙트럼 관점을 제공하지 못했습니다.

방법론

저자들은 파라미터 행렬의 수렴에서 그들의 스펙트럼 특성의 시간적 진화로 분석의 렌즈를 전환함으로써 LLM 의 최적화 역학을 조사합니다.

경험적 접근

이 연구는 두 가지 디코더 전용 모델 계열에 대한 사전 학습 실험을 수행합니다:

• GPT-2(Small 및 Medium): FineWeb 데이터셋으로 학습.
• LLaMA(0.5B 및 2B): C4 데이터셋으로 학습.

저자들은 파라미터 행렬 ($W$) 과 그들의 특이값 행렬 ($\Sigma$) 에 대해 현재 상태와 최종 학습된 상태 간의 코사인 유사도를 모니터링합니다. 그들은 **특이 분포 (Singular Distribution, SD)**를 트레이스 정규화된 스펙트럼 ($\hat{\Sigma}_t = \Sigma_t / \text{tr}(\Sigma_t)$) 으로 정의하고, 이 정규화된 스펙트럼에 대한 업데이트의 프로베니우스 노름 ($\Delta \Sigma_t = \|\hat{\Sigma}_{t+1} - \hat{\Sigma}_t\|_F$) 을 **특이 분포 변화 (SD Variation)**로 측정합니다.

이론적 프레임워크

관찰된 현상을 설명하기 위해 저자들은 작은 초기화 조건에서 전체 배치 (full-batch) 경사 하강법을 사용하는 단순화된 단일 층 단일 헤드 트랜스포머를 분석합니다. 그들은 다음에 기반한 이론적 프레임워크를 수립합니다:

1. 엄격히 증가하는 노름: (가중치 감쇠가 없는 경우) 학습 중 가중치 노름이 단조롭게 증가합니다.
2. 비퇴화성과 경계된 기울기: 파라미터는 조건수가 경계된 풀 랭크 (full-rank) 상태를 유지하며, 기울기는 소멸하지 않지만 경계됩니다.
3. 매끄러움과 마진 조건: 후기 학습 구간에서 손실 지형의 국소적 매끄러움과 어텐션 및 로짓 분포에서의 양의 마진에 대한 가정.

주요 기여

1. 특이 분포의 안정성 (SoSD) 의 식별

이 논문은 **특이 분포의 안정성 (Stability of Singular Distribution, SoSD)**이라고 명명된 현상을 식별합니다. 경험적 결과는 트레이스 정규화된 특이값 스펙트럼 ($\hat{\Sigma}$) 이 파라미터 행렬 ($W$) 자체보다 훨씬 일찍 안정화됨을 보여줍니다.

• 스펙트럼 분리: 가중치 항목들이 최종 구성과 여전히 멀리 떨어져 있는 동안, 특이값 스펙트럼의 상대적 형태는 1 에 근접하여 포화됩니다.
• 동기화: SoSD 의 시작 (SD Variation 이 준안정적 바닥으로 떨어지는 시점) 은 검증 손실이 급속 하강 단계에서 느린 하강 (점근적) 구간으로 전환되는 시점과 정확히 일치합니다. 이 동기화는 다양한 아키텍처 (GPT-2, LLaMA), 모듈 (어텐션, MLP), 그리고 최적화 설정 전반에 걸쳐 관찰됩니다.

2. SoSD 및 두 단계 역학에 대한 이론적 분석

저자들은 표준 학습 조건 하에서 SoSD 의 출현이 불가피하며, 이것이 손실 감소율을 기계적으로 제한함을 증명합니다.

• 정리 4.5 (SoSD 의 출현): 가중치 노름의 단조 증가를 가정할 때, 특이 분포에 대한 안정성 경계는 $\varepsilon \propto \eta / \|W\|$로 스케일링됩니다. 학습이 진행됨에 따라 $\|W\|$가 커지면, 허용 가능한 특이 분포의 변화는 줄어들어 시스템을 안정 상태로 강제합니다.
• 정리 4.9 (두 단계 역학):
  • 1 단계 (급속 하강): SoSD 임계값 이전 ($t < T^*$), 중간 정도의 파라미터 노름은 상당한 스펙트럼 이동을 허용하여 일정한 차수의 손실 감소를 가능하게 합니다 ($\Delta L(t) = O(1)$).
  • 2 단계 (느린 하강): SoSD 임계값 이후 ($t > T^*$), 특이 분포가 안정화됩니다. 손실 감소는 운동학적으로 제약받게 되며, 이론적으로 SD 변화의 크기에 의해 경계됩니다 ($\Delta L(t) \le O(\varepsilon^p)$). $\hat{\Sigma}$의 안정화는 병목 현상으로 작용하여 손실을 점근적 평탄대로 밀어넣습니다.

3. 사전 학습 전략의 해석

이 논문은 SoSD 안정성 경계 ($\varepsilon \propto \eta / \|W\|$) 를 조절하는 관점에서 표준 최적화 전략을 해석합니다:

• 학습률 스케줄: 단계별 감쇠 (Step-wise Decay), 웜업 - 안정 - 감쇠 (WSD), 코사인 감쇠와 같은 전략은 학습률 $\eta$를 감소시키는 방식으로 작동합니다. 이는 안정성 경계를 강화하여 시스템을 현재의 준평형 상태에서 벗어나게 하고, 더 미세한 특징들을 해결함으로써 추가적인 손실 최소화를 가능하게 합니다.
• 가중치 감쇠: 가중치 노름 $\|W\|$의 성장을 억제함으로써, 가중치 감쇠는 안정성 제약을 완화시킵니다 ($\varepsilon$ 증가). 이는 특이 분포에 대한 더 큰 업데이트를 허용하여 손실 감소에 대한 이론적 상한을 효과적으로 높이고 조기 포화를 방지합니다.
• 옵티마이저 (Muon vs Adam): SoSD 현상은 Muon 옵티마이저를 사용하더라도 지속되므로, 이것이 트랜스포머 사전 학습의 근본적인 특성임을 확인시켜 줍니다. 그러나 Muon 은 Adam 에 비해 SD 변화의 크기가 현저히 낮게 유지되므로, 스펙트럼 지형을 더 높은 효율로 탐색함을 시사합니다.

결과

• 경험적 검증: GPT-2 및 LLaMA 모델에 대한 실험은 특이 분포가 일찍 안정화됨 (종종 학습 단계의 처음 10-20% 이내) 을 확인하며, 파라미터는 계속 진화합니다. 이 안정화는 검증 손실이 heavy-tailed 한 느린 하강 구간으로 진입하는 시점과 일치합니다.
• 상관관계: SD Variation 의 감소와 손실 곡선의 느린 하강 단계로의 전환 사이에 긴밀한 동기화가 관찰됩니다.
• 전략의 유효성:
  • 학습률 감소는 SD Variation 의 급격한 감소를 유발하여, 재개된 손실 하강과 동기화됩니다.
  • 가중치 감쇠 모델은 정규화되지 않은 베이스라인보다 더 낮은 최종 손실을 달성하며, 이는 $\|W\|$에 대한 제약이 완화됨에 따른 더 높은 지속적 SD Variation 과 상관관계가 있습니다.
  • Muon 옵티마이저는 Adam 보다 더 낮은 SD 변화 크기를 유지하면서 더 낮은 손실과 더 빠른 수렴을 달성합니다.

중요성과 주장

이 논문은 미시적 스펙트럼 행동을 거시적 학습 역학과 연결함으로써 트랜스포머 최적화 궤적에 대한 새로운 기계적 이해를 제공한다고 주장합니다.

• 통합적 관점: 보편적인 "초기 급속 후 장기적 둔화" 수렴 패턴을 설명하는 스펙트럼 렌즈를 제공하며, 이 전환이 단순히 특정 층의 산물이 아니라 특이 분포의 포화에 의해 특징지어지는 전역적 운동학적 제약임을 제기합니다.
• 이론적 기반: 가중치 노름의 성장이 필연적으로 초기 SoSD 임계값을 초래하며, 그 이후 손실 감소율은 특이 분포의 변화에 의해 엄격하게 경계된다는 이론적 프레임워크를 수립합니다.
• 실용적 통찰: 학습률 스케줄과 가중치 감쇠를 SoSD 규모를 조절하는 메커니즘으로 프레임함으로써, 이러한 전략이 왜 효율적인 사전 학습을 촉진하는지에 대한 근거를 제시하며, 스펙트럼 장벽을 극복하는 것이 더 낮은 학습 손실을 달성하는 핵심임을 시사합니다.

저자들은 겸손한 입장을 유지하며, SoSD 가 특이값 역학의 특성화이자 느린 하강 구간의 지표로 작용하지만, 더 낮은 SoSD 값이 본질적으로 더 나은 성능을 의미하는 것은 아님을 지적합니다 (가중치 감쇠 실험에서 더 높은 SoSD 가 더 낮은 손실과 공존하는 것으로 입증됨). 주요 기여는 스펙트럼 안정성과 최적화 포화 사이의 동기화 식별에 있습니다.