기술적 요약: 그로킹인가 글리칭인가? 저정밀도가 슬링샷 손실 급증을 어떻게 유발하는가

1. 문제 제기

명시적인 정규화 없이 훈련된 심층 신경망은 종종 "그로킹 (Grokking)"이라 불리는 현상을 나타내는데, 이는 모델이 완벽한 훈련 정확도에 도달한 지 훨씬 후에 갑자기 일반화 능력을 획득하는 현상이다. 이 과정은 종종 **슬링샷 메커니즘 (Slingshot Mechanism)**을 동반하는데, 이는 마지막 층 파라미터 노름의 급격한 거의 지수적 성장과 이를 따르는 훈련 손실의 급격한 스파이크로 특징지어지는 주기적 불안정성이다.

기존 문헌들은 이러한 스파이크를 안정성 가장자리 (Edge of Stability, EOS) 나 그래디언트 스케일과 적응형 옵티마이저 간의 상호작용과 같은 고유한 최적화 역학에 기인한다고 보지만, 정확한 유발 메커니즘은 여전히 불분명하다. 본 논문은 이러한 불안정성이 최적화 경관의 고유한 특성인지, 아니면 유한 정밀도 산술의 인공물 (artifact) 인지를 조사한다.

2. 방법론 및 이론적 프레임워크

저자들은 슬링샷 메커니즘이 고유한 최적화 현상이 아니라 교차 엔트로피 (CE) 손실 계산 중 발생하는 부동소수점 산술 정밀도 한계의 결과라고 제안한다.

2.1 소프트맥스 붕괴 (Softmax Collapse, SC)

이 메커니즘의 핵심은 부동소수점 덧셈에 내재된 **흡수 오차 (absorption error)**에 있다. 훈련이 진행되어 모델이 높은 신뢰도 영역 (완벽한 훈련 정확도) 에 진입하면, 정답 클래스의 로그 ($z_r$) 는 오답 클래스들의 로그 ($z_k$) 보다 훨씬 더 커진다.

• 소프트맥스 계산에서 분모는 로그 - 합 - 지수 (log-sum-exp) 연산을 포함한다: $Z = \log(\sum \exp(z_k))$.
• 마진 $z_r - \max_{k \neq r} z_k$가 부동소수점의 가수부 (mantissa) 정밀도에 의해 결정된 임계값 (예: float32 의 경우 약 16) 을 초과하면, 작은 항들은 제한된 정밀도로 인해 큰 항에 흡수된다.
• 결과적으로 계산된 정답 클래스의 확률은 정확히 1 이 되고, 정답 클래스 로그에 대한 그래디언트 $\partial L / \partial z_r$는 정확히 0으로 반올림된다. 이 현상을 **소프트맥스 붕괴 (SC)**라고 한다.

2.2 제로-섬 (Zero-Sum) 제약의 붕괴

정확한 산술에서 단일 샘플에 대한 모든 클래스의 그래디언트 합은 0 이다 ($\sum_k \nabla_{W_k} L = 0$), 이는 분류기 가중치의 전역 평균 ($W_G$) 이 정적임을 보장한다.

• SC 하에서 정답 클래스의 그래디언트는 소멸하는 반면, 오답 클래스들의 그래디언트는 0 이 아닌 상태로 남아있다 (비록 작지만).
• 이는 제로-섬 제약을 깨뜨려 전역 분류기 평균 $W_G$의 업데이트에 순 드리프트 (net drift) 를 도입한다. 구체적으로, $W_G$는 $-\mu_G$ 방향으로 드리프트하는데, 여기서 $\mu_G$는 전역 penultimate-층 (마지막 전 층) 특징의 전역 평균이다.

2.3 수치적 특징 팽창 (Numerical Feature Inflation, NFI)

본 논문은 **수치적 특징 팽창 (NFI)**이라 불리는 양성 피드백 루프를 식별한다:

1. $W_G$의 드리프트는 특징 층으로의 그래디언트 흐름을 변경한다.
2. 특징 평균 $\mu_G$는 $-W_G$ 방향으로 드리프트를 받는다.
3. 이는 $W_G$와 $\mu_G$가 반평행 (anti-parallel) 이 되고 그 노름이 지수적으로 성장하는 결합 역학을 생성한다.
4. 이러한 노름이 성장함에 따라, 일부 샘플 (특히 이상치) 의 마진은 결국 흡수 임계값 아래로 떨어지고, 정답 클래스 그래디언트가 갑자기 재등장하게 된다.

2.4 슬링샷 스파이크

정답 클래스 그래디언트의 재등장은 손실 스파이크를 유발한다:

• 스파이크 발생 전, 정답 클래스 그래디언트는 0 이고 오답 클래스 그래디언트는 매우 작다. Adam 옵티마이저의 2 차 모멘트 누적기 ($v_t$) 가 감소하여 유효 학습률 ($\eta / \sqrt{v_t + \epsilon}$) 이 극도로 커진다.
• 그래디언트가 갑자기 재등장할 때, 이 거대한 유효 학습률은 불균형하게 큰 파라미터 업데이트를 초래하여 손실을 무작위 추측 수준으로 되돌린다 (이를 "슬링샷"이라고 함).

3. 주요 기여

1. 슬링샷의 이론적 설명: 본 논문은 슬링샷 메커니즘이 유한 정밀도 CE 손실 계산으로 인한 수치적 인공물임을 엄밀하게 증명하며, 이를 소프트맥스 붕괴와 이에 따른 제로-섬 그래디언트 제약의 붕괴와 직접적으로 연결한다.
2. NFI 의 식별: 저자들은 전역 분류기 평균과 전역 특징 평균 사이의 피드백 루프인 **수치적 특징 팽창 (NFI)**을 정의하며, 이는 손실 스파이크 이전에 관찰되는 파라미터 노름의 지수적 성장을 주도한다.
3. 고유 역학과의 구분: 이 연구는 슬링샷이 안정성 가장자리 (EOS) 와 구별됨을 입증한다. EOS 는 헤시안 곡률로 인한 진동을 포함하는 반면, 슬링샷은 헤시안 고유값이 소멸하는 영역 (보간 영역) 에서 발생하며 정밀도를 높이면 제거된다.
4. 실용적 개입: 본 논문은 NFI 를 억제하는 방법을 제안하고 검증한다:
   • 손실 계산에 float64 사용 (흡수 오차 제거).
   • 그래디언트 투영을 통한 제로-섬 제약 강제.
   • 최종 분류기 직전에 배치 정규화 (Batch Normalization) 적용하여 전역 평균 구성 요소를 제거.
   • 유효 학습률을 제한하기 위해 Adam $\epsilon$ 파라미터 증가.

4. 실험 결과

저자들은 여러 아키텍처 (MLP, VGG11, ResNet18, ViT, Transformers) 와 데이터셋 (모듈러 산술, CIFAR-10, LLM 을 위한 FineWeb) 에서 이론을 검증한다.

• 정밀도 민감성: 손실 계산을 float64로 전환하면 모델 파라미터가 float32 에 남아있더라도 슬링샷 스파이크가 완전히 제거된다. 이는 불안정성이 모델 역학이 아닌 손실 계산에서 기원함을 확인시켜 준다.
• 아키텍처 의존성: 이 현상은 대부분의 아키텍처에서 관찰되지만 ResNet18에서는 notably 부재하다. 저자들은 ResNet18 이 잔여 확률 질량 ($\epsilon$) 을 모델이 안정화되기 전에 NFI 피드백 루프가 지수적 성장 영역에 진입하지 못하도록 충분히 빠르게 감소시킬 수 있기 때문이라고 귀결한다.
• 완화:
  • 분류기 직전에 적용된 **레이어 정규화 (LN)**는 효과를 완화하지 못하며, 특징 노름을 제한함으로써 스파이크를 가속화할 수 있다.
  • 최종 선형 층 직전에 적용된 **배치 정규화 (BN)**는 특징을 중심화하고 드리프트 구성 요소를 제거함으로써 스파이크를 성공적으로 제거한다.
  • **레이블 스무딩 (Label Smoothing)**은 정밀도로 인한 스파이크를 제거하지만, 비소멸 헤시안 고유값으로 인해 안정성 가장자리와 관련된 다른 불안정성을 도입한다.
• LLM 컨텍스트: 대규모 언어 모델 훈련에서 전체 배치 슬링샷 스파이크는 미니배치 확률성으로 인해 드물지만, NFI 메커니즘은 여전히 비정상적인 로그 (logit) 성장을 주도한다. 저자들은 언어 모델링에서 토큰 빈도 불균형 (Zipf 의 법칙) 이 수치적 붕괴 없이도 큰 전역 평균 $W_G$를 생성할 수 있으며, 이는 저정밀도가 빈도로 인한 발산을 부분적으로 억제할 수 있는 다른 역학을 초래한다고 지적한다.

5. 중요성 및 주장

본 논문은 슬링샷 메커니즘을 신비로운 최적화 행동이 아닌 유한 정밀도 훈련의 수치적 역학으로 재해석한다.

• 그래디언트 흐름의 재해석: 결과는 무한 정밀도를 가정하고 종종 로그적 노름 성장을 예측하는 이론적 그래디언트 흐름 분석과, 수치적 오차가 지수적 성장을 주도할 수 있는 실제 훈련 사이의 간극을 부각시킨다.
• 저정밀도 훈련의 안정성: 대규모 훈련을 위해 더 낮은 정밀도 (BF16, FP8, FP4) 로 전환되는 분야에서 NFI 를 이해하는 것은 중요하다. 저자들은 로그 - 확률 계산의 수치적 오차가 행렬 곱셈의 양자화 오차나 어텐션 싱크와 구별되는 훈련 불안정을 유발할 수 있는 고유한 실패 모드라고 주장한다.
• 제한된 범위: 저자들은 분석이 제약 없는 특징 모델 (Unconstrained Feature Model) 가정과 마지막 층 및 penultimate 특징 간의 상호작용에 주로 의존한다는 한계를 인정한다. 그들은 모든 형태의 훈련 불안정을 설명한다고 주장하지 않으며, 정규화되지 않은 장기 훈련에서 관찰되는 주기적 손실 스파이크를 구체적으로 대상으로 한다.

결론적으로, 본 논문은 **슬링샷은 기능이 아닌 글리치 (glitch)**이며, 부동소수점 산술의 흡수 오차에 의해 주도된다고 단언하며, 훈련 후기 단계의 비정상적인 파라미터 성장에 대한 구체적이고 검증 가능한 설명 및 개입 방안을 제시한다.