🤖 machine learning

Weibull Weight-Scale Parameter Evolution under AdamW Training Dynamics

이 논문은 가중치 제곱 노름(squared weight norm)의 3력 분해(three-force decomposition)를 유도함으로써 AdamW 학습 중 Weibull 척도 매개변수 $\lambda$ 의 진화를 분석하며, 정렬 힘(alignment force)이 초기 성장 단계를 지배하는 반면 정렬과 가중치 감쇠(weight decay) 사이의 균형이 후속 완화(relaxation)를 주도한다는 것을 입증하고, 희소한 체크포인트로부터 이러한 역학을 정확하게 재구성할 수 있게 하는 스플라인 변위 방법(spline displacement method)을 제안한다.

원저자: Tiexin Ding

게시일 2026-06-19

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Tiexin Ding

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

AdamW와 같은 거대한 AI 모델을 훈련시키는 것은 수백만 개의 작고 보이지 않는 레고 브릭으로 거대하고 복잡한 조각상을 만드는 것과 같습니다. 목표는 이 브릭들이 완벽하게 함께 작동하도록 모양을 잡는 것입니다. 그런데 이 브릭들은 실제로 어떻게 움직이고 최종 위치에 자리 잡게 될까요?

이 논문은 마치 탐정 이야기처럼, AI의 가중치(weights) 크기(레고 브릭의 크기)가 왜 커졌다가, 과하게 높아졌다가(overshoot), 다시 진정되는지를 조사합니다. 저자들은 이 과정을 추적하기 위해 **와이불 척도(Weibull scale)**라는 특별한 측정 도구(이것을 "크기 게이지"라고 부릅시다)를 사용합니다.

다음은 그들이 발견한 내용에 대한 쉬운 요약입니다:

1. "크기 게이지"의 미스터리

이전 연구들에서 연구자들은 기이한 패턴을 발견했습니다. AI 가중치의 "크기 게이지"( $\lambda$ )는 단순히 꾸준히 성장하는 것이 아니라, 치솟았다가, 너무 커졌다가(overshoot), 다시 편안한 휴식 크기로 줄어듭니다.

질문: 왜 이런 현상이 발생할까요? 무엇이 가중치를 밀어 올리고, 또 무엇이 아래로 끌어내리는 걸까요?

2. 세 가지 보이지 않는 손

저자들은 이 가중치의 움직임이 마치 무거운 상자를 밀고 당기는 세 사람처럼, 세 가지 뚜렷한 힘에 의해 제어된다는 것을 발견했습니다.

정렬 힘 (The "Pusher" - 밀어내는 손): 이것은 주 엔진입니다. 학습 신호에 따라 가중치가 가고자 하는 방향으로 밀어냅니다. 조각상을 모양 잡기 위해 부는 강한 바람이라고 생각하면 됩니다. 논문에 따르면, "성장" 단계 동안 이 힘이 전체 작업의 **88%에서 94%**를 담당합니다. 이것이 지배적인 동력입니다.
주입 힘 (The "Jitter" - 떨림): 데이터의 무작위성(노이즈)으로 인해 발생하는 아주 작고 지속적인 넛지(nudge)입니다. 테이블이 미세하게 떨리는 것과 같습니다. 항상 존재하지만, 노력의 약 4% 정도를 차지할 만큼 매우 작습니다.
감쇠 힘 (The "Puller" - 당기는 손): 이것은 내장된 브레이크입니다. 모델을 단순하게 유지하고 너무 날뛰지 않도록 가중치를 0으로 줄이려고 끊임없이 시도합니다. 조각상을 중심부로 다시 끌어당기는 고무줄과 같습니다.

3. 곡선의 이야기 (상승, 정점, 완화)

논문은 이 세 가지 힘을 사용하여 크기 게이지의 기이한 "상하" 곡선을 설명합니다.

상승 (The Rise): 시작 단계에서는 **밀어내는 힘(정렬)**이 **당기는 힘(감쇠)**보다 훨씬 강력합니다. 밀어내는 힘이 이기고 있기 때문에 가중치가 빠르게 성장합니다.
정점 (The Peak): 모델이 "완성"에 가까워질수록, 밀어내는 힘은 지치고(정렬이 덜 완벽해짐), 가중치가 커짐에 따라 당기는 힘은 더 강해집니다. 결국 두 힘이 중간 지점에서 만납니다. 밀고 당기는 힘이 완벽하게 균형을 이룹니다. 이때 성장이 멈춥니다. 이것이 정점입니다.
완화 (The Relaxation): 만약 당기는 힘이 밀어내는 힘보다 약간이라도 강해지면, 가중치는 새로운 안정적인 균형을 찾을 때까지 약간 줄어듭니다. 이것이 모델이 안착하는 "바닥"을 만듭니다.

4. "마법의 다리" (점들을 연결하기)

한 가지 문제가 있었습니다. 이 힘들의 수학적 계산은 전체 가중치 크기(RMS)를 기준으로 작동하지만, "크기 게이지"(와이불)는 가중치의 분포를 측정한다는 점입니다.

해결책: 저자들은 "마법의 다리"를 찾아냈습니다. 그들은 가중치 분포의 모양이 훈련 내내 거의 완벽하게 고정된 상태(마치 단단한 틀처럼)로 유지된다는 것을 발견했습니다. 모양이 변하지 않기 때문에, 전체 크기와 "크기 게이지"는 완벽하게 발맞추어 움직입니다. 이를 통해 힘의 수학적 계산을 크기 게이지의 동작으로 직접 변환할 수 있었습니다.

5. "누락된 데이터" 퍼즐 풀기

실제 AI 모델들은 종가 단계마다 힘이 어떻게 적용되었는지 보여주는 "내부 일기"(옵티마이저 모멘트) 없이 공개되는 경우가 많습니다. 우리는 오직 최종 가중치의 스냅샷만을 가질 수 있습니다.

기술: 저자들은 **"스플라인 변위법(Spline Displacement Method)"**을 발명했습니다. 자동차의 영상은 있지만 10초마다 찍은 사진만 가지고 있다고 상상해 보세요. 사진 사이의 속도는 볼 수 없습니다. 하지만 점들을 잇는 매끄러운 곡선(스플라인)을 그리면, 속도를 매우 정확하게 추측할 수 있습니다.
결과: 이 방법을 통해 스냅스샷만으로도 "밀어내는 힘"을 92~94%의 정확도로 추측할 수 있었으며, 이는 단순히 두 점 사이를 추측하는 것보다 두 배나 더 뛰어난 성능입니다.

6. 데이터 엿보기

저자들은 또한 흥미로운 점을 발견했습니다. 정점의 높이(가중치가 줄어들기 전 얼마나 커지는가)는 AI가 무엇을 읽느냐에 따라 달라지는 듯합니다.

만약 AI가 단일 유형의 텍스트(예: 특정 위키피디아)만 읽는다면, 가중치가 매우 커집니다(높은 정점).
만약 AI가 다양한 주제가 섞인 데이터를 읽는다면, 정점이 더 낮아집니다.
참고: 저자들은 이것이 향후 연구를 위한 "힌트"일 뿐이라고 말합니다. 그들은 아직 정확히 왜 그런지 증명하지 못했지만, 다양한 데이터를 읽는 것이 서로 충돌하는 방향을 만들어 가중치가 너무 크게 자라는 것을 막는다고 추측하고 있습니다.

요약

요컨대, 이 논문은 AI 가중치의 "호흡" 패턴(성장, 과잉, 안착)이 무작위가 아님을 설명합니다. 그것은 강한 밀어내는 힘(학습)과 꾸준히 당기는 힘(감쇠) 사이의 정교한 춤입니다. 밀어내는 힘이 이기면 가중치는 커지고, 두 힘이 균형을 이루면 모델은 안착합니다. 저자들은 또한 전체 영상을 볼 수 없고 몇 개의 스냅샷만 있을 때도 이 춤을 관찰하는 방법을 알아냈습니다.

기술 요약: AdamW 하에서의 Weibull 가중치 척도 매개변수 진화

문제 정의
신경망 가중치의 학습 중 진화를 이해하는 것은 최적화와 일반화의 핵심이다. 선행 프레임워크(Ding, 2026)는 트랜스포머 가중치 크기를 진단하기 위해 두 매개변수 Weibull 분포를 설정하였으며, 형상 매개변수 $k$ 가 $k_0 \approx 1.20$ 근처에 고정되는 "전송 클래스(Transmission-class)"의 규칙성을 확인하였다. 반면, 척도 매개변수 $\lambda$ 는 상승, 오버슈트(overshoot), 완화(relaxation), 그리고 바닥(floor)이라는 특징적인 궤적을 따른다. 그러나 이 궤적을 구동하는 메커니즘은 설명되지 않은 채 남아 있었다. AdamW의 역학은 개별 파라미터와 옵티마이저 상태 수준에서 정의되는 반면, Weibull 매개변수는 분포 수준의 요약 통계량이기 때문에, 왜 $\lambda$ 가 상승한 후 완화되는지에 대한 연결 고리가 부족했다. 특히, 어떤 옵티마이저 수준의 힘이 모델을 $\lambda$ 좌표를 따라 이동시키는지 불분명했다.

방법론
본 논문은 세 단계의 접근법을 통해 개별 파라미터 역학과 분포 수준 통계 사이의 간극을 메운다:

세 가지 힘의 분해(Three-Force Decomposition): 디커플링된 AdamW 업데이트 규칙으로부터, 저차 항(leading-order)의 제곱 가중치 노름 역학( $\Delta \Sigma W^2$ )을 세 가지 뚜렷한 힘으로 분해하여 유도한다:
- 정렬 힘 ( $F_{align}$ ): $-2\eta \langle W, \hat{u} \rangle$ . 현재 가중치와 적응형 업데이트 방향 사이의 상관관계를 측정한다.
- 주입 힘 ( $F_{inj}$ ): $+\eta^2 \|\hat{u}\|^2$ . 적응형 스텝의 제곱 크기(확률적 노이즈)를 나타낸다.
- 감쇠 힘 ( $F_{decay}$ ): $-2\eta \lambda_{wd} \Sigma W^2$ . 디커플링된 가중치 감쇠로부터 오는 구조적 기여분이다.
$k$ -고정 브릿지 ( $k$ -Lock Bridge): 이 제곱 노름 힘들을 Weibull 척도 매개변수 $\lambda$ 와 연결하기 위해, 본 논문은 $k$ 가 (전송 클래스 구성 요소에 대해) 거의 일정하게 유지된다( $k \approx 1.20$ )는 관찰을 활용한다. 이를 통해 RMS( $\sigma$ )와 $\lambda$ 를 거의 고정된 곱셈 인자( $\sigma = \lambda \sqrt{\Gamma(1+2/k)}$ )로 연결함으로써, $\sigma^2$ 에 작용하는 힘의 역학을 $\lambda(t)$ 의 궤적으로 변환할 수 있다.
희소 체크포인트 복구 (스플라인 변위, Spline Displacement): 공개된 모델 릴리스에는 옵티마이저 모멘트( $\hat{m}, \hat{v}$ )가 결여되어 있으므로, 저자들은 희소한 가중치 체크포인트로부터 힘 정보를 복구하는 방법을 도입한다. 저장된 가중치 궤적에 3차 스플라인(cubic spline)을 피팅함으로써, 정렬 힘을 계산하는 데 필요한 단위 스텝 변위를 추정한다. 이 방법은 자체 학습된 모델의 그라운드 트루스(ground-truth) 모멘트를 통해 검증되었다.

주요 결과

상승 단계의 지배성: 그라운드 트루스 옵티마이저 모멘트를 가진 Pythia-70M 모델에 대한 실험에서, 정렬 힘이 상승 단계를 지배하며, 절대적인 힘 예산의 **8894%**를 차지하는 것으로 나타났다. 이 지배성은 네 개의 무작위 시드에 대해 견고하게 나타났으며, "슈퍼 웨이트(super-weight)" 이상치를 제거한 후에도 안정적으로 유지되었다. 주입 힘은 약 4%, 감쇠 힘은 약 27%만을 기여했다.
완화를 향한 전이: 가중치 스케일의 성장으로부터 완화로의 전이는 힘의 균형 변화와 대응한다. 훈련이 포화 상태를 향해 진행됨에 따라 정렬 힘은 감소하고 감쇠 힘은 증가한다. 정점 근처와 완화 단계에 접어들면, 정렬과 감쇠가 균형( $F_{align} \approx |F_{decay}|$ )을 이루며 순수 힘(net force)이 소멸하고 가중치 스케일이 안정화되거나 축소된다.
아키텍처 간 견고성: 정렬 지배 메커니즘은 Pythia 스타일(GPT-NeoX)과 Llama 스타일 아키텍처 모두에서 유효하며, 상승 단계 동안 정렬의 점유율은 88~94% 범위 내에 머물렀다.
복구 정확도: 제안된 스플라인 변위 방법은 희소 체크포인트로부터 정렬 힘을 92~94%의 정확도로 복구하며, 이는 단순한 이점법(two-point baseline)보다 약 두 배 높은 성능이다.
RMS-to-Weibull 오프셋: 힘의 폐쇄 루프 적분을 통해 $\lambda(t)$ 를 예측했을 때, 밀집 샘플링 영역에서 약 **5~6%**의 체계적인 오프셋이 관찰되었다. 이는 약 4.6%의 브릿지 에러(RMS-to-Weibull 재구성)와 약 1.9%의 적분 에러로 분해되며, 이는 힘의 역학이 궤적의 지배적인 성분을 결정한다는 것을 확인시켜 준다.
데이터 의존적 조절: 탐색적 관찰로서, $\lambda(t)$ 의 절대적 정점 값은 훈련 데이터의 일관성(coherence)에 따라 달라진다. 단일 도메인 데이터(wikitext-103)로 훈련된 모델은 멀티 도메인 데이터(The Pile)로 훈련된 모델(~~0.035)보다 더 높은 정점 $\lambda$ 값(~~0.069–0.076)에 도달한다. Pile로 훈련된 모델을 wikitext-103으로 전환하는 지속 학습(continue-training) 개입을 수행했을 때 $\lambda$ 가 2.6배 증가하였으며, 이는 데이터 일관성이 정렬 힘을 조절함을 시사한다.

의의 및 주장
본 논문은 AdamW 훈련 중 Weibull 가중치 척도 매개변수 $\lambda$ 에서 관찰되는 상승, 오버슈트, 완화 궤적에 대한 최초의 기계적 설명을 제공한다고 주장한다. 주요 기여는 다음과 같다:

설명 수준의 연결: 저수준의 AdamW 업데이트 규칙과 고수준의 분포 수준 진단 사이의 간극을 성공적으로 메웠으며, $\lambda(t)$ 가 저차 항 힘 예산의 가중치 스케일 성분을 추적함을 보여주었다.
동력원 식별: 가중치 스케일 성장의 주된 동력이 가중치 감쇠나 노이즈가 아니라 정렬 힘임을 밝혀냈다.
궤적 설명: 오버슈트와 완화를 정렬 지배에서 정렬-감쇠 균형으로의 전이 결과로 설명한다.
실용적 적용 가능성: 옵티마이저 상태를 사용할 수 없는 실제 모델에서도 힘의 역학을 복구할 수 있는 검증된 방법(스플라인 변위)을 제공하여, 분석 범위를 자체 학습 환경 너머로 확장한다.

저자들은 데이터 일관성 관찰이 탐색적 연구임을 명시하였으며, 데이터 다양성의 효과에 대한 완전한 규명을 위해서는 통제된 후속 연구가 필요하다고 언급하였다. 핵심 기여는 여전히 힘 예산에 의한 가중치 스케일 역학 설명이며, 데이터 관련 결과는 향후 통제된 실험을 위한 동기 부여 역할을 한다.