기술 요약: 트랜스포머 가중치 분포 진단을 위한 2-파라미터 와이블 프레임워크

문제 및 동기

트랜스포머 학습 역학에 대한 현재 진단 도구들은 학습된 가중치의 세밀한 구조를 포착하지 못하는 직교 공간에서 작동합니다. WeightWatcher 및 HT-SR과 같은 방법들은 고유값 스펙트럼을 분석하여 행렬 요소를 특이값 분포로 압축하는 반면, AlphaDecay는 상위 특이값의 드리프트를 추적합니다. 대규모 활성화 분석은 활성화 크기를 측정합니다. 이러한 접근법 중 어느 것도 모델이 학습한 내용을 가장 세밀하게 표현하는 가중치 크기의 요소별 분포($|W_{ij}|$)를 직접적으로 특징짓지 못합니다.

저자들은 집계된 스펙트럼 통계가 동일한 모델 내의 기능적 구성 요소들 (예: FFN 레이어 대 어텐션 프로젝션) 간의 체계적인 차이를 흐리게 만든다고 주장합니다. 이를 해결하기 위해 본 논문은 요소별 가중치 크기에 대한 진단 렌즈로 와이블 분포(극값 이론에서 유래한 2-파라미터 계열)를 적용할 것을 제안합니다.

방법론

와이블 진단 프레임워크

이 프레임워크는 $|w|$와 같은 가중치 요소의 절대값을 모양 파라미터 $k$와 척도 파라미터 $\lambda$로 정의된 와이블 분포에 적합시키는 데 의존합니다:
$$f(x; k, \lambda) = \frac{k}{\lambda} \left(\frac{x}{\lambda}\right)^{k-1} \exp\left(-\left(\frac{x}{\lambda}\right)^k\right)$$

1. 초기화 앵커:
초기화 시 트랜스포머 가중치는 i.i.d. 가우시안 ($w \sim \mathcal{N}(0, \sigma_{init}^2)$) 이며, 이는 $|w|$가 반정규 분포 (Half-Normal distribution) 를 따름을 의미합니다. 특정 프로토콜을 사용하여 이 반정규 분포를 와이블 모델에 적합시킴으로써 저자들은 보편적인 앵커를 확립합니다:

• 모양 ($k_0$): 약 1.20. 이 값은 초기화 규모 $\sigma_{init}$와 무관하며 차원 없는 측정 기준이 됩니다. 학습된 모델에서 $k_0 \approx 1.20$으로부터의 편차는 학습 역학에 기인합니다.
• 척도 ($\lambda_0$): 약 $0.8875 \cdot \sigma_{init}$.

2. 적합 프로토콜 (중간 80% 자르기):
이상치와 수치 정밀도 아티팩트에 대한 견고성을 보장하기 위해 저자들은 중간 80% 자르기 (middle-80% trim) 프로토콜을 사용합니다. 적합 전에 $|W_{ij}|$ 값 중 가장 작고 큰 10%를 폐기합니다.

• 이론적 근거: 와이블 확률 좌표에서 표본 노이즈 분산은 꼬리 ($p \to 0$ 및 $p \to 1$) 에서 발산하며 $p \approx 0.80$ 근처에서 최소에 도달합니다. 하단 10%는 최적의 중앙 영역보다 약 6.5 배 더 많은 노이즈를 운반합니다.
• 효과: 전체 데이터를 적합하면 $k$가 체계적으로 3~7% 과소평가되어 종종 모델이 예상되는 "전송 (Transmission)" 밴드 밖으로 밀려나게 됩니다. 80% 자르기는 분포의 "본체"를 분리하여 무거운 꼬리 이상치 (초과중량, super-weights) 에 대한 메트릭의 견고성을 확보합니다.

3. 기능적 분류:
이 프레임워크는 $k$ 궤적을 기반으로 트랜스포머 구성 요소를 두 가지 명확한 클래스로 분류합니다:

• 전송 클래스 (Transmission Class): FFN 모듈 ($W_{gate}, W_{up}, W_{down}$ 또는 $W_{FFN\_in}, W_{FFN\_out}$) 및 어텐션 출력 프로젝션 ($W_o$).
• 선택 클래스 (Selection Class): 어텐션 입력 프로젝션 ($W_q, W_k$).

주요 발견

이 프레임워크는 파라미터 수가 70M 에서 14B 에 이르는 7 가지 아키텍처 계열(Pythia, OLMo-1/2, LLaMA-3, Mistral, Qwen2.5/3)에 걸친 12 개 모델 엔트리에 적용되었습니다.

1. 전송 밴드 (안정성)

전송 클래스의 구성 요소들은 모양 파라미터 $k$에서 놀라운 안정성을 보입니다.

• 모든 아키텍처, 활성화 함수 (SwiGLU, GeLU), 정규화 배치 (Pre-LN, QK-Norm), 모델 크기에 걸쳐, 이러한 구성 요소들의 중앙값 최종 $k$는 좁은 구간 $[1.186, 1.204]$에 떨어집니다.
• 12 개 엔트리에 걸친 변동 계수 (CV) 는 불과 **0.51%**입니다.
• 이 안정성은 이러한 구성 요소들이 초기화 분포 모양을 보존하여 선택적 필터가 아닌 정보 전달자 역할을 함을 시사합니다.

2. 선택 클래스 (편차)

선택 클래스($W_q, W_k$) 의 구성 요소들은 초기화 앵커 ($k_0 \approx 1.20$) 에서 체계적으로 편차하여 더 무거운 꼬리 (낮은 $k$) 를 발달시킵니다. 이 편차의 심각도는 아키텍처에 의존적입니다:

• 별도 저장 MHA (OLMo-1, OLMo-2): 가장 깊은 드리프트를 보이며, 중앙값 최종 $k \in [0.76, 0.99]$입니다.
• 그룹화 쿼리 어텐션 (GQA) (LLaMA-3, Mistral, Qwen2.5/3): 더 완만한 드리프트를 보이며, 중앙값 최종 $k \in [1.10, 1.16]$입니다.
• 병합 $W_{qkv}$ (Pythia): 무차원 학습 예산 $T/\tau$를 단조적으로 추적하는 과도기적 영역 $k \in [1.05, 1.18]$을 차지합니다.
• 메커니즘: 저자들은 이 드리프트를 기능적 필요성 (희소 어텐션), AdamW 부호 하강 (sign-descent) 역학, 그리고 소프트맥스 포화 피드백에 기인합니다. GQA 의 K-헤드 공유라는 아키텍처적 제약은 개별 프로젝션에 사용 가능한 전문화 자유도를 기계적으로 제한하여 MHA 에 비해 덜 심각한 드리프트를 초래하는 것으로 보입니다.

3. 척도 파라미터 ($\lambda$) 및 학습 진행

$k$가 기능적 클래스를 라벨링하는 동안, 척도 파라미터 $\lambda$는 학습 진행을 라벨링합니다.

• $\lambda$는 학습 동안 (1.4 배에서 7.8 배까지) 상당하게 증가합니다.
• Pythia 계열 내에서 전송 구성 요소의 최종 평균 $\lambda$는 $\sqrt{\eta / \lambda_{wd}}$와 비례합니다 (Pearson $r = 0.94$). 이는 Fan et al. [2025] 의 AdamW 정상 상태 스케일링 분석과 방향적 일관성을 보입니다.
• $\lambda$는 구성 요소 유형 전반에 걸쳐 균일하게 증가합니다 (예: $\lambda_O$와 $\lambda_{FFN\_out}$는 매우 높은 상관관계 $r=0.9967$을 보임). 이는 잔여 스트림의 결합된 역학을 반영합니다.

4. 초과중량 (Super-Weights) 및 꼬리 행동

분포의 본체 (80% 자르기를 통해 적합됨) 는 와이블 준수를 유지하는 반면, 저자들은 학습된 모델의 극단적 꼬리에서 고립된 "초과중량 (super-weights, dragon-king 이상치)"의 출현을 관찰합니다.

• 이러한 이상치는 모든 아키텍처 계열에 나타나며, 최대값에서 q99 까지의 비율은 약 7 배에서 100 배 이상까지 다양합니다.
• 중간 80% 프로토콜은 이러한 이상치에 대해 견고하도록 특별히 설계되어, 진단 $k$가 극단적 값에 의해 끌려가는 것이 아니라 대량 분포를 반영하도록 보장합니다.

기여

1. 진단 프레임워크: 저자들은 원칙적인 초기화 앵커 ($k_0 \approx 1.20$) 와 노이즈 최적 적합 프로토콜 (중간 80% 자르기) 을 사용하는 와이블 분포 기반 방법을 공식화했습니다. 이 프레임워크는 $W_q$와 $W_k$가 초기화 앵커에서 체계적으로 편차하며, 편차의 크기가 저장 아키텍처에 의해 형성됨을 식별합니다.
2. 교차 계열 경험적 증거: 이 논문은 12 개 모델에 걸쳐 견고한 "전송/선택" 분할을 문서화합니다. 이는 조정 가능한 파라미터 없이 좁은 FFN 전송 밴드와 아키텍처 의존적인 선택 드리프트 (MHA 대 GQA) 를 재현합니다.
3. 오픈소스 도구: 저자들은 적합 및 벤치마킹을 위한 8 가지 진단 함수 (F1–F8) 를 구현한 Python 라이브러리 **npm-weibull-py v0.4**와 12 개 모델 엔트리의 벤치마크 데이터베이스 **DATABASE_v9_1**을 공개합니다.

중요성 및 한계

중요성:
이 논문은 요소별 통계가 스펙트럼 방법으로는 드러나지 않는 구조를 드러낸다고 주장합니다. 구성 요소를 전송 및 선택 클래스로 분리함으로써, 이 프레임워크는 서로 다른 레이어와 프로젝션 행렬이 서로 다른 궤적을 따라 진화하는 학습 역학에 대한 세밀한 관점을 제공합니다. 두 와이블 파라미터는 독립적인 정보를 담고 있습니다: $k$는 기능적 역할 (전송 대 선택) 을 식별하고, $\lambda$는 학습 진행의 크기를 추적합니다.

한계 (저자들이 명시한 바):

• 인과적 메커니즘: 논문은 선택 드리프트를 위한 5 가지 후보 주도 요인 (기능적 필요성, 부호 하강, 소프트맥스 포화, 잔여 결합, 학습 예산) 을 식별하지만, 각 요인의 기여도를 분리하기 위한 통제된 제거 실험을 제공하지는 않습니다. MHA/GQA 아키텍처와 드리프트 심각도 간의 상관관계는 관찰적입니다.
• 교차 계열 스케일링: $\lambda \propto \sqrt{\eta / \lambda_{wd}}$라는 스케일링 법칙은 Pythia 계열 내에서 검증되었으나, 서로 다른 초기화 레시피 및 정규화 배치와 같은 교란 요인들로 인해 다른 계열 간에는 관찰적입니다.
• 하류 성능: 이 논문은 가중치의 통계적 구조를 특징짓지만, $(k, \lambda)$ 시그니처와 하류 작업 성능 간의 직접적인 상관관계를 입증하지는 않습니다.
• 데이터 범위: Qwen2.5-14B 의 경우, GPU 메모리 제약으로 인해 블록별 통계는 48 개 레이어 중 처음 27 개로 제한되지만, 정성적 주장은 유효할 것으로 예상됩니다.

저자들은 이 프레임워크가 트랜스포머 학습을 진단하기 위한 새로운 아키텍처 독립적 측정 기준을 제공하며, "선택" 구성 요소 ($W_q, W_k$) 가 구조적 변화의 주요 장소인 반면 "전송" 구성 요소는 통계적으로 안정적으로 유지됨을 드러낸다고 결론지었습니다.