Inverse Depth Scaling From Most Layers Being Similar

기술 요약: 대부분의 레이어가 유사함에 따른 역 깊이 스케일링 (Inverse Depth Scaling)

문제 제기
뉴럴 스케일링 법칙(Neural scaling laws)은 거대 언어 모델(LLM)의 성능이 모델 크기와 데이터셋 크기의 증가에 따라 일반적으로 멱법칙(power-law) 관계를 따르며 예측 가능하게 향상된다는 점을 확립했습니다. 그러나 이러한 법칙들은 종종 모델 크기를 단일한 양으로 취급하여, 너비(width)와 깊이(depth)의 구별된 기여도를 가립니다. 이론적 프레임워크는 깊이가 구성적 조립(compositional assembly, 계층적 추상화), 절차적 조립(procedural assembly, 매끄러운 동역학의 이산화), 또는 앙상블 평균(ensemble averaging, 중복된 추정)을 통해 성능에 기여할 수 있다고 제안하지만, LLM이 실제로 깊이를 활용하는 메커즘은 여전히 불분명합니다. 경험적 연구들은 LLM의 레이어들이 흔히 중복적이라는 것을 시사하지만, 이러한 중복성을 특정 스케일링 법칙과 연결하는 정량적 프레임워크는 부족했습니다. 본 논문은 LLM의 깊이와 손실(loss) 사이의 정량적 관계를 조사하여 어떤 이론적 체계가 지배적인지를 결정합니다.

방법론
저자들은 실제 LLM의 경험적 분석, 통제된 토이 모델 실험, 그리고 이론적 분석을 결합한 세 가지 접근 방식을 사용합니다:

1. LLM 은닉 상태 분석: 저자들은 다양한 Pythia 모델(410M에서 12B 파라미터 범위) 및 기타 모델군(Qwen-2.5, OPT)을 대상으로 FineWeb 데이터셋을 사용하여 은닉 상태 역학을 분석했습니다. 이들은 인접한 은닉 상태 사이의 각도 변화 $\theta(h_l, h_{l+1})$와 증분 업데이트 간의 상관관계 $\theta(\Delta h_l, \Delta h_{l+1})$를 측정했습니다. 주성분 분석(PCA)을 사용하여 토큰들 사이의 뚜렷한 행동 클러스터를 식별했습니다.
2. 경험적 손실 분해: 저자들은 너비($m$), 깊이($\ell$), 데이터셋 크기($D$)의 기여를 분리한 분해된 스케일링 법칙을 제안했습니다:
   $$L = \frac{c_m}{m^{\alpha_m}} + \frac{c_\ell}{\ell^{\alpha_\ell}} + \frac{c_D}{D^{\alpha_D}} + L_0$$
   이들은 Chinchilla 스케일링 실험에서 재구성된 데이터(약 200개의 데이터 포인트)에 이 모델을 피팅하여 깊이 스케일링 지수 $\alpha_\ell$를 추정했습니다.
3. 토이 모델 실험: 메커니즘을 격리하기 위해, 학생 네트워크가 더 깊은 교사(teacher) 네트워크를 모방하도록 하는 교사-학생 설정을 설계했습니다. 교사의 역학은 가중치 타이잉(weight tying, 부드러운 역학 유도) 또는 독립적 가중치(independent weights, 비매끄러운 랜덤 워크 역학 유도)를 통해 제어되었습니다. 학생의 깊이를 변화시켰으며, 수렴 및 스케일링 동작을 관찰하기 위해 서로 다른 타겟 분포 온도 하에서 훈련을 수행했습니다.

주요 기여 및 결과

• 역 깊이 스케일링 (Inverse Depth Scaling): 주요 발견은 LLM 손실이 대략 깊이에 반비례하여 스케일링된다는 것입니다 ($\alpha_\ell \approx 1$). 피팅된 깊이 의존 항의 지수는 $\alpha_\ell = 1.2 \pm 0.3$이며, 이는 깊이를 두 배로 늘리면 깊이 제한 오차 성분이 대략 절반으로 줄어드는 멱법칙 붕괴를 시사합니다.
• 앙상블 평균의 지배성: 은닉 상태 분석 결과, 대다수의 토큰(99.6%)과 레이어에서 업데이트는 점진적이며 네트워크 중간 부분에서 균일하게 나타납니다. 결정적으로, 인접한 레이어 업데이트 간의 상관관계는 약하며(각도가 $\pi/2$에 가까움), 이는 절차적 조립에 필요한 매끄러운 역학과는 모순됩니다. 대신, 이러한 징후는 레이어들이 중복되고 노이즈가 있는 추정치로서 평균화를 통해 오차를 줄이는 앙상블 평균과 일치합니다.
• 구성적 및 절차적 지배성 거부:
  • 구성적 조립: 데이터는 이 체계에서 예측되는 "조기 종료"나 뚜렷한 계층적 추상화 패턴(예: 구문 $\to$ 의미 $\to$ 추론)을 보여주지 않습니다.
  • 절차적 조립: 절차적 조립(매끄러운 ODE의 이산화)은 특정 조건(예: 낮은 온도/불완전한 훈련) 하에서 이론적으로 역 스케일링을 생성할 수 있지만, 저자들의 토이 모델 실험은 매끄러운 역학을 가진 상태로 훈련이 수렴하면 스케일링 지수가 $\alpha_\ell \approx 3$으로 이동함을 보여줍니다. 실제 LLM은 $\alpha_\ell \approx 1$을 나타내므로, 절차적 조립이 수렴된 LLM에서 지배적인 메커니즘일 가능성은 낮습니다.
• 메커니즘적 설명: 본 논문은 LLM의 깊이 효율성이 대부분의 레이어가 기능적으로 유사한 변환을 수행하기 때문에 발생한다고 결론짓습니다. 깊이를 추가하는 것은 이러한 기능적 그룹의 크기를 키우는 것이며, 손실 감소는 새로운 더 깊은 추상화를 구축하는 것이 아니라 대수의 법칙(오차의 평균화)에 의해 구동됩니다.

의의 및 주장
저자들은 이 연구가 이전의 경험적 연구에서 관찰된 "비효율적인" 깊이 사용에 대한 정량적 설명을 제공한다고 주장합니다. LLM이 주로 앙상블 평균 체계에서 작동한다는 것을 입증함으로써, 본 논문은 다음을 시사합니다:

1. 아키텍처적 함의: 현재의 잔차 네트워크(residual network) 구조는 구성적 학습보다는 앙상블 평균을 향해 모델을 편향시킬 수 있습니다. 효율성을 개선하려면 구성적 사용을 장려하는 아키텍처 혁신이 필요할 수 있습니다.
2. 스케일링 법칙: 관찰된 역 깊이 스케일링 ($\alpha_\ell \approx 1$)과 너비 스케일링 ($\alpha_m \approx 1$)은 고정된 파라미터 예산 하에서 최적의 너비-깊이 관계인 $m \propto \ell$을 의미합니다. 이는 Chinchilla 모델에서 관찰된 경험적 $N^{-1/3}$ 스케일링과 일치합니다.
3. 한계점: 저자들은 자신들의 손실 분해가 제1원리(first principles)로부터 유도된 것이 아니라 경험적 피팅을 기반으로 제안되었음을 겸허히 인정합니다. 또한, 구성적 및 절차적 조립의 지배적인 역할을 배제했지만, 제1원리 유도 없이는 유사한 스케일링 동작을 생성하는 다른 메커니즘을 엄격하게 배제할 수 없음을 인정합니다. 또한, 본 연구는 "벌크(bulk)" 레이어에 초점을 맞추고 있으며, 첫 번째와 마지막 레이어는 다를 수 있는, 잠재적으로 구성적인 행동을 보일 수 있음을 인정합니다.

요약하자 true, 본 논문은 현재 LLM 스케일링의 성공이 깊은 표현 계층을 구축하기보다는 오차를 평균화하는 중복된 레이어를 추가한 결과라는 가설을 세우며, 미래의 아키텍처 발전은 앙상블 평균에 대한 이러한 편향을 깨뜨리는 데 달려 있을 수 있다고 제언합니다.