기술 요약: 더 큰 모델이 더 많이 학습하는 이유: 용량, 간섭 및 희귀 작업 유지의 효과

문제 제기

경험적 증거는 더 작은 모델이 무작위 확률 수준으로 수행하는 작업에서 더 큰 모델이 뛰어남을 시사하지만, 이 현상을 주도하는 정확한 메커니즘은 여전히 논쟁 중이다. 이전 연구들은 종종 이를 "급작스러운 능력 (emergent abilities)"이나 우수한 샘플 효율성 때문이라고 귀인했다. 그러나 본 논문은 더 근본적인 한계를 제기한다: 무한한 데이터 (점근적 학습 환경) 하에서도 더 작은 모델은 더 큰 모델이 학습할 수 있는 데이터 분포의 특정 부분을 학습하지 못할 수 있다는 것이다. 핵심 질문은 이 격차가 표현 능력 (expressivity) 의 부족 때문인지, 아니면 자원 경쟁과 기울기 간섭과 같은 학습 역학에서 비롯된 데이터 중심의 병목 현상 때문인지 여부이다.

방법론

저자들은 현상론적 이론, 합성 토이 실험, 대규모 사전 학습 검증을 결합한 다면적 접근법을 채택했다.

1. 현상론적 논증

논문은 멱법칙 스케일링 법칙 ($L(N, D) = L_0 + A N^{-\alpha} + B D^{-\beta}$) 을 분석함으로써 시작한다. 계산 최적 손실 ($L_C$) 과 점근적 손실 ($L_\infty$) 을 비교하여 저자들은 두 가지 영역을 정의한다:

• 데이터 스케일링을 통한 학습: 더 작은 모델에 무한한 데이터를 제공하면 결국 더 큰 모델의 손실과 일치할 수 있다.
• 모델 스케일링을 통한 학습: 더 작은 모델은 무한한 데이터를 제공받더라도 더 큰 모델의 손실에 도달하지 못한다. 저자들은 후자의 영역이 실제로 존재한다고 주장하며, 이는 특정 데이터 분포와 관련하여 더 작은 모델에 근본적인 한계가 있음을 시사한다.

2. 합성 토이 설정 (다중 작업 선형 회귀)

메커니즘을 분리하기 위해 저자들은 합성 다중 작업 학습 환경을 구성했다:

• 데이터: 멱법칙 분포된 빈도 ($\pi_k \propto k^{-\beta}$) 와 멱법칙 작업 스펙트럼 (복잡도) 을 가진 $K$ 개의 선형 회귀 작업의 혼합.
• 모델: 너비 $N$ 을 가진 공유 인코더와 작업별 디코더.
• 분석: 저자들은 "유틸리티"(빈도 $\times$ 스펙트럼 크기) 를 기반으로 학습되는 특징에 대한 이론적 경계를 유도한다. 그들은 최적의 너비-$N$ 인코더가 가중 공분산 행렬의 상위-$N$ 고유 공간 (eigenspace) 을 spanning 한다는 것을 증명한다.
• 핵심 메커니즘: 저자들은 기울기 역학을 분석하여 빈번한 작업이 기울기 업데이트를 지배함을 보여준다. 더 작은 모델에서는 빈번한 작업에 대한 업데이트가 다음 희귀 관측치가 도착하기 전에 희귀 작업의 특징을 덮어쓰는 ("업데이트 및 망각" 루프) 현상이 발생한다. 더 큰 모델은 더 많은 매개변수를 가지고 있어 이러한 간섭을 줄임으로써 희귀 작업의 신호를 유지하고 누적할 수 있게 한다.

3. 대규모 검증 (OLMo 사전 학습)

이러한 주장들을 현실적인 환경에서 검증하기 위해 저자들은 Dolma v1.7 말뭉치에서 4M 에서 4B 개의 매개변수에 이르는 OLMo 모델을 사전 학습시켰다.

• 작업 주입: 통제된 낮은 빈도로 새로운 비자연적 작업 (비교 및 모듈 덧셈) 을 주입했다.
• 지표: 행동적 성능 (손실/정확도), 표현적 증거 (분산 정렬 검색 및 푸리에 분석을 통한 작업 특징 국소화), 그리고 기울기 증거 (작업 및 비작업 기울기 간의 간섭 측정) 를 평가했다.

주요 기여 및 결과

1. 스케일링을 통한 희귀 및 복잡한 작업 학습 가능

이론적 분석과 합성 실험은 더 작은 모델이 점근적으로도 학습하지 못하는 낮은 빈도 또는 높은 복잡도 (느린 스펙트럼 감쇠) 를 가진 작업을 더 큰 모델이 학습함을 보여준다.

• 결과: 합성 환경에서 모델 너비를 증가시키는 것은 낮은 빈도 작업의 성능을 우선적으로 향상시킨다. 이는 더 작은 모델이 고유틸리티 (빈번한) 특징을 수용하기 위해 버려야 하는 저유틸리티 특징을 모델이 유지할 수 있게 하기 때문이다.

2. 감소된 기울기 간섭 및 메모리 유지

논문은 기울기 간섭을 더 작은 모델의 주요 병목 현상으로 식별한다.

• 메커니즘: 작은 모델에서는 빈번한 작업의 기울기 업데이트가 희귀 작업의 약한 업데이트를 덮어쓸 만큼 강력하다. 이로 인해 희귀 작업 특징이 결코 통합되지 않는 "업데이트 및 망각" 역학이 생성된다.
• 결과: 더 큰 모델은 충분한 용량을 갖추어 공통 작업에 대한 기울기 업데이트가 해당 특징이 학습된 후 약해진다 (낮은 노름). 이는 희귀 작업 특징을 유지할 수 있는 "여분의" 용량을 남긴다.
• 증거: 주입된 빈도를 맞춘 실험 (희귀 작업 관측치 간의 간격 변화) 은 작은 모델이 주입 사이에서 희귀 작업 신호를 빠르게 상실하는 반면, 더 큰 모델은 이러한 신호를 유지하고 누적하여 결국 성공적인 학습으로 이어짐을 보여준다.

3. 실제 LLM 에서의 경험적 검증

토이 설정에서의 발견은 OLMo 사전 학습에서도 유효하다:

• 행동적: 더 큰 OLMo 모델 (1B 및 4B) 만이 낮은 빈도에서 주입된 희귀 작업 (비교 및 모듈 덧셈) 을 성공적으로 학습한다. 더 작은 모델 (4M, 20M, 300M) 은 일반화에 실패한다.
• 표현적: 더 큰 모델은 표현 내에서 더 많은 작업 관련 특징 (예: 비교를 위한 글로벌 토큰 순서, 덧셈을 위한 푸리에 모드) 을 포함한다.
• 기울기: 기울기 코사인 유사도 분석은 더 큰 모델에서 주입된 작업에 대한 기울기 방향이 비작업 (언어 모델링) 기울기에 의해 덜 간섭받음을 보여준다. 더 작은 모델에서는 비작업 기울기가 작업 방향과 자주 충돌하여 간섭을 일으킨다.

중요성 및 주장

이 논문은 정적 모델 표현 능력에서 동적 학습 과정으로 초점을 이동시키며, 더 큰 모델이 더 많이 학습하는 이유에 대한 데이터 중심 설명을 제공한다.

• 표현 능력을 넘어선: 저자들은 더 큰 모델의 이점이 단순히 작업을 표현할 수 있다는 점 (더 작은 모델도 이론적으로 가능할 수 있음) 이 아니라, 기울기 기반 최적화 하에서 주어진 데이터 혼합에서 작업을 학습할 수 있다는 점에 있다고 주장한다.
• 기억의 역할: 이 연구는 "기억 (memorization)"을 실패 모드가 아닌 희귀 작업 학습에 필요한 메커니즘으로 재정의한다. (감소된 간섭으로 인해) 특정 작업 인스턴스를 더 오래 유지함으로써 더 큰 모델은 추상적이고 일반화 가능한 작업 구조를 최종적으로 형성하기 위해 배치 간 신호를 누적할 수 있다. 이는 "그로킹 (grokking)" 현상에 대한 관찰과 일치한다.
• 실용적 함의: 이 발견들은 단순히 모델 크기를 늘리는 것이 능력 향상의 유일한 경로가 아님을 시사한다. 데이터 빈도, 작업 복잡도, 모델 용량 간의 상호작용을 이해하는 것이 중요하다. 이는 매개변수 스케일링만으로는 달성하기보다 데이터 혼합을 의도적으로 설계 (예: 작업 빈도 조정) 하여 특정 능력을 더 효율적으로 이끌어낼 수 있음을 의미한다.

저자들은 겸손함을 유지하며, 그들의 설명이 샘플 효율성이나 순수한 표현 능력과 같은 다른 이론들을 대체하기보다 보완한다는 점과, 그들의 경험적 검증이 강력하지만 극단적인 스케일링 영역에 관한 일부 분석적 공백을 남겨두고 있음을 인정한다.