💬 NLP

Smooth Scaling Laws Hide Stepwise Token Learning

이 논문은 언어 모델 손실의 매끄러운 스케일링 법칙이 실제로는 국소적인 토큰 수준의 학습 이벤트 스펙트럼에 의해 유도된다는 것을 입증하며, 이러한 발견은 총체적인 멱법칙 거동을 설명할 뿐만 아니라 토큰 학습 가능성에 기반하여 데이터 분포를 재형성함으로써 훈련 효율성을 11% 향상시킵니다.

원저자: Pingjie Wang, Zechen Hu, Peiru Yang, Fu Guo, Debing Zhang

게시일 2026-06-30

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Pingjie Wang, Zechen Hu, Peiru Yang, Fu Guo, Debing Zhang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대한 초지능 로봇에게 인간의 언어를 가르치려 한다고 상상해 보세요. 당신은 이 로봇에게 수조 개의 단어를 입력합니다. 로봇이 커지고 더 많은 데이터를 입력할수록, 로봇의 실수(이를 '손실(loss)'이라고 부릅니다)는 매우 예측 가능하고 매끄러운 곡선을 그리며 줄어듭니다. 과학자들은 이를 오래전부터 알고 있었지만, 왜 곡선이 그런 모양을 띠는지 그 이유는 정확히 알지 못했습니다.

이 논문은 그 매끄러운 곡선이 사실 서로 다른 시점에 발생하는 수백만 개의 작은 개별 학습 순간들이 만들어낸 "마술적 트릭"이라고 주장합니다.

다음은 쉬운 비유를 사용한 요약입니다.

1. 큰 그림: 매끄러운 미끄럼틀 vs 계단

보통 우리가 로봇의 진척도를 관찰할 때, 그것은 마치 아래로 내려가는 매끄러운 미끄럼틀처럼 보입니다. 하지만 이 논문은 이것이 착시라고 말합니다. 자세히 들여다보면, 매끄러운 미끄럼틀이 아니라 계단이 보입니다.

기존의 생각: 우리는 로봇이 모든 것을 조금씩, 동시에 천천히 배우고 있다고 생각했습니다.
새로운 발견: 로봇은 실제로 갑작스러운 도약을 통해 배웁니다. 로봇은 특정 단어(또는 '토큰')를 오랫동안 응시하며 전혀 나아지지 않는 상태로 머물다가, 갑자기 "탁" 하고 깨달으며 그 단어를 완벽하게 배우게 됩니다. 그 후에는 그 단어에 대해 숙련된 상태를 유지합니다.

2. "시그모이드(Sigmoid)" (학습의 도약)

저자들은 로봇이 배우는 모든 단어가 저자들이 "시그모이드"라고 부르는 동일한 패턴을 따른다는 것을 발견했습니다.

1단계 (정체기): 로봇은 혼란스러워합니다. 매번 틀린 예측을 합니다.
2단계 (하락기): 갑자기 로봇이 원리를 깨닫습니다. 오류율이 빠르게 급락합니다.
3단계 (정체기): 이제 로봇은 그것을 압니다. 올바른 상태를 유지합니다.

자전거 타기를 배우는 과정을 생각해 보세요. 당신은 한참 동안 비틀거리며 넘어집니다 (정체기 1). 그러다 어느 날, 갑자기 균형을 잡고 매끄럽게 달리기 시작합니다 (하락기). 그 후에는 그냥 계속해서 잘 달립니다 (정체기 2).

3. 핵심 비결: "학습 시간 스펙트럼(Learning-Time Spectrum)"

만약 모든 단어가 갑작스러운 도약을 통해 학습된다면, 왜 전체적인 그래프는 매끄러운 미끄럼틀처럼 보이는 걸까요?

정답은 타이밍에 있습니다.

어떤 단어는 쉽습니다 (예: "the"나 "and"). 로봇은 이 단어들을 매우 초기에 배웁니다.
어떤 단어는 어렵습니다 (예: 복잡한 수학 용어나 희귀한 관용구). 로봇은 이 단어들을 훨씬 나중에 배웁니다.
대부분의 단어는 그 중간 어디쯤에 위치합니다.

논문에서는 이를 **"학습 시간 스펙트럼"**이라고 부릅니다. 이는 사람들이 방으로 입장하는 것과 같습니다. 만약 모든 사람이 정확히 같은 초에 들어온다면 방은 순식간에 꽉 찰 것입니다. 하지만 사람들이 긴 시간에 걸쳐 한 명씩 차례대로 들어온다면, 방은 매끄럽게 채워질 것입니다.

우리가 AI 연구에서 보는 매끄러운 "스케일링 법칙(scaling law)" 곡선은 로봇이 매끄럽게 학습하기 때문이 아니라, 서로 다른 단어들이 서로 다른 시점에 학습되기 때문입니다. 이 "매끄러움"은 연속적으로 발생하는 수백만 개의 개별적인 "탁" 하는 순간들의 평균일 뿐입니다.

4. 세 가지 축 (시간, 데이터, 그리고 크기)

저자들은 이 아이디어를 세 가지 다른 방식으로 테스트했으며, 모두 성공했습니다.

학습 단계 (시간): 학습을 더 오래 할수록, 로봇은 더 어려운 단어들을 배웁니다.
데이터 크기: 로봇에게 더 많은 책을 읽게 하면, 로봇은 이전에 본 적 없는 더 어려운 단어들을 마주하게 됩니다.
모델 크기: 로봇의 뇌를 더 크게 만들면, 로봇은 더 어려운 개념을 이해할 수 있는 능력을 갖추게 됩니다.

이 세 가지 경우 모두에서, "매끄러운" 개선은 로봇이 쉬운 것에서 어려운 것 순서로 단어들을 공략해 나가는 결과입니다.

5. 슈퍼파워: 스케줄 재작성하기

이 부분이 가장 흥-미로운 대목입니다. 저자들은 로봇이 특정 단어를 배우는 시기를 알아냈기 때문에, 그 지식을 사용하여 학습 속도를 높였습니다.

실험: 특정 학습 기간(예: 2,000단계에서 3,800단계 사이)을 살펴보았습니다. 그들은 해당 특정 구간 동안 "배울 준비가 된" 단어들을 식별했습니다.
조정: 그들은 로봇의 식단을 바꿨습니다. 무작위로 단어를 주는 대신, 바로 그 시점에 배울 준비가 된 단어들을 더 많이 먹이고, 너무 어렵거나 너무 쉬운 단어는 적게 먹였습니다.
결과: 로봇은 더 빨리 배웠습니다. 일반적인 스케줄보다 실수를 11% 더 많이 줄였습니다.

요약

이 논문은 AI 스케일링 법칙의 "마법"이 신비로운 수학적 규칙이 아니라고 주장합니다. 그것은 단순히 AI가 서로 다른 것들을 언제 배우느냐를 반영할 뿐입니다.

문제점: 우리는 AI가 매끄럽게 학습한다고 생각했습니다.
진실: AI는 갑작스러운 폭발적 성장을 통해 배우지만, 서로 다른 단어들이 서로 다른 시점에 폭발합니다.
이점: 만약 우리가 특정 단어가 배울 준비가 된 시기를 안다면, 우리는 AI에게 적절한 시기에 적절한 단어를 먹여 더 빠르게 학습하게 만들 수 있습니다.

이는 학생이 모든 것을 천천히 공부하며 배우는 것이 아니라, 하나의 개념을 마스터하고, 그다음, 그다음 순으로 배워나간다는 것을 깨닫는 것과 같습니다. 만약 당신이 그 학생이 오늘 배울 준비가 된 개념이 무엇인지 정확히 안다면, 훨씬 더 효율적으로 가르칠 수 있습니다.

기술 요약: 매끄러운 스케일링 법칙 뒤에 숨겨진 단계적 토큰 학습

문제 정의

언어 모델은 모델 크기( $M$ ), 데이터 크기( $D$ ), 학습 단계( $T$ )가 증가함에 따라 집계된 검증 손실(validation loss)이 예측 가능한 멱법칙(power-law) 감쇠를 따르는 매우 규칙적인 스케일링 법칙을 보여줍니다. 이러한 경험적 규칙성은 컴퓨팅 자원 할당과 학습 전략을 안내하는 중요한 지표이지만, 이러한 멱법칙 형태를 유도하는 근본적인 메커니즘은 여전히 불분명합니다. 기존의 설명들은 자연어 데이터에 내재된 패턴 난이도의 헤비 테일(heavy-tailed) 스펙트럼에 그 원인을 돌립니다. 그러나 이러한 이론들은 현대적 아키텍처를 사용한 대규모 실제 데이터 학습 과정에서 토큰 단위의 세밀한 수준으로 직접 검증되지 않았습니다. 본 연구가 다루는 핵심 질문은 다음과 같습니다: 왜 언어 모델의 집계된 손실은 멱법칙을 따르는가?

방법론

저자들은 집계된 스케일링 법칙을 개별 문맥화된 토큰의 국소적 학습 이벤트로 분해하는 토큰 단위 프레임워크를 제안합니다. 이 방법론은 세 가지 핵심 요소로 구성됩니다:

토큰 단위 분해 (Token-Level Decomposition):
집계된 검증 손실 $L(a)$ (여기서 $a$ 는 $T, D, M$ 을 나타냄)는 개별 토큰 손실 $\ell_i(a)$ 의 합으로 분해됩니다. 저자들은 학습률을 나타내는 손실 미분값 $L'(a)$ 를 토큰 단위 손실 미분의 중첩(superposition)으로 분석합니다.
학습 이벤트의 시그모이드 파라미터화 (Sigmoid Parameterization of Learning Events):
개별 토큰의 손실이 균일하게 감소하는 것이 아니라 고점(plateau), 급격한 전이(transition), 그리고 최종 고점을 거친다는 점에 주목하여, 저자들은 각 토큰의 손실 궤적을 시그모이드 함수로 모델링합니다:
$\ell_i(a) \approx \ell_{post}^i + \Delta_i [1 - \sigma(\lambda_i(a - \tau_i))]$
여기서 $\tau_i$ 는 학습 시간(descent의 중심)을 나타내고, $\lambda_i$ 는 급격함을 조절하며, $\Delta_i$ 는 총 손실 감소량을 나타냅니다. 이 함수의 미분값은 $\tau_i$ 를 중심으로 하는 "학습 펄스(learning pulse)" ( $\text{sech}^2$ 함수)를 생성합니다.
형태와 시간의 분리 (Decoupling Shape and Time):
저자들은 거시적인 손실 미분이 두 가지 요인에 의해 결과된다는 가설을 세웁니다:
- 공유된 펄스 형태 ( $g$ ): 학습 시간( $\tau_i$ )에 의해 정렬되었을 때, 개별 토큰의 학습 이벤트의 국소적 형태는 대략적으로 일관적입니다.
- 학습 시간 스펙트럼 ( $p$ ): 토큰 집단 전체에 걸친 학습 시간 $\tau_i$ 의 분포입니다.
집계된 손실 미분은 공유된 펄스와 학습 시간 스펙트럼의 컨볼루션(convolution)으로 근사됩니다: $L'(a) \approx (p * g)(a)$ .

실험 설정

이 프레임워크는 현대적인 LLM 아키텍처(MoE 모델 포함)를 사용하여 다양하고 거대한 실제 언어 코퍼스에 대한 110회 이상의 사전 학습 실행을 통해 검증되었습니다. 실험 범위는 다음과 같습니다:

모델 규모: 290M에서 6B 파라미터까지 (최대 6B).
데이터 규모: 1B에서 300B 학습 토큰.
컴퓨팅 자원: 약 1,178 A100 GPU-days.
축(Axes): 학습 단계( $T$ ), 데이터 규모( $D$ ), 모델 규모( $M$ ) 축을 따라 분석이 수행되었습니다.

주요 결과

1. 토큰 학습은 단계적이며 국소적이다

개별 토큰의 손실은 특정 학습 시간에 도달할 때까지 높은 고점에 머물러 있다가, 급격한 국소적 하강을 거친 후 낮은 고점에 안착합니다. 이러한 동작은 시그모이드 적합(fit)에 의해 정확하게 포착되며, 이는 토큰 손실이 균일하게 감소하거나 개별적으로 멱법칙을 따른다는 가설을 반박합니다.

2. 공유된 학습 펄스 형태

토큰 손실 미분을 학습 시간( $\tau_i$ )에 따라 정렬했을 때, 그 형태는 매우 유사한 "학습 펄스"로 수렴(collapse)합니다. 이는 학습의 메커니즘이 토큰 간에 일관적임을 나타내며, 주요 변동성은 학습이 '어떻게' 일어나는가가 아니라 '언제' 일어나는지에 있음을 의미합니다.

3. 학습 시간 스펙트럼이 스케일링 법칙을 결정한다

학습 시간( $p(\tau)$ )의 분포는 강한 헤비 테일 특성을 가지며 대략적으로 멱법칙 분포를 따릅니다. 저자들은 다음을 입증했습니다:

$T, D, M$ 축을 따른 경험적 손실 미분은 공유된 학습 펄스와 측정된 학습 시간 스크펙트럼의 컨볼루션에 의해 정량적으로 재구성됩니다.
전역 손실의 멱법칙 형태는 개별 토큰 궤적의 구체적인 형태보다는 토큰 학습 시간의 분포(스펙트럼)에 의해 주로 결정됩니다.

4. 신호의 실행 가능성 (Actionability)

학습 시간 신호는 단순히 기술적인 것에 그치지 않고 실행 가능합니다. 저자들은 특정 토큰들의 학습 시간을 추정함으로써, 타겟 구간 내에서 학습되는 토큰을 포함하는 샘플의 가중치를 높이고 그렇지 않은 샘플의 가중치를 낮추는 방식으로 학습 분포를 재구성했습니다.

결과: 이러한 개입은 최적화 경로를 변화시켜, 원래의 분포와 비교했을 때 검증 손실 감소 속도를 11% 가속화했습니다.

의의 및 주장

본 논문은 스케일링 법칙이 주로 토큰 단위의 학습 시간 분포에 의해 결정된다는 것을 토큰 단위의 세밀한 수준에서 직접적으로 입증한 첫 번째 사례라고 주장합니다.

이론적 기여: 멱법칙 스케일링의 메커니즘적 설명을 제공하며, 거시적 곡선을 미시적인 토큰 학습 시점의 통계적 분포와 연결합니다. 이는 "패턴 난이도의 스펙트럼"이 스케일링을 주도한다는 직관을 검증하되, 이를 단순한 정적 데이터 특성이 아닌 학습 시간의 분포로 재정의합니다.
실용적 기여: 학습 시간 신호를 사용하여 스케일링 동작을 제어할 수 있음을 보여줍니다. 토큰이 학습 가능해지는 시점에 따라 데이터 분포를 재구성함으로써 학습 효율을 높일 수 있습니다.
범위: 본 연구의 결과는 이론적인 토이 모델이나 합성 데이터가 아닌, 산업 규모의 실제 데이터 학습에 근거하여 이러한 역학 관계를 검증했습니다.

저자들은 이 프레임워크가 토큰 단위의 학습 역학을 거시적인 스케일링 동작과 연결하며, 대규모 모델 학습에 대한 데이터 중심의 제어 경로를 열어준다고 결론짓습니다.