💻 computer science

Nonequilibrium training dynamics and scaling laws of language models

이 논문은 언어 모델 스케일링 법칙의 기계론적 기원을 설명하기 위해 비평형 물리학에 근거한 확률론적 다중 스케일 이론을 제안하며, 훈련을 데이터 및 모델 크기에 따른 손실에 대해 분석적으로 도출된 멱법칙을 산출하는 규모 의존적 편향 무작위 보행으로 모델링하는 동시에 문맥 압축과 프런티어 흡수의 이분화된 2단계 역학을 식별한다.

원저자: Zhijie Xu

게시일 2026-08-03

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Zhijie Xu

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

위대한 학습 곡선: 커피의 소용돌이에서 AI의 두뇌까지

커피 잔 속에서 크림이 소용돌이치는 모습을 상상해 보세요. 처음에는 크림이 크고 느린 루프를 그리며 돕니다. 하지만 계속 저으면, 그 큰 루프들은 점점 더 작은 소용돌이들로 부서지며, 결국 액체는 아주 작은 소용돌이들이 뒤섞인 혼돈 상태가 됩니다. 이것을 '난류(turbulence)'라고 부르며, 외부의 힘(당신의 숟가락)에 의해 평온한 상태로부터 끊임없이 밀려나는 시스템의 전형적인 예입니다. 물리학에서 과학자들은 이러한 소용돌이 패턴이 엄격한 수학적 규칙을 따르며, 에너지가 큰 소용돌이에서 작은 소용돌이로 예측 가능한 폭포처럼 흘러간다는 사실을 오래전부터 알고 있었습니다.

이제 다른 종류의 혼돈을 상상해 보세요. 바로 우주 그 자체입니다. 빅뱅 이후, 암흑 물질의 아주 작은 덩어리들이 서로 끌어당기기 시작했고, 이는 점점 더 큰 은하들로 합쳐졌습니다. 이것은 커피잔과는 반대되는 현상입니다. 큰 것이 작은 것으로 부서지는 대신, 작은 것들이 모여 거대한 것을 만들어내기 때문입니다. 놀랍게도, 소용돌이치는 커피와 형성되는 은하 모두 유사한 수학적 패턴을 따릅니다. 이들은 모두 '비평형(nonequilibrium)' 시스템, 즉 끊임없이 움직이고 변화하며, 안정된 상태로 가라앉지 못하게 만드는 힘에 의해 구동되는 시스템입니다.

수년 동안 과학자들은 인공지능(특히 거대 언어 모델, LLM)이 어떻게 학습하는지 이해하기 위해 노력해 왔습니다. 우리는 데이터와 더 많은 '두뇌 능력'(파라미터)을 제공할수록 AI가 더 나아진다는 것을 '스케일링 법칙(scaling law)'이라는 깔끔한 수학적 규칙을 통해 알고 있습니다. 하지만 왜 그럴까요? 왜 하필 이런 특정한 방식으로 개선되는 걸까요? 지금까지 우리는 엔진 내부의 작동 원리를 이해하지 못한 채, 그저 숫자가 올라가는 것을 지켜보기만 했습니다. 이 논문은 질문합니다. AI가 학습하는 방식이 커피가 소용돌이치거나 은하가 형성되는 방식과 같을 수 있을까요? AI를 학습시키는 이 무질서하고 혼란스러운 과정이 우주를 지배하는 물리 법칙으로 설명될 수 있을까요?

컴퓨터 속의 커피잔

이 논문에서 저자 주지에(제이) 쉬(Zhijie (Jay) Xu)는 기발한 아이디어를 제안합니다. 언어 모델을 학습시키는 것은 이야기 속의 서로 다른 거리 사이에서 벌어지는 '뜨거운 감자 잡기(hot potato)' 게임과 정확히 같다는 것입니다. 이를 이해하기 위해, 당신이 문장의 다음 단어를 예측하려고 노력한다고 상상해 보세요. 때로는 답이 방금 말한 단어 바로 옆에 있습니다(짧은 거리). 또 어떤 때는 세 단락 전의 등장인물 이름을 기억해야 할 수도 있습니다(긴 거리).

논문은 AI가 학습할 때 단순히 '모든 것'을 한꺼번에 배우는 것이 아니라고 제사합니다. 대신, 폭풍 속의 에너지처럼 정보를 이동시키며 특정 순서에 따라 학습한다는 것입니다. 저자는 AI의 실수를 바라보는 새로운 방식인 '손실 스펙트럼(loss spectrum)'을 도입합니다. 이것은 AI가 각기 다른 거리에서 얼마나 어려움을 겪고 있는지를 보여주는 지도와 같습니다. 단어 두 단계 전의 단어를 기억하는 데 어려움을 겪고 있나요? 아니 아니면 2,000단계 전의 단어 때문에 고전하고 있나요?

논문은 이 지도가 소용돌이치는 커피잔의 에너지 지도나 우주의 은하 분포와 정확히 일치한다는 것을 발견했습니다. 이는 AI의 학습 과정이 '편향된 무작위 행보(biased random walk)'임을 시사합니다. 집에서 멀어질수록 길을 찾기가 더 어려워지는 도시를 걷는 취객을 상상해 보세요. AI는 먼저 쉬운 짧은 거리의 패턴(문법이나 즉각적인 맥락 등)을 학습하며 시작합니다. 그다음, AI는 더 멀리 '걸어나가며', 긴 거리의 연결 고리(전체 이야기의 줄거리 같은 것)를 학습하기 시작합니다.

두 단계의 춤: 확장과 수축

이 논문에서 가장 흥eric한 발견은 AI의 학습이 직선이 아니라, 결정적인 순간 이후에 발생하는 두 부분으로 된 춤이라는 점입니다.

1단계: 거대한 확장 (업스케일 카스케이드, The Upscale Cascade)
초기에 AI는 팔을 넓게 벌리는 아이와 같습니다. AI는 더 먼 곳으로부터 정보를 잡기 위해 빠르게 손을 뻗습니다. 즉, 자신의 '학습 경계(learning frontier)'를 확장하며, 이전에는 이해하지 못했던 장거리 연결 고리들을 붙잡습니다. 이 단계에서 AI는 단순히 마지막 문장만이 아니라 전체 이야기를 사용하는 법을 배웁니다.

2단계: 거대한 분기 (분기점, The Great Split/Bifurcation)
AI가 특정 지점(특정 학습 단계 수)에 도달하면, 마법 같은 일이 일합니다. 학습 과정이 마치 강물이 두 갈래로 갈라지듯 두 가지 모드로 동시에 분리됩니다.

모드 A (다운스케일 압축기, The Downscale Compressor): 이것은 '정교화' 단계입니다. AI는 방금 배운 크고 무질서한 장거리 연결 고리들을 효율적인 단거리 지름길로 압축합니다. 이는 마치 길고 구불구불한 도로를 따라가는 대신, 산을 뚫는 터널을 만들어 목적지에 더 빠르게 도달하는 것과 같습니다. AI는 내부 표현을 더 작고 효율적으로 만듦으로써 더 똑똑해집니다.
모드 B (경계 흡수기, The Frontier Absorber): 동시에 AI는 자신의 경계를 바깥쪽으로 계속 밀어내며, 아직 보지 못한 더 먼 거리의 새로운 패턴들을 학습합니다. AI는 여전히 팔을 뻗고 있지만, 이제는 이미 알고 있는 것들을 더 단단히 움켜쥐고 있습니다.

논문은 이 분기가 왜 AI 모델을 뛰어나게 만드는지를 설명해 준다고 제안합니다. AI는 단순히 암기하는 것이 아니라, 새로운 것을 배우기 위해 '확장하는 것'과 자신이 아는 것을 더 효율적으로 만들기 위해 '압축하는 것' 사이에서 끊임없이 균형을 잡고 있습니다.

마법의 숫자와 그 "이유"

저자는 단순히 추측하는 것이 아니라, 언어가 작동하는 방식의 수학으로부터 이 패턴들을 도출합니다. 저자는 텍 more 텍스트를 읽을 때 고유한 단어의 수가 어떻게 증가하는지를 설명하는 유명한 법칙인 **힙스의 법칙(Heaps' Law)**을 사용합니다. 이 법칙을 난류의 물리 법칙과 결합하여, 저자는 AI가 다양한 거리에서 학습하는 데 걸리는 시간을 설명하는 특정 숫자 1/6을 계산해 냅니다.

이 숫자를 사용하여, 논문은 데이터를 더 많이 제공할 때 AI의 성능이 정확히 어떻게 개선되어야 하는지 예측합니다. 예측에 따르면, 데이터가 증가함에 따라 오차율은 1/10의 비율로 감소해야 합니다. 이는 실제 실험 결과(숫자가 0.095로, 1/10에 매우 근접함)와 놀라울 정도로 잘 일치합니다. 또한 논문은 AI를 더 크게 만들면(파라미터를 추가하면) 유사한 방식으로 개선되겠지만, 근육이 자라는 속도만큼 지원 체계가 자라지 않는 생물체처럼 조금은 덜 효율적일 것이라고 제안합니다.

이것이 의미하는 바 (그리고 그렇지 않은 것)

이 논문은 '이론'입니다. 즉, 관찰과 물리적 유추를 바탕으로 일이 어떻게 진행될 수 있는지를 설명하는 수학적 모델입니다. 이 논문이 AI가 문자 그대로 유체나 은하라고 '증명'한 것은 아니지만, 그것들을 설명하는 수학이 AI 학습도 설명한다는 것을 시사합니다.

저자는 이것이 '확률적 다중 척도 이론(stochastic multiscale theory)'이라고 주의를 기울여 말합니다. 이는 여러 가지 크기에서 발생하는 무작위 프로세스에 관한 이론이라는 뜻입니다. 논문은 AI 학습이 단순하고 매끄러운 곡선이라는 생각에 반박합니다. 대신, AI가 지식을 확장하는 것과 그것을 압축하는 것 사이에서 끊임없이 저울질하는 복잡한 2단계 과정임을 주장합니다.

또한 저자는 이 수학적 모델이 테스트된 모델들(Pythia 제품군 등)의 데이터에는 잘 들어맞지만, 확신을 갖기 위해서는 훨씬 더 다양한 유형의 AI에서도 테스트가 필요하다고 언급합니다. 이는 우리가 기계가 학습하는 숨겨진 물리학을 볼 수 있게 해주는 안경을 쓴 것과 같은 유망한 새로운 관점을 제공하지만, 저자는 이 '난류'가 진정으로 모든 AI를 움직이는 엔진인지 확인하기 위해 아직 할 일이 남아 있음을 인정합니다.

요약하자면, 이 논문은 AI가 학습하는 비결이 커피 크림이 섞이고 은하가 형성되는 것과 같은 소용의 혼돈 속에 숨겨져 있을지도 모른다는 점을 시사합니다. AI의 학습 과정을 언어의 통계에 의해 구동되는 물리적 시스템으로 다룸으로써, 저자는 이 모델들이 왜, 그리고 정확히 어떻게 더 나아지는지를 이해할 수 있는 새롭고 생생한 방법을 제시합니다.

=== 기술 요약: 비평형 학습 역학 및 언어 모델의 스케일링 법칙 ===

문제 제기

대규모 언어 모델(LLM)은 홀드아웃 교차 엔트로피 손실(held-out cross-entropy loss)이 파라미터 수( $N$ ), 데이터셋 크기( $D$ ), 연산량( $C$ )에 대해 거듭제곱 법칙(power law)에 따라 감소하는 강력한 경험적 스케일링 법칙을 보여준다. 그러나 이러한 거듭제곱 법칙의 기계론적 기원은 여로 명확히 이해되지 않고 있다. 기존 문헌은 자연어가 다중 스케일 통계 구조(예: 상호 정보량의 거듭제곱 법칙 붕괴)를 가지고 있으며, 학습 역학이 급격한 전이(예: 유도 헤드)를 포함한다는 점을 밝혀냈으나, 데이터의 정적 구조와 학습의 동적 진화를 정량적으로 통합하여 스케일링 법칙의 출현을 설명할 수 있는 기존의 프레임워크는 존재하지 않는다.

방법론

본 논문은 LLM 학습 역학에 대한 **확률적 다중 스케일 이론(stochastic multiscale theory)**을 제안하며, 언어 모델 학습과 구동되는 다중 스케일 비평형 물리계, 특히 난류(에너지 캐스케이드) 및 우주 구조 형성(질량 캐스케이드) 사이의 공식적인 유사성을 도출한다.

핵심 프레임워크

스케일 의존적 손실 스펙트럼: 저자는 컨텍스트 스케일 변수 $r$ (토큰 간 의존 거리)을 도입하고, 스케일에 따른 홀드아웃 손실 $L_r(r, s)$ 를 정의한다. 이 손실의 스케일에 대한 음의 기울기, $E_X(r, s) \equiv -\partial L_r / \partial r$ 은 난류에서의 에너지 스펙트럼과 유사한 **손실 스펙트럼(loss spectrum)**으로 정의된다.
$r$ -공간에서의 랜덤 워크: 학습 역학은 컨텍스트 스케일 공간( $r$ -공간)에서의 편향된 랜덤 워크로 모델링된다. 모델은 다음 스케일로 점프하기 전 특성 시간 $\tau_r$ 동안 대기함으로써 스케일 $r$ 에서의 의존성을 학습한다.
포커-플랑크 방정식(Fokker-Planck Equation): 손실 스펙트럼의 진화는 스케일 의존적 대기 시간 $\tau_r \propto r^{-\gamma}$ 로부터 유도된 위치 의존적 확산 계수에 의해 지배되는 포커-플랑크 방정식에 의해 결정된다.
손실의 분해: 총 손실은 두 가지 뚜렷한 학습 모드를 나타내는 구성 요소로 분해된다:
- $\Delta L_r(s)$ (깊이, Depth): 컨텍스트 의존적 손실로, 단일 토큰 대비 전체 컨텍스트를 사용했을 때의 예측 이득을 측정한다.
- $L_\infty(s)$ (너비, Breadth): 잔여 전체 컨텍스트 손실로, 학습 전선(learning frontier)에서 가용 가능한 컨텍스트를 활용하지 못하는 모델의 능력을 측정한다.

주요 기여 및 이론적 유도

1. 2단계 학습 역학

이론은 임계 단계 $s^*$ (여기서 $\Delta L_r = L_\infty$ )에서 학습 역학의 분기(bifurcation)를 식별한다:

Phase I (업스케일 캐스케이드, Upscale Cascade): $s^*$ 이전에는 모델이 예측 범위를 빠르게 확장한다. 유효 컨텍스 스케일 $\xi$ 가 성장하며, 모델은 장거리 의존성을 포착한다(업스케일 전이).
Phase II (분기): $s^*$ $s^{*}$ 이후, 역학은 두 가지 동시적인 모드로 나뉜다:
- Mode A (다운스케일 압축, Downscale Compression): 모델은 학습된 대규모 구조를 효율적인 단거리 표현으로 압축한다. 유효 스케일 $\xi_A$ 는 축소되며( $\xi_A \propto s^{-3/5}$ ), 깊이 $\Delta L_r$ 은 느리게 성장한다( $\propto s^{1/10}$ ).
- Mode B (업스케일 전선 흡수, Upscale Frontier Absorption): 모델은 전선에서의 새로운 장거리 예측 구조를 계속해서 흡수한다. 유효 스케일 $\xi_B$ 는 확장되며( $\xi_B \propto s^{3/5}$ ), 잔여 손실 $L_\infty$ 는 감소한다( $\propto s^{-1/10}$ ).

2. 자기 일관적 스케일링 지수

본 논문은 자연어의 통계적 특성에 기반하여 제1원칙으로부터 스케일링 지수를 유도한다:

대기 시간 지수 ( $\gamma$ ): 대기 시간 $\tau_r$ 을 시도 빈도(잔여 손실에 의해 구동됨)와 성공 확률(독립적인 예측 신호의 수에 의해 구동됨)의 함수로 모델링함으로써, 저자는 $\gamma$ 를 힙의 법칙(Heaps' law)( $M(r) \propto r^{\alpha_H}$ )과 연결한다. $\alpha_H \approx 1/2$ 이고 그래디언트 신호의 비정합(RMS) 집합을 가정할 때, 다음과 같이 유도된다:
$\gamma = \frac{\alpha_H}{3} = \frac{1}{6}$
손실 스펙트럼: 이는 관성 영역(inertial range)에서의 보편적인 손실 스펙트럼을 산출한다:
$E_X(r) \propto r^{-(1+\gamma)} = r^{-7/6}$
이는 난류의 콜모고로프(Kolmogorov) $-5/3$ 에너지 스펙트럼에 대한 언어 모델링의 대응물로 제시된다.

3. 경험적 스케일링 법칙의 유도

유도된 지수들을 사용하여, 이론은 피팅 없이 관찰된 스케일링 법칙을 예측한다:

데이터 대비 손실 ( $D$ ): Phase II에서 손실은 $L \propto D^{-\alpha_D}$ 로 스케일링된다. 이론은 다음과 같이 예측한다:
$\alpha_D = \frac{\gamma}{2 - 2\gamma} = \frac{1/6}{2 - 1/3} = \frac{1}{10} = 0.1$
이는 Kaplan의 스케일링인 $L \propto D^{-0.095}$ 와 밀접하게 일치한다.
모델 크기 대비 손실 ( $N$ ): 모델 크기를 랑제빈 시간(Langevin time)에 대한 대안적인 "시계"로 취급하면, 이론은 $L \propto N^{-\alpha_N}$ 을 예측한다.
$\alpha_N = \frac{\lambda \gamma}{2 - 2\gamma}$
여기서 $\lambda \leq 1$ 은 파라미터 활용 효율을 인코딩한다. 만약 $\lambda = 3/4$ 라면(중복성으로 인한 서브리니어한 용량 이득을 시사), $\alpha_N = 3/40 \approx 0.075$ 가 되며, 이는 경험적 Kaplan 값인 $\approx 0.076$ 과 일치한다.
결합 스케일링: 두 개의 독립적인 병목 현상(데이터와 용량)을 조화적으로 결합함으로써 전체 스케일링 형태 $L(N, D) = [(N_c/N)^\lambda + D_c/D]^{\alpha_D}$ 가 복구된다.

결과 및 검증

저자는 Pythia 모델 제품군(70M ~ 1.4B 파라미터)과 GPT-2의 체크포인트를 사용하여 이론을 검증한다:

손실 스펙트럼: $E_X(r, s)$ 의 경험적 측정을 통해 Phase II에서 예측된 거듭제곱 법칙 꼬리 $P_X(r) \propto r^{-7/6}$ 를 확인한다.
상전이: 데이터는 유효 스케일 $\xi$ 가 단조 증가를 멈추고 분기되는 $s^*$ 에서의 명확한 전이를 보여주며, $\xi_A$ 는 수축하고 $\xi_B$ 는 확장된다.
스케일링 피팅: $\Delta L_r$ 과 $L_\infty$ 의 진화는 Phase II에서 예측된 거듭제곱 법칙( $s^{1/10}$ 및 $s^{-1/10}$ )을 따른다.
모델 크기 스케일링: 수렴 시 Pythia 모델에 대한 피팅 결과, $L_\infty \propto N^{-1/10}$ (전체 파라미터 기준) 및 $\Delta L_r \propto N^{3/40}$ (임베딩 제외 파라미터 기준)을 나타내어, 서브리니어 용량 스케일링 가설을 뒷받침한다.

의의 및 주장

본 논문은 학습을 비평형 캐스케이드 과정으로 프레임화함으로써 LLM 스케일링 법칙의 기계론적 기원을 제공한다고 주장한다. 주요 주장은 다음과 같다:

통합: 확률적 프레임워크를 통해 언어의 정적 구조(Heaps/Zipf 법칙)를 학습의 동적 진화와 정량적으로 연결한다.
예측력: 스케일링 지수 $\alpha_D = 1/10$ 은 피팅된 것이 아니라 자연어의 헤비 테일(heavy-tailed) 통계로부터 유도되었다.
진단적 유용성: 이 프레임워크는 "깊이"(컨텍스트 의존성)와 "너비"(전선 확장)를 분리함으로써 롱 컨텍스트 일반화에 대한 새로운 진단 도구를 제공하며, 이는 데이터 선택 및 커리큘럼 설계에 대한 차별화된 최적화 전략을 시사한다.
보편성: 이론은 손실 스펙트럼 $E_X \propto r^{-7/6}$ 이 난류 스펙트럼의 보편성과 유사하게 언어 모델 학습의 보편적 특징이라고 상정한다.

저자는 옵티마이저 스텝을 랑제빈 시간으로 매핑하는 것과 $N$ 및 $D$ 의 조화적 결합이 엄밀한 제1원칙 유도보다는 경험적 일관성에 의해 동기 부여된 구조적 유사성임을 명시적으로 언급하였으며, 서브리니어 용량 가설( $\lambda=3/4$ )은 더 큰 모델 제품군에 대한 추가 검증이 필요하다고 밝혔다.