Phase transition in large language models and the criticality of natural languages

기술 요약: 대규모 언어 모델의 상전이와 자연어의 임계성

문제 정의
자연어는 지프의 법칙(Zipf's law: 단어 빈도와 순위의 관계) 및 헤프의 법칙(Heaps' law: 문서 길이와 어휘 크기의 관계)과 같은 보편적인 통계적 특징, 특히 멱법칙(power-law) 거동을 나타낸다. 통계 물리학에서 이러한 멱법칙 거동은 서로 다른 거시적 상(phase) 사이의 임계점(critical point)에 위치한 시스템의 특징이다. 이러한 관찰은 자연어를 생성하는 확률 과정이 '반복적인' 상과 '이해 불가능한' 상을 가르는 임계 표면(critical surface) 위에 놓여 있다는 가설을 뒷받침한다. 그러나 실제 자연어는 조절 가능한 매개변수가 없기 때문에 이 가설을 검증하는 것은 근본적으로 어렵다. 즉, 전이(transition)를 관찰하기 위해 '온도'나 외부 장(external field)을 변화시킬 수 없다. 기존의 단순화된 수학적 모델을 사용한 시도들은 실제 언어 현상에 대해 제한적인 통찰만을 제공했다.

방법론
자연어의 제어 불가능성을 극복하기 위해, 저자들은 효과적이고 제어 가능한 모델로서 대규모 언어 모델(LLM)을 활용한다. 구체적으로, Pile(대규모 영어 데이터셋)로 학습된 160M 파라미터의 Pythia 모델을 사용한다. 본 연구는 텍스트 생성을 샘플링 과정에서 온도 매개변수 $T$(볼츠만 분포에서의 물리적 온도와 유사함)가 변하는 확률 과정으로 취급한다.

저자들은 통계적 분석을 용이하게 하기 위해 생성된 텍text를 품사(POS) 태그(18개의 고유 값)의 시퀀스로 매핑한다. 이들은 다양한 온도($T$)와 학습 단계($k$)에서 생성된 텍스트를 체계적으로 분석하여 다음 사항을 조사한다:

1. 상관관계 붕괴(Correlation Decay): 품사 간의 시간 상관관계 $C(t, t+\Delta t)$를 측정하여 상관관계가 지수적으로 붕패(무질서)하는지, 아니면 멱법칙을 따르는지(임계) 결정한다.
2. 적분 상관관계($\tau$): 상관관계의 합을 계산하여 시퀀스 길이 $N$에 따른 단거리 및 장거리 질서를 구분한다.
3. 전력 스펙트럼 분석(Power Spectrum Analysis): 품사 시퀀스의 전력 스펙트럼 $S(\omega)$를 분석하여 주기적 구조를 탐지하고, 피크의 개수($n_{peaks}$)를 세어 반복 패턴을 특성화한다.
4. 학습 역학(Training Dynamics): 부분적으로 학습된 모델(다양한 학습 단계 $k$에서)에 대해 이러한 분석을 반복하여, 언제 이러한 임계 특징들이 나타나는지 결정한다.
5. 퍼플렉시티(Perplexity) 평가: Pile 데이터셋에 대한 퍼플렉시티를 사용하여, 서로 다른 $T$와 $k$에서 생성된 텍스트가 자연어 통계와 얼마나 밀접하게 일치하는지 정량적으로 측정한다.

주요 결과

1. $T_c \approx 1$에서의 상전이: 분석 결과, LLM에서 $T_c \approx 1$인 임계 온도에서 뚜렷한 상전이가 나타남을 확인했다.

   • 저온 상 ($T < 1$): 텍스트는 양의 값으로 수렴하는 장거리 질서를 보인다. 전력 스펙트럼은 발산하는 피크의 개수($n_{peaks} \propto N$)를 보여주며, 이는 단순한 주기성이 아닌 복잡하고 불균질한 반복 구조를 나타낸다.
   • 고온 상 ($T > 1$): 텍스트는 무질서하며 이해 불가능하다. 상관관계는 빠르게 붕괴하며(단거리), 전력 스펙트럼은 $\omega=0$에서 단 하나의 피크만을 가진다.
   • 임계점 ($T \approx 1$): 상관관계는 멱법칙 붕괴($C \sim \Delta t^{-\eta}$이며 $\eta \approx 0.2$)를 따르며, 적분 상관관계 $\tau$는 시퀀스 길이 $N$에 따라 발산한다. 이러한 거동은 자연어에서 관찰되는 멱법칙 통계와 일치한다.

2. 학습 중 출현(Emergence During Training): 이러한 현상은 모델 아키텍처에 내재된 것이 아니라, 모델이 자연어를 학습함에 따라 나타난다.

   • 초기 학습 단계($k \lesssim 100$)에서 모델은 온도와 관계없이 무질서한 텍스트를 생성하며, 상전이가 관찰되지 않는다.
   • 임계 거동(발산하는 $\tau$)은 $k_c \approx 102$ 부근에서 나타난다.
   • 복잡한 반복 구조(발산하는 $n_{peaks}$)는 그보다 약간 늦은 $k \approx 10^3$ 부근에서 나타난다.
   • 이는 임계성과 복잡한 반복성 모두 자연어 데이터 학습을 통해 획득되는 고유한 속성임을 시사한다.

3. 자연어와의 최적 일치: 본 연구는 자연어 데이터셋에 대한 모델의 퍼플렉시티가 최종 학습 단계($k=143,000$)와 임계 온도 $T \approx 1$에서 최소화됨을 발견했다. 이는 임계점에서 정의된 LLM의 확률 과정이 자연어의 통계적 특성과 가장 유사함을 정량적으로 확인해 준다.

의의 및 주장
본 논문은 이러한 발견이 자연어가 임계적이라는 가설에 대한 강력한 증거를 제공한다고 주장한다. 저자들은 자연 언어의 확률 과정이 반복적인 상과 이해 불가능한 상을 가르는 임계 표면 위에 놓여 있다는 도식적 모델을 제안한다. 자연어를 학습한 LLM은 확률 과정 공간 내에서 1차원 다양체(manifold)를 정의하며, 온도가 임계값일 때 이 다양체는 자연어에 해당하는 지점 근처에서 임계 표면과 교차한다.

본 연구의 의의는 다음과 같다:

• 경험적 검증: 단순한 수학적 모델을 넘어, 실제 규모의 대규모 언어 모델에서 상전이를 입증했다.
• 통계 물리학적 관점: 임계 현상의 관점을 통해 자연어를 특성화하는 프레임워크를 제공하며, 언어에서 관찰되는 멱법칙 거동이 시스템이 임계점 근처에서 작동하고 있다는 신호임을 시사한다.
• 보편성: 예비 결과는 이러한 현상이 다양한 모델 크기와 언어(중국어, 프랑스어, 일본어, 한국어, 스페인어)에서 견고하게 나타남을 시사하며, 이는 자연어의 보편적인 임계적 성질을 의미한다.

저자들은 자연어가 실제로 임계적이며, LLM이 실제 언어 데이터에서는 접근할 수 없는 이 임계성을 경험적으로 관찰할 수 있게 해주는 제어 가능한 유효 모델 역할을 한다고 결론짓는다.