기술적 요약: 자기 학습은 언어를 평탄화하지 않는다 — 재구조화한다

문제 제기

언어 모델 (LLM) 에 대한 successive 자기 학습에 대한 지배적인 설명은 "평탄화" 또는 "모델 붕괴"로, 다양성이 감소하고 분포가 좁아지며 텍스트가 낮은 엔트로피의 끌개 (attractor) 로 수렴한다는 것이다. 동시에, LLM 의 언어적 지문에 관한 문헌은 기계 생성 텍스트가 인간 기준에 비해 특정 표면적 표지 (담화 연결어, 완화 표현, 대시) 에 정적으로 풍부함을 관찰한다. 그러나 두 문헌 모두 이러한 분포적 편이의 메커니즘을 정확히 설명하지 못했다. 지배적인 이론적 설명은 감소를 빈도 기반 메커니즘으로 돌린다: 희귀 사건은 과소 표집되어 소멸한다는 것이다. 본 논문은 이러한 설명이 불완전하며, 현상은 균일한 평탄화보다는 **구조적 분기 (structural bifurcation)**로 더 잘 설명된다고 주장한다.

방법론

저자들은 세 가지 아키텍처 계열 (GPT-2 124M, Pythia-410M, Pythia-1.4B, Pythia-2.8B, OPT-1.3B) 에 걸친 다섯 개의 모델에 걸쳐 통제된 자기 학습 실험을 수행했다.

• 프로토콜: 각 모델은 11 세대의 순수 자기 학습을 거쳤다. 출시된 체크포인트에서 시작하여, 모델은 핵 샘플링 ($p=0.95, T=0.9$) 을 사용하여 3,000 개의 텍스트 (각각 256 토큰) 를 생성했고, 결과 코퍼스는 모델을 한 에포크 동안 미세 조정하는 데 사용되었다. 이 사이클은 인간 데이터를 섞지 않고 반복되었다.
• 특성 선택: 17 가지 언어적 특성이 사전 ($a priori$) 으로 선택되었으며, **구조적 깊이 (Structural Depth, $d(\phi)$)**에 따라 계층화되었다. 이는 문장에서 해당 특성을 허용하는 데 필요한 최소 중첩 구문 의존성의 수로 정의된다:
  • $d=0$ (표면/어휘): 담화 표지, 완화 표현, 대시, 감탄사.
  • $d=1$ (지역 구문): 규칙적 과거형 ($V+ed$), 문장 시작 접속사, 단순 병렬 구조.
  • $d=2$ (절 구조): 의문문, 삽입구, 수동태, 불규칙 과거형, 관계/부사절.
  • $d=3$ (절 간/기분): 접속법 (subjunctive) 구성.
• 분석: 저자들은 세대를 거쳐 이러한 특성의 상대적 빈도를 추적했다. OLS 회귀를 통해 특성별 감소율 ($\lambda$) 을 계산하고, 구조적 깊이 ($d$) 및 기준 빈도 ($f$) 와의 상관관계를 검정했다. 데이터의 중첩 구조 ($N=85$ 특성 - 모델 쌍) 를 고려하기 위해 혼합 효과 모델이 사용되었다.

주요 기여

1. 구조적 깊이 가설 (SDH) 의 공식화: 본 논문은 언어적 특성의 세대별 편이율은 주로 구조적 깊이 ($d$) 에 의해, 그리고 이차적으로 샘플링 확률론적 의존성 ($\sigma$) 에 의해 예측된다고 제안한다. 이 가설은 "깊이 페널티"(중첩된 의존성을 통과하는 곱셈 확률 비용으로 인해 깊은 구조가 감소함) 와 "샘플링 의존성 보너스"(확률론적 샘플링에서의 부익부 빈익빈 역동으로 인해 표면 표지가 증폭됨) 간의 경쟁을 가정한다.
2. "피상적 복잡성 역설"의 문서화: 저자들은 자기 학습 중 집계된 "복잡성" 대리 지표 (의존 트리 깊이, 유형 - 토큰 비율, 평균 단어 길이) 는 상승하지만, 근본적인 절 구조적 특성 (의문문, 수동태, 종속) 은 붕괴함을 입증했다. 이는 표준 스타일메트릭 분석에서 분기를 가린다.
3. 모델 간 검증: 본 연구는 다섯 개의 모델과 세 가지 아키텍처 계열에 걸쳐 통제된 증거를 제공하여, 깊이 기울기 효과가 아키텍처 차이와 학습 코퍼스에 대해 견고함을 보여준다.
4. 빈도-only 설명의 반박: 정면 대결 통계 검정을 통해, 구조적 깊이가 기준 빈도보다 특성 감소의 훨씬 강력한 예측 변수임을 입증했다.

주요 결과

• 특성의 분기: 표면 표지 ($d=0$) 는 크게 증폭되었다 (예: 담화 표지 +126% 증가, 완화 표현 +44% 증가), 반면 깊은 구문 구조 ($d \ge 2$) 는 붕괴했다 (예: 물음표 92% 감소, 수동태 56% 감소, 접속법 53% 감소).
• 단조성: 세대별 평균 변화량은 구조적 깊이에 따라 단조 감소했다:
  • $d=0$: +24.9%
  • $d=1$: -10.0%
  • $d=2$: -47.2%
  • $d=3$: -52.7%
• 통계적 유의성:
  • 다섯 개 모델을 통합 ($N=85$) 했을 때, 구조적 깊이와 감소율 간의 스피어만 상관관계는 **$\rho = 0.540$ ($p < 10^{-6}$)**이었다.
  • 반면, 기준 빈도와 감소율 간의 상관관계는 통합 검정에서 약하고 통계적으로 유의하지 않았다 ($\rho = 0.225, p = 0.039$).
  • 혼합 효과 모델은 깊이 계수가 매우 유의미함 ($p < 0.001$) 을 확인했으나, 빈도는 그렇지 않았다.
• "규칙을 증명하는 예외": 감탄사 ($d=0$) 는 99.3% 감소했다. 저자들은 이를 SDH 방정식에 기인한다: 이들은 얕은 ($d=0$) 이지만, 핵 샘플링 하의 기준 비율이 "부익부 빈익빈" 증폭 루프를 유발하기에 너무 낮아, 낮은 깊이에도 불구하고 감소했다.
• 통제 실험: 자기 생성 텍스트 대신 인간 텍스트 (OpenWebText) 로 모델을 미세 조정하는 매칭된 통제 실험은 거의 0 에 가까운 상관관계 ($\rho = 0.039, p = 0.88$) 를 산출하여, 깊이 기울기가 자기 학습 체계에 특유함을 확인했다.

중요성과 주장

본 논문은 두 가지 다른 문헌을 재구성한다고 주장한다:

1. 모델 붕괴: 이는 붕괴에 대한 순수 통계적 설명이 아닌 구조적 설명을 제공한다. 붕괴는 단순히 희귀 토큰의 손실이 아니라, 자기회귀 생성에서 중첩된 의존성을 통과하는 곱셈 확률 페널티에 의해 주도되는 깊은 구문 기계의 체계적 침식이라고 주장한다.
2. LLM 지문: 표준 기계 텍스트 표지 (담화 연결어, 완화 표현) 가 왜 정확히 그런 특성인지에 대한 메커니즘적 설명을 제공한다: 그들은 깊이 등급 붕괴의 생존자이자 증폭기이다.
3. 방법론적 경고: 본 논문은 집계된 지문 지표 (스타일메트릭에서 표준임) 에 의존하는 것이 자기 학습 하의 언어 분기를 체계적으로 가린다고 주장한다. 이는 학습 데이터 선별 (절 구조가 풍부한 텍스트를 우선시할 필요성 시사) 과 탐지 (집계 복잡성에 의존하는 탐지기가 재귀적 학습을 거치는 모델에서 실패할 수 있음을 시사) 에 직접적인 함의를 가진다.

저자들은 7B 이상의 대규모 모델에 대한 구체적인 임계값에 대해서는 겸손하게 접근하며, 실험이 124M 에서 2.8B 파라미터까지 spanning 되었음을 지적하지만, 테스트된 규모 전반에 걸쳐 깊이 기울기의 방향과 순서는 일관됨을 주장한다. 또한 이 발견은 현재 영어와 특정 프롬프트 분포로 제한됨을 언급한다.