Significance-Gain Pair Encoding for LLMs: A Statistical Alternative to Frequency-Based Subword Merging

1. 문제 정의 (Problem)

현대 대규모 언어 모델 (LLM) 의 핵심 설계 요소인 **서브워드 토크나이저 (Subword Tokenizer)**는 주로 바이트 페어 인코딩 (BPE) 을 기반으로 합니다. 기존 표준 BPE 는 **원시 빈도 (Raw Frequency)**에 기반하여 가장 자주 등장하는 인접한 문자 쌍을 병합하는 탐욕적 (Greedy) 알고리즘을 사용합니다.

• 한계점: 원시 빈도만으로는 두 가지 효과를 구분하지 못합니다.
  1. 구성 요소 (문자) 자체가 매우 흔해서 빈도가 높은 경우 (높은 주변도, High Marginals).
  2. 두 문자가 의미 있는 단위로 밀접하게 결합되어 빈도가 높은 경우 (강한 인접성, Strong Adjacency Cohesion).
• 결과: 빈도 기반 병합은 공백, 구두점, 일반적인 접미사 등 "배경" 패턴을 과도하게 우선시하고, 통계적으로 유의미한 어휘 (Collocations) 를 간과할 수 있습니다. 이는 모델의 예측 효율성을 저하시킬 수 있습니다.

2. 방법론 (Methodology)

저자는 Significance-Gain BPE라는 새로운 병합 기준을 제안합니다. 이는 단순한 압축이 아닌, **통계적 응집력 (Cohesion)**과 **압축 이득 (Compression Gain)**을 결합한 접근법입니다.

핵심 아이디어: 응집력 × 이득 (Cohesion × Gain)

1. 통계적 응집력 (Significance/Cohesion):

   • 독립성 귀무가설 (Independence Null Model): 두 문자 $x, y$가 독립적으로 발생할 때 기대되는 인접 횟수 $E[c_{xy}] = \frac{c_x c_y}{N}$를 계산합니다.
   • Z-통계량 (Z-statistic): 관측된 인접 횟수 $c_{xy}$가 기대값보다 얼마나 큰지를 측정합니다.
     $$z(x, y) = \frac{c_{xy} - E[c_{xy}]}{\sqrt{E[c_{xy}] + \epsilon}}$$
   • 이 값이 클수록 두 문자는 단순한 우연이 아닌, 통계적으로 유의미하게 결합된 (Cohesive) 관계임을 의미합니다. 이는 PMI(점별 상호 정보) 와 유사하지만, 희소성 (Support) 을 고려하여 희귀한 쌍이 지배하는 것을 방지합니다.

2. 압축 이득 (Compression Gain):

   • 병합 시 발생하는 즉각적인 시퀀스 길이 단축 효과를 고려합니다. 이는 대략적으로 해당 쌍의 등장 횟수 $c_{xy}$에 비례합니다.

3. 최종 점수 함수 (Scoring Function):

   • 병합 점수는 다음과 같이 정의됩니다:
     $$\text{score}(x, y) = \text{Gain Switch} \times \underbrace{z(x, y) \cdot c_{xy}^\alpha}_{\text{지지도가 조절된 응집력}} - \lambda_{\text{rare}}(c_{xy} + \epsilon)^{-1/2}$$
   • Gain Switch: $c_{xy}$를 곱하여 압축 이득을 반영합니다 (기본값 True).
   • $\alpha$ (Alpha): 높은 지지도 (Count) 를 가진 쌍을 선호하도록 조절하는 매개변수 (기본값 0.25).
   • $\lambda_{\text{rare}}$: 지나치게 희소한 쌍을 선택하는 것을 방지하는 패널티.

3. 주요 기여 (Key Contributions)

1. Significance-Gain BPE 알고리즘: 독립성 귀무가설 하의 표준화된 인접성 놀라움 (Surprise) 과 명시적인 압축 이득 항을 결합한 새로운 병합 목적 함수를 제안했습니다.
2. 최소 구현 및 진단 도구: 토큰 의존적 지표 (Perplexity) 와 토큰 무관 지표 (BPC) 를 모두 계산할 수 있는 경량 토크나이저 및 언어 모델 파이프라인을 구축했습니다.
3. 실증적 검증: WikiText-103 데이터셋을 기반으로 한 실험을 통해, 제안된 방법이 기존 빈도 기반 BPE 대비 예측 효율성을 유의미하게 향상시킨다는 것을 입증했습니다.

4. 실험 결과 (Results)

실험은 WikiText-103 (raw) 의 문자 슬라이스를 사용하여 작은 규모의 인과적 Transformer 언어 모델 (TinyGPT) 로 수행되었습니다.

• 평가 지표:

  • Perplexity (PPL): 토큰 단위.
  • BPC (Bits Per Character): 토큰 무관 지표. 원본 텍스트 길이로 정규화된 로그-가능성으로, 다른 토크나이저 간의 공정한 비교가 가능합니다.

• 주요 성과 (대표 운영 지점 기준):

  • PPL 감소: 검증 세트 13.21%, 테스트 세트 12.31% 감소.
  • BPC 개선: 검증 세트 0.99%, 테스트 세트 0.93% 개선 (약 0.9~1.0% 향상).
  • 압축률 비교: Significance-Gain BPE 는 약간 더 긴 토큰 시퀀스 (높은 TPC) 를 생성하지만, **동일한 압축 수준 (Matched-compression)**으로 비교했을 때 대부분의 어휘 크기 (V=300, 400, 600, 1200) 에서 BPC 가 더 낮았습니다. (단, V=800 에서만 약간 저하됨).

• 결론: 통계적으로 근거 있는 병합 선택은 다양한 압축 구간에서 원본 텍스트 단위당 예측 효율성을 향상시킵니다.

5. 의의 및 의의 (Significance)

• 통계적 엄밀성 도입: 단순한 빈도 계수를 넘어, 통계적 유의성 (Z-score) 을 도입하여 토크나이저가 언어의 실제 구조 (형태소, 의미 있는 결합) 를 더 잘 포착하도록 유도했습니다.
• 효율성 향상: 동일한 모델 크기와 학습 예산 하에서, 제안된 토크나이저는 더 적은 비트 (BPC) 로 텍스트를 표현하거나 동일한 비트 수로 더 높은 예측 정확도를 달성할 수 있음을 보였습니다.
• 미래 연구 방향:
  • 토큰 의존적 지표의 한계를 인식하고 BPC 와 같은 토큰 무관 지표를 주요 평가 기준으로 삼아야 함을 강조합니다.
  • 독립성 가정이 장기적 구조를 무시한다는 한계를 인정하며, 향후 더 복잡한 의존성 모델이나 다양한 도메인에서의 분석이 필요함을 제시합니다.

이 논문은 서브워드 토크나이징이 단순한 데이터 압축 도구를 넘어, 언어 모델의 학습 효율성과 성능에 직접적인 영향을 미치는 통계적 과정임을 재조명하고, 이를 개선하기 위한 실용적인 대안을 제시했다는 점에서 의의가 있습니다.