기술 요약: 계산 최적화 토큰화

문제 정의

확장 법칙 (Scaling laws) 은 전통적으로 모델 크기와 훈련 데이터 양 사이의 최적 균형을 규정함으로써 대규모 언어 모델 (LLM) 의 효율적인 설계를 안내해 왔습니다. 그러나 표준 접근 방식은 데이터 양을 토큰 단위로 표현하는데, 이 단위는 본질적으로 특정 토크나이저와 그 압축률 (토큰당 평균 바이트 수) 에 의존합니다. 이러한 의존성은 데이터 단위 자체의 정보 밀도를 간과합니다. 결과적으로 기존 확장 연구 결과는 특정 토큰화 방식 (예: BPE) 에 묶여 있어, 계산, 데이터, 모델 파라미터 간의 진정한 관계를 흐리게 할 수 있습니다. 본 논문은 압축률 ($T$) 이 계산 최적화 확장 경향에 어떤 영향을 미치는지, 그리고 최적의 데이터 - 파라미터 비율이 토큰 단위로 표현되어야 하는지 바이트 단위로 표현되어야 하는지에 대한 이해의 공백을 해소합니다.

방법론

어휘 크기 (vocabulary size) 와 같은 교란 변수 없이 압축률의 역할을 체계적으로 조사하기 위해, 저자들은 바이트 잠재 트랜스포머 (Byte Latent Transformer, BLT) 아키텍처를 사용했습니다. BLT 는 엔트로피 임계값에 기반하여 바이트 레벨 입력을 잠재 토큰으로 분할함으로써 압축률을 정밀하게 제어할 수 있게 하여, 어휘 크기 (따라서 파라미터 수) 를 일정하게 유지하면서 다양한 $T$ 값을 가진 모델을 훈련할 수 있게 합니다.

실험 설정:

• 모델: 본 연구는 988 개의 잠재 토큰화 모델 (BLT) 과 320 개의 서브워드 토큰화 모델 (Character, BPE, SuperBPE, 그리고 마스킹된 BPE 변형을 사용) 을 훈련시켰습니다.
• 규모: 모델은 50M 에서 7B 파라미터까지 다양했습니다.
• 계산 예산: 실험은 $5 \times 10^{18}$ 에서 $2 \times 10^{21}$ FLOPs 범위의 예산을 포괄했습니다.
• 압축률 ($T$):
  • 잠재 모델: $T \in \{1, 2, 4, 6, 8, 12\}$ 바이트/토큰.
  • 서브워드 모델: $T \in \{1.01, 3.71, 4.16, 4.57, 6.16\}$ 바이트/토큰.
• 데이터: 훈련은 주로 DCLM 코퍼스 (일반 영어) 에서 수행되었으며, 프랑스어, 베트남어, 러시아어, 아랍어, 힌디어 등 5 개 다른 언어와 인위적으로 팽창된 영어 데이터셋으로 확장되었습니다.
• 평가: 모델은 C4 검증 분할에서 비트 - 퍼 - 바이트 (Bits-Per-Byte, BPB) 를 사용하여 평가되었으며, 압축률 전반에 걸쳐 일관성을 유지하기 위해 컨텍스트 길이가 토큰이 아닌 바이트 (예: 8192 바이트) 로 측정되도록 보장했습니다.

분석 접근법:
저자들은 두 단계로 멱법칙 (power laws) 을 적합시켰습니다:

1. 확장 법칙 I: 주어진 계산 예산 ($C$) 과 압축률 ($T$) 에 대해 손실 대 데이터/파라미터의 IsoFLOP 곡선에서 최소값을 찾아 최적의 훈련 데이터 크기 ($B^\star$) 와 모델 크기 ($N^\star$) 를 결정했습니다.
2. 확장 법칙 II: 최적 손실 ($L^\star$) 의 역학을 $C$ 와 $T$ 의 함수로 모델링하여, 특히 최적 압축률의 존재 여부를 조사했습니다.

주요 기여 및 결과

1. 확장 법칙 I: 바이트 대 토큰

본 연구는 계산 최적화 구성에서 훈련 데이터 바이트와 모델 파라미터 사이의 최적 비율이 압축률과 관계없이 일정하게 유지됨을 확립합니다.

• 발견: 영어 데이터의 경우 최적 바이트 - 퍼 - 파라미터 비율 ($\rho^\star$) 은 파라미터당 약 60 바이트에 가깝습니다.
• 함의: 널리 인용되는 '치니칠라 (Chinchilla)' 규칙인 파라미터당 약 20 토큰은 BPE 토크나이저의 특정 압축률 ($T \approx 4.57$) 의 산물입니다. 서로 다른 토크나이저 간 확장 레시피를 일반화할 때, 개발자들은 토큰 - 파라미터 비율이 아닌 훈련 바이트 - 파라미터 비율을 맞춰야 합니다.
• 수학적 형태: $B^\star(C, T) \approx B_0 C^\alpha T^\beta$ 및 $N^\star(C, T) \approx N_0 C^{1-\alpha} T^{1-\beta}$이며, 여기서 $\alpha \approx 0.465$이고 $\beta \approx 0.471$입니다. $\alpha$와 $\beta$가 0.5 에 가까우므로, 비율 $\rho^\star = B^\star/N^\star$는 다양한 $C$와 $T$에 걸쳐 거의 일정하게 유지됩니다.

2. 확장 법칙 II: 최적 압축률

본 논문은 고정된 계산 예산에 대해 손실을 최소화하는 특정 최적 압축률 ($T^\star$) 이 존재함을 발견합니다.

• 비단조성: 손실은 압축에 대해 비단조적입니다. $T^\star$에서 벗어날 때 (너무 낮거나 너무 높은 압축) 어느 방향으로든 손실이 증가합니다.
• 계산 의존성: 최적 압축률은 계산 예산이 증가함에 따라 감소합니다. 예를 들어, $C=10^{20}$ FLOPs 에서 $T^\star \approx 3.69$인 반면, $C=2 \times 10^{21}$ FLOPs 에서 $T^\star \approx 3.33$입니다.
• 서브워드 검증: 이 경향은 서브워드 토큰화 모델에서도 유효합니다. 놀랍게도, BPE 어휘의 90% 를 마스킹한 모델 (더 낮은 유효 압축률) 이 대규모에서 표준 BPE 모델보다 우수한 성능을 보였으며, 이는 매우 큰 모델의 경우 더 낮은 압축이 유익할 수 있음을 시사합니다.

3. 다국어 일반화

이러한 발견은 영어를 넘어 다른 언어로 확장되며, 최적 값은 언어 간 동등성 (다른 언어로 동일한 정보를 표현하는 데 필요한 바이트 길이의 비율) 과 상관관계를 가집니다.

• 언어별 특성: 더 높은 동등성 (바이트당 더 낮은 정보 밀도, 예: 힌디어, 러시아어) 을 가진 언어는 더 높은 최적 압축률과 더 높은 최적 바이트 - 퍼 - 파라미터 비율을 요구합니다.
• 현재 토크나이저: 인기 있는 다국어 토크나이저 (예: Llama 3, Qwen 3) 는 고자원 언어 (영어 등) 를 과도하게 압축하고 저자원 언어 (힌디어 등) 를 불충분하게 압축하는 경향이 있어, 계산된 최적 $T^\star$와 괴리를 보입니다.

4. 추론 트레이드오프

더 낮은 압축률 (훈련에 대한 최적 $T^\star$에 더 가까움) 은 더 나은 성능을 제공하지만, 바이트당 추론 계산 비용을 증가시킵니다. 논문은 트레이드오프를 지적합니다: 더 높은 압축률은 추론 비용을 줄이지만, 훈련 최적 압축률에서 크게 벗어나면 성능이 저하될 수 있습니다.

중요성 및 주장

본 논문은 언어 모델의 계산 효율성에 대한 압축률의 영향을 체계적으로 연구한 첫 번째 연구임을 주장합니다. 그 주요 중요성은 다음과 같습니다:

1. 확장 법칙의 일반화: 데이터를 확장하는 기본 단위로 토큰이 아닌 바이트를 확립함으로써 확장 법칙을 특정 토크나이저에서 분리합니다.
2. 최적 토큰화 전략: "최적" 압축률이 정적이지 않고 훈련 계산 예산과 특정 언어 도메인에 의존함을 입증합니다.
3. 개발자 지침: 모델 개발자에게 계산 최적화 바이트 - 퍼 - 파라미터 비율과 일치하는 토큰화 방식을 선택하고, 특히 표준 서브워드 토크나이저가 최적 압축을 달성하지 못하는 다국어 모델의 경우 언어별 압축률을 고려할 것을 권고합니다.

저자들은 잠재 토큰화 (BLT) 가 이러한 경향을 발견하기 위한 정밀한 제어를 제공하지만, 유도된 확장 법칙이 서브워드 토큰화 모델에서도 일관되게 유효하므로 토큰화 방식 선택을 위한 실행 가능한 지침을 제공하여 계산 효율성을 극대화한다고 결론지었습니다.