기술적 요약: 24 개 유럽 언어에 걸친 토크나이저 세금

문제 제기

토크나이저는 형태론적으로 풍부한 언어를 특히 대상으로 비영어권 자연어 처리 (NLP) 에 숨겨진 경제적 및 기술적 비용을 부과합니다. 이러한 "토크나이저 세금"은 단어당 생성되는 서브워드 토큰 수인 **비옥도 (fertility)**에서 비롯됩니다. 영어 텍스트는 효율적으로 토큰화되지만 (약 1.2 토큰/단어), 복잡한 형태론을 지니거나 사전 학습 데이터에서 소외된 언어는 2.5 배 높은 비용을 incur 할 수 있습니다. 이전 연구들 (Petrov et al., 2023; Ahia et al., 2023) 은 이러한 불평등을 문서화했으나 이질적인 텍스트 소스에 의존하여 콘텐츠 변이에서 토크나이저의 기여도를 분리하기 어려웠습니다. 또한, cognate 슬라브어에 상대적인 구체적인 "우크라이나어 페널티"와 소수 샷 학습 효과의 언어 간 일관성이 통제된 환경에서 정량화되지 않았습니다.

방법론

이 연구는 10 개의 파운데이션 모델과 25 개 유럽 언어에 걸쳐 비옥도와 하향 효과를 측정하기 위해 통제된 언어 간 실험 설계를 사용합니다.

• 모델: AWS Bedrock 을 통해 액세스한 7 개 모델 (Llama 4 Maverick, Llama 3.3 70B, Mistral Large 3, Nemotron Super 3, Nova Pro, Qwen3 32B, Qwen3 235B) 과 공개 토크나이저를 사용하여 로컬에서 측정한 3 개 모델 (GPT-4o, Gemma 2 27B, DeepSeek V3) 을 포함하여 10 개 모델을 평가했습니다.
• 데이터셋:
  • 비옥도 측정: SIB-200 병렬 텍스트 (25 개 EU 언어 + 우크라이나어) 와 우크라이나어 위키백과 (백과사전적 어조). 시스템 프롬프트 오버헤드를 최소화하기 위해 텍스트를 약 6,000 자 블록으로 연결했습니다.
  • 분류: 4 개 슬라브어 (우크라이나어, 폴란드어, 러시아어, 체코어) 에 걸친 SIB-200 주제 분류 (7 개 클래스).
  • 언어 능력: 우크라이나어 문법에 대한 347 개의 객관식 질문으로 구성된 ULP 벤치마크.
• 실험 설계:
  1. 도메인 불변성: 법적, 뉴스, 백과사전적 어조 전반에 걸쳐 비옥도를 측정하여 순위 안정성을 테스트했습니다.
  2. 언어 간 매핑: 25 개 언어의 평균 비옥도를 계산하여 위계 구조를 확립했습니다.
  3. 서브워드 분석: 형태론적 경계 보존을 분석하기 위해 특정 우크라이나어 법적 용어를 분해했습니다.
  4. 소수 샷 평가: SIB-200 에서 제로 샷과 소수 샷 정확도를 비교하여 성능 차이가 언어 의존적인지 모델 고유한지 확인했습니다.
  5. 능력 상관관계: 비옥도율과 ULP 벤치마크의 문법적 정확도 간 상관관계를 분석했습니다.

주요 기여

1. 통제된 언어 간 비옥도 지도: 병렬 텍스트를 사용하여 25 개 유럽 언어에 걸친 토크나이저 비옥도를 최초로 측정하여 콘텐츠 변이에서 토크나이저 행동을 분리했습니다.
2. 도메인 불변성 검증: 법적, 뉴스, 백과사전적 어조 전반에 걸쳐 비옥도 순위가 안정적임을 입증 ($\rho > 0.97$), 단일 측정이 모든 도메인에 대한 비용 예측에 충분함을 시사합니다.
3. 기계적 서브워드 분석: 고비옥도 토크나이저가 형태소를 보존하는 대신 임의의 바이트 수준에서 형태론적 경계를 분할한다는 점을 식별하여 성능 격차를 설명했습니다.
4. 모델 고유 소수 샷 효과: 주어진 모델에 대해 소수 샷 학습 효과 (개선 또는 저하) 가 서로 다른 슬라브어에서 일관되게 나타남을 입증하여, 이 효과가 입력 언어의 속성이 아닌 모델 아키텍처에 의해 주도됨을 나타냈습니다.
5. 우크라이나어 페널티 정량화: 사전 학습 데이터의 소외로 인해 cognate 슬라브어 (폴란드어, 체코어) 대비 우크라이나어의 토큰 비용이 15–18% 더 높다는 점을 구체적으로 정량화했습니다.

결과

1. 토크나이저 세금 위계

비옥도는 유럽 언어 간 2.5 배 범위를 가집니다:

• 가장 효율적: 영어 (1.23 토큰/단어).
• 로망스어군: 1.5–1.7.
• 게르만어군: 1.7–1.9.
• 슬라브어군: 2.2–2.5.
• 우랄/발트어군: 2.7–3.0.
• 가장 비쌈: 그리스어와 몰타어 (~3.1).

우크라이나어 페널티: 우크라이나어는 평균 2.66 토큰/단어로, 폴란드어 (2.25) 와 체코어 (2.28) 보다 15–18% 더 많은 비용을 지불합니다. 이 격차는 유사한 형태론적 복잡성에도 불구하고 지속됩니다. 코퍼스 분석은 주요 코퍼스 (mC4, OSCAR, CulturaX) 에서 우크라이나어가 폴란드어보다 2–6 배 적은 사전 학습 데이터를 가지고 있어 최적화된 서브워드 병합이 적음을 보여줍니다.

2. 모델 변동성과 서브워드 분할

모델 설계는 비옥도에 상당한 영향을 미칩니다. 예를 들어, 그리스어의 경우 비옥도는 Llama 4 Maverick 의 2.29 에서 Qwen3 의 5.73 까지 다양합니다.

• 효율적인 토크나이저 (예: Gemma 2, Llama 3.3): 형태소 경계를 보존합니다 (예: вiдповiдальнiсть를 3–4 개 토큰으로 분할).
• 비효율적인 토크나이저 (예: Qwen3, DeepSeek): 유사하거나 더 큰 어휘 크기를 지님에도 불구하고 바이트 경계에서 단어를 분할하여 (동일한 단어를 8–9 개 토큰으로 분할) 비효율적입니다.

3. 도메인 불변성

비옥도 순위는 뉴스, 법적, 백과사전 텍스트 전반에 걸쳐 완벽하게 보존됩니다 ($\rho = 1.0$). 절대적인 토큰 수는 도메인에 따라 약간씩 변합니다 (어휘 다양성으로 인해 백과사전 텍스트가 일반적으로 가장 비쌈). 모델의 상대적 비용 순서는 일정하게 유지됩니다.

4. 언어 간 소수 샷 효과

소수 샷 프롬프팅의 영향은 모델 고유적이며 언어 의존적이지 않습니다:

• Nemotron Super 3: 네 개 슬라브어 전반에서 성능이 향상되었습니다 (평균 +10.5 pp).
• Llama 4 Maverick: 네 개 슬라브어 전반에서 성능이 저하되었습니다 (평균 -8.4 pp), 지배적인 카테고리 (예: 과학, 정치) 로의 심각한 클래스 붕괴가 발생했습니다.
• 키릴 문자와 라틴 문자 전반에 걸친 이러한 일관성은 이 효과가 입력 언어의 형태론이 아닌 모델의 주의 메커니즘이 시연 콘텐츠를 처리하는 방식에 의해 결정됨을 시사합니다.

5. 언어 능력

낮은 비옥도와 높은 문법적 정확도 (ULP 벤치마크) 간의 상관관계는 약하며 ($\rho = -0.43$), 통계적으로 유의하지 않습니다 ($p=0.34$). Llama 4 Maverick (최저 비옥도) 이 최고 정확도 (57.3%) 를 달성했지만, Nemotron (중간 비옥도, 최저 정확도) 과 같은 이상치는 토크나이징 효율성 단독보다는 아키텍처와 학습 데이터 구성이 능력의 더 강력한 예측 변수임을 나타냅니다.

중요성과 주장

이 논문은 유럽 전반의 "토크나이저 세금"에 대한 최초의 통제된 도메인 불변 지도를 제공한다고 주장합니다. 주요 중요성은 다음과 같습니다:

1. 경제적 영향: 토크나이저 설계로 인해 우크라이나어 콘텐츠 처리 비용이 영어보다 2.2 배 더 많이 든다는 점을 확립하여, API 호출 전반에 걸쳐 비용이 누적됨을 보여줍니다.
2. 방법론적 전환: 비옥도가 토크나이저 어휘의 안정적 속성임을 입증하여, 실무자가 한 번 비용을 측정하고 모든 응용 도메인에 걸쳐 이를 예측할 수 있게 합니다.
3. 데이터 표현: "우크라이나어 페널티"가 단순히 언어적 특징이 아니라 사전 학습 코퍼스에서의 소외로 인한 직접적인 결과이며, 이로 인해 비최적의 서브워드 어휘가 생성됨을 강조합니다.
4. 실용적 지침: 형태론적으로 풍부한 언어의 경우 소수 샷 효과가 예측 불가능하고 모델 특정적이므로 제로 샷 접근법을 우선시하고 대상 언어의 특정 토큰 세금을 예산에 반영할 것을 권장합니다.

저자들은 비용 인식 모델 선택 및 라우팅 정책을 가능하게 하기 위해 모든 비옥도 측정치와 서브워드 분해 데이터를 공개 데이터셋으로 공개합니다.