Equity with Efficiency: An Empirical Study of Tokenizers for Multilingual Large Language Models

기술 요약: 효율성을 갖춘 형평성: 다국어 대규모 언어 모델을 위한 토크나이저에 관한 실증 연구

문제 제기
다국어 대규모 언어 모델(LLM)은 이산적 텍스트를 연속적인 신경 표현으로 변환하기 위해 서브워드(subword) 토크니제이션에 의존한다. 그러나 최첨단 모델들은 주로 바이트 수준의 바이트 쌍 인코딩(Byte-level BPE)을 활용하는데, 이는 구조적으로 고자원 언어와 라틴 문자에 유리한 전략이다. 이러한 편향은 라틴 문자는 단일 바이트로 인코딩되는 반면, 비라틴 문자는 여러 바이트를 필요로 하기 때문에 발생한다. 결과적으로 저자원 언어, 특히 동남아시아(SEA) 사용자들에게 이러한 불균형은 추론 비용을 부풀리고, 긴 문맥 추론 능력을 저하시키며, 교차 언어적 역량 격차를 심화시킨다. Parity-aware BPE, 형태소 기반 바이트 인코딩(MYTE), 바이트 잠재 트랜스포머(BLT)와 같은 여러 형평성 있는 토크니제이션 방법들이 제안되었으나, 효율성과 형평성의 균형을 맞추는 상대적 효능을 결정하기 위해 통일된 실험 조건 하에서 체계적으로 비교된 적은 없다.

방법론
본 연구는 영어, 미얀마어, 중국어, 인도네시아어, 크메르어, 라오어, 말레이어, 타갈로그어, 타밀어, 태국어, 베트남어 등 11개 동남아시아 언어를 아우르는 통합 벤치마크를 통해 형평성 있는 토크나이저들을 최초로 체계적으로 비교한다.

• 평가 대상 토크나이저: 본 연구는 기본 바이트 수준 BPE와 세 가지 대안적 접근 방식을 비교한다.
  • Parity-aware BPE (PA BPE): 언어 간 최악의 압축률을 개선하기 위해 병합 빈도를 최적화한다.
  • Morphology-Driven Byte Encoding (MYTE): 문자 기반 바이트 코드를 형태소 기반 코드로 대체하여 균형 잡힌 형태론적 피복을 달로 달성한다.
  • Byte Latent Transformer (BLT): 고정된 어휘집 없이 엔트로피 모델을 사용하여 동적 바이트 패치 위에서 직접 작동한다.
• 실험 설계: 공정성과 재현성을 보장하기 위해 모든 토크나이저는 동일한 데이터셋(mC4에서 추출한 100만 개의 문장)으로 학습되었다. 이후, 이 토크나이저들을 사용하여 제어된 데이터셋(FineWeb2에서 추출한 1억 개의 문장)을 바탕으로 1.5B 파라미터 디코더 전용 언어 모델을 처음부터 학습시켰다. 어휘 크기는 가능한 경우 일치시켰으며(45k, 90k, 135k 토큰), 계산 비용은 8× NVIDIA H200 상당치로 정규화하였다.
• 평가 지표:
  • 내재적 지표: 토크나이저 패리티(영어 대비 문장당 토큰 비율), 지니 계수(토크나이징 비용의 분포), 압축률.
  • 외재적 지표: 영어 분류 작업(PIQA, HellaSwag, Arc-C), 다국어 분류 작업(XNLI, XCOPA, XStoryCloze), 그리고 10개의 비영어 동남아시아 언어에 대한 기계 번역(BLEU 및 chrF 점수).

주요 결과

• 효율성 대 형평성 트레이드오프: Parity-aware BPE는 효율성-형평성 공간의 파레토 프런티어(Pareto frontier)에 위치한다. 이는 가장 낮은 지니 계수(높은 형평성을 나타냄)를 달성하는 동시에 표준 바이트 수준 BPE와 대등한 경쟁력 있는 압축률을 유지한다.
• 다운스트림 성능:
  • 영어 작업: 표준 바이트 수준 BPE가 영어 분류 벤치마크에서 가장 높은 점수를 기록했으며, 대부분의 경우 다른 대안들보다 통계적으로 유의미한 우위를 보였다.
  • 다국어 작업: 성능은 작업에 따라 달랐다. MYTE는 형태론적으로 풍부한 표현을 활용하여 의미론적 추론에서 다른 토크나이저들을 크게 앞질렀다(XNLI). 그러나 XCOPA 및 XStoryCloze에서는 바이트 수준 BPE가 가장 좋은 성능을 보였는데, 이는 BPE의 효율성이 인과 및 서사 추론을 요구하는 작업에 유리함을 시사한다.
  • 기계 번역: MYTE는 양방향 번역(EN→XX 및 XX→EN) 모두에서 가장 높은 BLEU 점수를 기록했으며, 이는 형태론적으로 복잡한 대상 형태의 세밀한 생성을 통해 이득을 얻은 결과이다.
• BLT 성능: 구조적 참신함에도 불구하고, BLT는 다운스트림 작업에서 저조한 성적을 보였다. 저자들은 이를 엔트로피 모델이 제한된 저자원 학습 데이터의 제약 조건과 정렬되지 않아 낮은 형평성과 높은 토큰 패리티를 초래했기 때문이라고 분석했다.
• 스케일링 효과: 어휘 크기를 늘리는 것은 바이트 수준 BPE의 효율성을 향상시켰으나, Parity-aware BPE의 경우에는 영어가 다른 언어보다 더 많은 병합을 획득하게 함으로써 불평등을 심화시켰다. MYTE는 테스트된 범위 내에서 어휘 스케일링에 비교적 둔감한 모습을 보였다.

의의 및 주장
본 논문은 교차 언어적 공정성과 토크나이징 효율성이 근본적으로 상충하는 문제가 아님을 주장한다. 연구 결과는 다음과 같이 형평성 있는 다국어 모델 설계를 위한 실질적인 지침을 제공한다:

1. Parity-aware BPE는 효율성-형평성 공간에서의 유리한 위치와 강력한 다운스트림 성능 덕분에, 병렬 데이터 학습이 가능하다는 전제하에 동남아시아 언어를 목표로 하는 다국어 모델의 책임감 있는 기본 모델로 권장된다.
2. MYTE는 형태론과 번역 품질이 중요한 경우 선호되나, 더 높은 학습 오버헤드와 낮은 압축 효율을 감당할 수 있는 계산 예산이 뒷받침되어야 한다.
3. 결정 요인으로서의 토크나이저 선택: 본 연구는 토크나이저 선택이 토크나이저 패리티에 영향을 미치는 주요 요인임을 입증하며, 이는 언어 간 추론 비용의 변동성을 설명한다. 이러한 선택은 토큰 가격 기반의 API가 편향된 토크나이저를 사용할 때 스크립트 유형에 따라 불평등한 비용을 부과하게 함으로써, 저자원 언어 공동체의 경제적 접근성에 직접적인 영향을 미친다.

저자들은 형평성 있는 토크나이징이 동남아시아의 수억 명의 언어 사용자들에게 직접적이고 정량화 가능한 결과를 초래한다고 결론지으며, 토크나이징 편향을 해결하는 것이 더 포용적인 AI 시스템을 향한 실행 가능한 경로임을 강조한다.