기술 요약: 언어 인코딩의 속도-효용 경계 (Rate–Utility Frontiers)

문제 정의

언어 모델은 서브워드 토큰, 로우 바이트(raw bytes), 또는 렌더링된 픽셀과 같은 다양한 인코딩을 통해 텍스트를 처리합니다. 선행 연구들은 토크나이저가 다국어 간 불균형(예: 언어별로 상이한 "fertility" 또는 시퀀스 길이)을 초래한다는 점을 밝혀냈으나, 이러한 비교는 세 가지 별개의 요인을 혼동하곤 합니다: 소스 속도(입력 위치의 수), 다운스트림 용량(인코딩 후 사용 가능한 잠재 차원), 그리고 보존된 태스크 관련 정보입니다.

기존 연구들은 고정된 시퀀스 길이나 계산 예산을 사용하여 인코딩을 비교하는 경우가 많습니다. 그러나 그림 1에서 보여주듯, 고정된 입력 길이는 인코딩과 언어에 따라 서로 다른 양의 언어적 콘텐츠를 노출합니다 (예: 중국어는 동일한 문장에 대해 영어보다 더 많은 토큰을 필요로 하지만 더 적은 바이트를 사용함). 결과적으로, 관찰된 성능 차이는 인코딩 자체의 내재적 효용보다는 모델에 얼마나 많은 콘텐츠가 보여졌는지, 혹은 얼마나 많은 용량이 할당되었는지를 반영할 수 있습니다. 본 연구가 다루는 핵심 질문은 다음과 같습니다: 콘텐츠와 다운스트림 용량이 엄격하게 통제된 상태에서 압축 시 어떤 인코딩이 유용한 태스크 관련 정보를 가장 잘 보존하는가?

방법론

저자들은 소스 속도와 잠재 용량을 분리하기 위해 통제된 속도-효용 경계(rate–utility frontier) 분석을 제안합니다.

1. 통제된 콘텐츠 및 언어 체제

• 데이터셋: 본 연구는 13개 언어와 5개 스크립트로 구성된 인간 번역 병렬 데이터셋인 SIB-200을 사용합니다. 각 문장은 동일한 토픽 레이블과 함께 모든 언어에 등장하여 콘텐츠가 일정하게 유지되도록 합니다.
• 체제(Regimes): 변수를 격리하기 위해 다섯 가지 특정 체제를 테스트합니다:
  • 단일 언어: 영어(라틴 스크립트) 및 중국어(한자 스크립트).
  • 동일 스크립트 다국어: Latin-5 (영어, 스페인어, 터키어, 인도네시아어, 스와힐리어) 및 Cyrillic-5 (러시아어, 불가리아어, 우크라이나어, 세르비아어, 카자흐스`)
  • 다중 스크립트: 다섯 가지 서로 다른 스크립트를 가진 다섯 가지 언어 (영어, 러시아어, 아랍어, 힌디어, 중국어).
• 토크나이저 학습: 사전 학습된 토크나이저의 편향을 피하기 위해, 저자들은 각 특정 언어 체제에 대해 매칭된 병렬 성경 번역본을 사용하여 SentencePiece 토크나이저(Unigram, 어휘 크기 32k)를 재학습시켰습니다.

2. 인코딩

동일한 콘텐츠에 대해 세 가지 인코딩을 비교합니다:

• Tokens (토큰): SentencePiece를 통한 학습된 서브워드 분절.
• Bytes (바이트): 로우 UTF-8 바이트 시퀀스 (256의 고정 알파벳).
• Pixels (픽셀): 텍6 $\times$ 32 픽셀 패치로 나뉜 텍스트 렌더링 이미지 (16pt Noto Sans, 그레이스케일).

3. 공유 병목 구조 (Shared Bottleneck Architecture)

다운스트림 용량을 제어하기 위해, 모든 인코딩은 공유된 Transformer 기반 인코더와 그 뒤의 병목 레이어를 통과합니다.

• 아키텍처: 은닉 크기 256의 6계층 pre-norm Transformer.
• 병목(Bottleneck): 단일 학습된 쿼리(Perceiver 스타일)가 인코더 출력을 어텐션하여 하나의 벡터 $D$로 압축합니다.
• 용량 스윕(Capacity Sweep): 병목 너비 $D$를 15개 값($256, 128, \dots, 1$)에 걸쳐 변화시킵니다. 이를 통해 효용 경계, 즉 용량이 감소함에 따라 성능이 어떻게 저하되는지 추적할 수 있습니다.

4. 평가 유틸리티

세 가지 별도의 태스크가 압축된 표현의 다양한 측면을 조사합니다:

1. 형태 보존 (Form Preservation): 문장의 표면 형태를 잠재 공간으로부터 복구할 수 있는지 측정하기 위한 자기 회귀(Self-retrieval, InfoNCE 손실) 측정.
2. 교차 언어 정렬 (Cross-Lingual Alignment): 동일한 문장의 번역본들이 표현 공간 내에서 가깝게 유지되는지 측정하기 위한 교차 언어 검색 (multi-positive InfoNCE).
3. 토픽 분류 (Topic Classification): 다운스트림 예측을 위한 선형 분류 헤드를 사용하여 의미론적 토픽 정보가 보존되는지 측정.

주요 결과

1. 소스 속도 격차

소스 속도는 인코딩의 내재적 효율성과 무관하게 언어와 스크립트에 따라 크게 달라집니다.

• Tokens: 중국어가 가장 비싸며 (영어의 1.71배), 영어가 가장 저렴합니다.
• Bytes: 중국어가 영어보다 저렴하지만 (0.94배), 힌디어가 가장 비쌉니다 (2.59배).
• Pixels: 중국어, 아랍어, 힌디어가 가장 저렴하며 (영어의 0.72–0.83배), 라틴 스크립트가 더 비쌉니다.
• 결론: "가장 저렴한" 인코딩은 언어와 스크립트의 조합에 따라 전적으로 달라집니다. 보편적으로 더 짧은 단일 인코딩은 존재하지 않습니다.

2. 효용 경계 (Utility Frontiers)

모든 태스크와 용량 체제에서 압도적인 우위를 점하는 인코딩은 없습니다. 최적의 선택은 특정 유틸리티와 병목 너비($D$)에 따라 달라집け습니다.

• 형태 보존:

  • Pixels는 용량이 충분할 때 ($D \ge 48$) 지배적이며, 거의 완벽한 Recall@1을 달s성합니다. 이들은 표면 세부 사항(글리프, 간격)을 가장 효과적으로 보존합니다.
  • Bytes는 동일 스크립트 체제에서 매우 좁은 병목 ($D < 10$) 구간에서 픽셀과 토큰을 앞지릅니다. 이는 정확한 UTF-8 시퀀스를 유지하여 성능 저하가 느리기 때문입니다.
  • Tokens는 $D$가 감소함에 따라 가장 빠르게 붕괴하며, 좁은 잠재 공간에서 특정 어휘 항목을 보존하는 데 실패합니다.

• 교차 언어 정렬:

  • Bytes는 모든 너비와 체제에서 토큰과 픽셀을 능가하며, 번역본을 정렬하는 데 가장 견고한 인코딩입니다.
  • Pixels는 특히 다중 스크립트 설정에서 성능이 저조합니다. 시각적 유사성이 서로 다른 스크립트 간의 의미적 동등성과 상관관계가 없기 때문입니다.
  • Tokens는 바이트와 픽셀 사이의 중간 성능을 보입니다.
  • 통찰: 바이트 수준의 매칭은 동일 스크립트 언어(예: 러시아어-우크라이나어)에서의 문자 중첩을 활용하지만, 이 이점은 다중 스크립트 설정에서는 감소합니다.

• 토픽 분류:

  • Tokens는 이 태스크에서 지배적이며, 낮은 $D$ (최저 8까지)에서도 높은 Macro-F1 점수를 유지합니다. 이들의 밀도 높고 의미 있는 단위는 거친 의미 결정에 효율적입니다.
  • Bytes는 중간 정도의 성능을 보이지만, 문자를 단어로 재구성하기 위해 더 많은 용량이 필요합니다.
  • Pixels는 일반적으로 약하며 무작위 확률에 가까운 성능을 보이지만, 중국어의 경우 예외입니다. 중국어에서 픽셀은 상당한 성능 향상(0.36 Macro-F1)을 보이는데, 이는 로그 그래픽 문자가 의미를 담는 단위이므로 시각적 패치가 직접 의미 단위를 인코딩할 수 있기 때문입니다.

3. 계산 비용

• 훈련 FLOPs: 바이트가 일반적으로 가장 훈련 비용이 많이 듭니다 (긴 시퀀스 길이 때문). 반면 픽셀이 가장 저렴합니다.
• 수렴 (Convergence): 토큰 모델은 형태 보존에서 가장 빠르게 수렴하며, 바이트 모델은 교차 언어 검색에서 가장 빠르게 수렴합니다.
• 트레이드오프: 동일 스크립트 체제의 교차 언어 검색을 위해 토큰 대비 바이트를 사용하는 것은 1.4–1.6$\times$의 FLOPs 비용만 추가하면 됩니다. 그러나 다중 스크립트 체제에서는 성능 이득이 미미한 반면 (0.01 Recall@1), 비용은 4.2$\times$로 급증합니다.

의의 및 주장

본 논문은 텍스트 인코딩의 선택이 토큰, 바이트, 또는 픽셀에 대한 고정된 선호도가 아니라, 다음 요소들에 의존하는 속도-효용 트레이드오프라고 주장합니다:

1. 태스크: 표면 태스크는 픽셀을 선호하고, 의미 정렬은 바이트를 선호하며, 토픽 예측은 토큰을 선호합니다.
2. 언어 구성: 스크립트의 다양성(예: 다중 스크립트 vs 동일 스크립트)은 어떤 인코딩이 유용한 정보를 보존할지를 극적으로 변화시킵니다.
3. 용량 체제: 짧은 입력은 유용한 의미를 버릴 수 있는 반면, 긴 입력은 잘 압축되는 구조를 보존할 수 있습니다.

핵심 기여:

• 통제된 비교: 언어적 콘텐츠와 다운스트림 용량을 일정하게 유지함으로써 인코딩의 효용을 격리하는 방법론을 도입했습니다.
• 양의 분리: 소스 속도, 잠재 용량, 그리고 보존된 정보를 구분하여, 소스 속도 그 자체만으로는 효용을 예측할 수 없음을 입증했습니다.
• 경험적 경계: "저렴한" 인코딩(시퀀스 길이 측면에서)이 반드시 "더 나은" 것은 아니며, 최적의 인코딩은 정보 병목과 태스크 요구 사항에 따라 변화한다는 경험적 증거를 제공했습니다.

저자들은 결론적으로, 입력 인코딩은 정적인 전처리 단계로 취급되기보다는 모델 아키텍처 및 훈련 목적 함수와 함께 선택되어야 하며, 그 효과는 최적화하고자 하는 특정 유틸리티와 가용 시스템 용량에 따라 달라진다고 강조합니다.