기술 요약: LiteToken: BPE 토크나이저에서 중간 병합 잔여물 제거하기

1. 문제 정의

대규모 언어 모델(LLM)의 파라미터와 학습 데이터는 급격히 성장해 왔으나, 널리 사용되는 바이트 쌍 인코딩(Byte Pair Encoding, BPE)인 토크나이저의 설계는 상대적으로 적은 주목을 받아왔다. 본 논문은 표준 BPE 어휘집에서 발생하는 "중간 병합 잔여물(intermediate merge residues)"(또는 "스캐폴드 토큰(scaffold tokens)"으로도 불림)이라는 특정 비효율성을 식별한다.

BPE 학습 과정 동안, 알고리즘은 가장 빈번하게 등장하는 인접한 토큰 쌍을 반복적으로 병합한다. 이 과정에서 생성된 많은 토کن은 생성되는 순간에는 매우 빈번하게 나타나지만, 이후 추가적인 병합에 의해 흡수된다. 결과적으로, 이러한 토큰들은 최종 토큰화된 코퍼스(corpus)에서는 드물게 나타나지만, 여전히 어휘집(vocabulary)에 남아 있게 된다. 저자들은 이러한 잔여물이 유발하는 세 가지 주요 문제를 다음과 같이 식별하였다:

1. 토큰 낭비(Token Waste): 이러한 토큰들은 효과적으로 활용되지 못하면서도 토큰 임베딩과 디코딩 레이어의 용량을 차지하며, 이는 낭비되는 파라미터와 FLOPs를 초래한다(8B 이하 파라미터 모델의 경우 약 1~3%로 추정).
2. 성능 저하(Performance Degradation): 이 토큰들은 최종 코퍼스에서 드물게 나타나기 때문에 충분히 학습되지 않는다. 모델은 이러한 토큰을 트리거하는 입력을 처리할 때 더 높은 에러율을 보이며, 특히 이례적이거나 분포 외(out-of-distribution) 시나리오에서 그러하다.
3. 취약성(Vulnerability): 낮은 빈도와 노이즈가 섞인 텍스트 패턴과의 연관성으로 인해, 이러한 토큰들은 적대적 공격(adversarial attacks)의 벡터가 되며 오타나 탈옥 스타일의 섭동(perturbations)에 대한 강건성을 저하시킨다.

2. 방법론: LiteToken

저자들은 기존 BPE 토크나이저를 재학습시키지 않고도 중간 병합 잔여물을 식별하고 제거하도록 설계된 경량화된 플러그 앤 플레이(plug-and-play) 알고리즘인 LiteToken을 제안한다. 이 과정은 세 가지 주요 단계로 구성된다:

A. 식별 알고리즘

이 방법은 코퍼스 기반의 통계적 분석을 사용하여 실제 언어학적 의미가 있는 저빈도 토큰(예: 어근, 접두사, 접미사 등)과 실제 잔여물을 구분한다. 이를 위해 두 가지 지표를 사용한다:

1. 최종/중간(Final/Intermediate, FI) 비율: 이는 병합 과정 중 발생한 총 횟수($F_1 + F_2$) 대비 최종 코퍼스에서의 발생 횟수($F_1$)를 측정한다. 낮은 비율은 해당 토큰이 더 큰 단위로 대부분 병합되었음을 나타낸다.
   $$R = \frac{F_1}{F_1 + F_2}$$
2. 이웃 엔트로피 필터링(Neighbor Entropy Filtering): 유효한 형태소 단위(예: "rewrite"의 "re" 또는 독립 단어로서의 "import")를 제거하는 것을 방지하기 위해, 알고리즘은 좌우 이웃 토큰의 엔트로피를 계산한다. 중간 잔여물은 일반적으로 고정되고 낮은 엔트로피를 가진 문맥을 갖는 반면(예: "includ"는 거의 항상 "e", "ing" 등으로 뒤따름), 유효한 어근이나 독립 단어는 더 높은 이웃 다양성을 보인다.
   $$S(t) = \min \{S_{left}(t), S_{right}(t)\}$$
   토큰의 FI 비율이 임계값($r$) 미만이고 엔트로피 점수가 임계값($s$) 미만인 경우 잔여물로 분류된다.

B. 제거 및 재병합(Removal and Re-merging)

잔여물이 식별되면, 분할(Split) 및 재병합(Re-Merge) 과정을 통해 토크나이저를 수정한다:

• 분할(Split): 잔여물 집합에 속하는 토큰이 발견되면, 알고리즘은 해당 토큰을 생성했던 병합 연산을 재귀적으로 역전시켜, 오직 비잔여(또는 기본) 토큰만 남을 때까지 분해한다. 이는 미등록 토큰(unknown tokens)이 생성되지 않도록 보장한다.
• 재병합(Re-Merge): 시퀀스 파편화를 방지하기 위해, 알고리즘은 "언마스크(unmasked)"된 학습된 병합을 사용하여 재병합 단계를 적용한다. 이는 분할된 토큰들을 더 압축적이고 언어학적으로 정렬된 단위(예: 분할된 부분들로부터 "corruption"을 다시 형성)로 재결합하되, 제거된 잔여 토큰은 다시 도입하지 않는다.

C. 출력 레이어 마스킹(Output Layer Masking)

자기회귀적 디코딩 중에 모델이 잔여 토큰을 생성하는 것을 방지하기 위해, 출력 투영 행렬($O \in \mathbb{R}^{d_h \times N_{vocab}}$)의 해당 열을 마스킹한다. 저자들은 KV 캐시와의 호환성을 유지하기 위해 생성 시에는 재병합을 적용하지 않는다고 언급했다.

D. Tiktoken과의 호환성

이 방법은 엄격한 병합 트리(merge tree)가 없는 tiktoken(Llama-3, GPT, Gemma 제품군에서 사용됨)에 맞게 조정되었다. 이러한 토크나이저의 경우, 알고리즘은 특정 토큰을 생성하는 데 허용된 모든 병합 경로를 고려하고, 인코딩 중에 사용된 실제 병합 테이블을 기반으로 빈도 통계를 수행한다.

3. 주요 기여

• 체계적 특성화: 본 논문은 널리 사용되는 LLM 토크나이저(Qwen, DeepSeek, Llama-3, GPT 제품군 포함)의 토큰 중 약 5%에서 10%가 중간 병합 잔여물임을 밝히는 경험적 분석을 제공한다.
• LiteToken 알고리즘: 토크나이저를 재학습시키지 않고도 이러한 잔여물을 제거하여 어휘 크기와 모델 파라미터를 줄이면서 토큰 효율성을 개선하는 새로운 학습 불필요(training-free) 방법을 제시한다.
• 플러그 앤 플레이 배포: 이 접근 방식은 사전 학습된 모델이 재학습 없이 즉시 수정된 토크나이저를 사용할 수 있게 하여 전반적인 성능을 보존한다.

4. 실험 결과

저자들은 C4-en, RedPajama, SQuAD 데이터셋을 사용하여 0.6B에서 70B 파라미터에 이르는 모델(Qwen, Llama-3, DeepSeek 등)에 대해 LiteToken을 평가하였다.

• 파라미터 및 연산 감소: 잔여물을 제거하면 어휘 크기가 5~10% 감소하며, 이는 임베딩 및 출력 레이어 파라미터의 비례적인 감소(0.6B 모델의 경우 최대 ~2.6%)로 이어진다.
• 언어 모델링 성능: 수정된 토크나이저("Lite")는 퍼플렉시티(PPL)에 미치는 영향이 미미했다. 예를 들어, C4-en에서 Qwen-3-8B와 Llama-3.1-70B의 Lite 토크나이저와 원본 토크나이저 간의 PPL 차이는 0.5 미만이었다.
• 강건성(Robustness): 가장 유의미한 이득은 강건성에서 관찰되었다. 섭동 테스트(오타 및 적대적 토큰 경계) 하에서, LiteToken 모델은 원본 모델에 비해 에러 수정 및 질의응답에서 더 높은 정확도를 보였다. 예를 들어, 섭동 상황에서 Qwen-3-8B의 성능 저하는 1.78%에서 0.82%로 감소했다.
• 일반 성능: SQuAD와 같은 표준 벤치마크에서 잔여물 제거는 F1 점수를 무시할 만한 수준 내에서 유지하였다(예: Qwen-3-8B의 경우 0.833 대 0.829). 이는 프루닝(pruning)이 일반적인 NLP 능력에 해를 끼치지 않음을 확인시켜 준다.

5. 의의 및 주장

본 논문은 토크나이저 설계가 LLM 아키텍처의 핵심적이면서도 종종 간과되는 구성 요소라고 주장한다. 저자들은 다음과 같은 점을 입증하였다:

1. 현대 BPE 토크이저의 상당 부분은 중복되어 있다.
2. 이러한 잔여물을 제거하면 재학습 비용 없이 모델의 강건성을 오타나 적대적 섭동에 대해 향상시킬 수 있다.
3. LiteToken의 "플러그 앤 플레이" 특성은 메모리 절약 및 추론 효율성 측면에서 즉각적인 배포 이점을 제공한다.

저자들은 현재의 연구가 영어 및 라틴 스크립트에 집중되어 있지만, 중간 병합 잔여물 현상은 다른 언어에서도 널리 나타날 것으로 보이며, 이는 다양한 언어 구조에 걸친 토크나이저 최적화에 대한 추가 연구의 필요성을 시사한다고 결론지었다. 또한, 자신들의 작업이 토크나이징 레이어에 초점을 맞춘 겸손한 범위의 연구임을 강조하며, 모델 재학습과의 상호작용은 향후 연구 과제로 남겨두었다.