1. 문제 정의 (Problem)

현대 대규모 언어 모델 (LLM) 은 입력과 출력을 인코딩하기 위해 고정된 크기의 어휘 (Vocabulary) 를 사용하는 서브워드 (Subword) 토크나이저를 사용합니다. 그러나 데이터 기반 어휘 선택 방식 (BPE, Unigram 등) 은 훈련 데이터의 편향을 반영하여, 특히 비로마자 (Non-Latin) 문자를 사용하는 언어에서 심각한 '토큰 과분할 (Token Over-fragmentation)' 현상을 초래합니다.

• 현상: 영어와 유사한 길이의 텍스트라도 비로마자 언어 (예: 오디아어, 미얀마어 등) 는 영어보다 토큰 수를 수배 더 필요로 합니다.
• 영향: 이는 해당 언어 사용자에게 API 비용 증가, 추론 지연 (Latency) 상승, 그리고 하류 작업 (Downstream tasks) 성능 저하로 이어집니다.
• 기존 접근법의 한계: 기존 해결책인 '어휘 확장 (Vocabulary Expansion)'은 주로 빈도 기반 (Frequency-based) 방법 (예: BPE) 으로 새로운 어휘 항목을 선택하고, 단순한 휴리스틱으로 임베딩을 초기화합니다. 그러나 이러한 방식은 최적의 성능 - 효율성 균형을 이루지 못합니다.

2. 방법론 (Methodology)

이 논문은 해석 가능성 (Interpretability) 기반의 어휘 확장 방식을 제안하며, 두 가지 핵심 단계를 재검토합니다.

A. 해석 가능성 기반 항목 선택 (Stage 1: Item Selection)

• 기존 방식: 훈련 데이터에서 빈도가 높은 단어를 선택 (BPE 등).
• 제안 방식 (Tokens2Words 확장): 모델의 내부 활성화 (Activations) 를 분석하여, 모델이 이미 '내부 어휘 (Inner Lexicon)'로 인식하고 있는 단어를 찾습니다.
  • Detokenization 현상 활용: 모델이 여러 개의 서브워드 토큰을 조합하여 전체 단어의 의미를 재구성하는 현상을 감지합니다.
  • Patchscopes 프레임워크: 특정 단어가 모델의 은닉 층 (Hidden layers) 에서 성공적으로 '디토크나이징 (detokenized)'되어 전체 단어로 인식되는지 확인합니다.

B. 해석 가능성 기반 임베딩 초기화 (Stage 2: Embedding Initialization)

• 기존 방식: 무작위 초기화, 구성 서브워드 임베딩 평균 (FVT), 또는 외부 어휘 공간 기반 (FOCUS) 초기화.
• 제안 방식: 디토크나이징이 성공적으로 일어난 층 (Layer) 에서의 **은닉 상태 (Hidden States)**를 활용하여 새로운 어휘 항목의 입력/출력 임베딩을 초기화합니다.
  • 학습된 선형 변환 (Orthogonal Procrustes transformation) 을 통해 기존 어휘의 임베딩 공간에 새로운 항목을 매핑합니다.

C. FragMend: 서브워드 디토크나이징 활용

기존 Tokens2Words 방법은 '전체 단어 (Full Word)'만 후보로 삼아 확장 효율의 상한선이 존재한다는 한계가 있었습니다. 이를 극복하기 위해 FragMend를 제안합니다.

• 서브워드 디토크나이징 (Subword Detokenization): 모델이 전체 단어를 인식하기 전에, 접두사/접미사 등 서브워드 수준에서도 점진적으로 의미를 통합하는 현상을 발견했습니다.
• 확장 전략: 전체 단어뿐만 아니라 훈련 코퍼스에서 추출된 **서브워드 접사 (Affixes)**를 후보 어휘로 추가합니다.
• 축소 전략 (Reduction Strategy): 하나의 서브워드가 여러 단어에서 다른 활성화 패턴으로 나타날 수 있으므로, 이를 하나의 임베딩으로 통합하기 위해 (예: 가장 일찍 성공한 층의 활성화 선택, 평균화 등) 전략을 적용합니다.

3. 주요 기여 (Key Contributions)

1. 빈도 기반 휴리스틱의 비판: 어휘 확장 시 항목 선택에 빈도 기반 방법이 아닌 해석 가능성 기반 방법이 성능 - 효율성 트레이드오프 (Pareto frontier) 에서 훨씬 우월함을 증명했습니다.
2. 임베딩 초기화 개선: 해석 가능성 기반 초기화 (Tokens2Words) 가 비로마자 언어, 특히 저자원 언어에서 기존 휴리스틱 방법 (FVT, Random 등) 보다 훨씬 우수한 성능을 보임을 입증했습니다.
3. 서브워드 디토크나이징 현상 발견: LLM 이 전체 단어를 복구하기 전에 서브워드 단계를 점진적으로 통합한다는 사실을 발견하고, 이를 활용한 FragMend를 제안했습니다.
4. FragMend 제안: 서브워드 디토크나이징을 활용하여 소량의 훈련 데이터 (1,000 시퀀스) 로도 기존 방법보다 2~3 배 더 많은 어휘 항목을 추가하고, 최대 3 배의 토큰 효율성 향상을 달성했습니다.

4. 실험 결과 (Results)

• 모델: Qwen3-30B-A3B, Qwen3.5 시리즈, TinyAya-Global 등을 사용.
• 언어: 영어, 힌디어, 오디아어, 미얀마어 등 14 개 언어 (로마자/비로마자, 고자원/저자원).
• 성능:
  • 효율성: FragMend 는 비로마자 저자원 언어 (예: 오디아어, 미얀마어) 에서 토큰 수를 최대 60% 이상 감소시켰습니다.
  • 정확도: SIB200 (주제 분류) 및 Belebele (독해) 벤치마크에서 성능 저하가 거의 없거나 오히려 향상되는 결과를 보였습니다. 특히 FragMend 는 Tokens2Words 의 효율성 한계를 뛰어넘으며, 성능은 유지하면서 토큰 효율을 극대화했습니다.
  • 모델 규모: 모델 크기가 커질수록 (0.8B → 9B) 해석 가능성 기반 디토크나이징의 성공률과 토큰 감소 효과가 증가했습니다.

5. 의의 및 결론 (Significance)

• 실용적 가치: 이 방법은 모델을 처음부터 재학습 (Pre-training) 하지 않고도, 소량의 비레이블 데이터와 몇 시간 만에 어휘를 확장할 수 있어 비용 효율적입니다.
• 형평성: 비로마자 언어 사용자에게 부과되던 '토큰 프리미엄 (Token Premium)'을 획기적으로 줄여, LLM 접근성의 형평성을 높입니다.
• 이론적 통찰: LLM 이 명시적인 어휘보다 더 풍부한 내부 어휘를 가지고 있으며, 서브워드 단계를 거치며 의미를 구성한다는 점을 규명하여 LLM 의 내부 작동 원리에 대한 이해를 깊게 했습니다.

요약하자면, 이 논문은 **해석 가능성 (Interpretability)**을 활용하여 LLM 의 어휘를 확장하는 새로운 패러다임을 제시하며, 특히 비로마자 저자원 언어의 토큰 효율성과 성능을 동시에 개선하는 FragMend라는 실용적인 도구를 개발했습니다.