Optimizing Korean-Centric LLMs via Token Pruning

논문 요약: 토큰 가지치기 (Token Pruning) 를 통한 한국어 중심 LLM 최적화

이 논문은 다국어 대규모 언어 모델 (LLM) 에 적용된 토큰 가지치기 (Token Pruning) 기법을 체계적으로 벤치마크하여, 한국어 중심의 자연어 처리 (NLP) 태스크에 대한 최적화 전략을 제시합니다. 불필요한 언어에 할당된 파라미터를 제거함으로써 메모리 효율성을 높이고, 한국어 생성의 안정성을 개선하는 효과를 입증했습니다.

1. 연구 배경 및 문제 제기 (Problem)

• 다국어의 저주 (Curse of Multilinguality): LLaMA-3, Qwen, Gemma 등 최신 다국어 LLM 은 방대한 다국어 코퍼스로 학습되어 보편성을 확보했으나, 특정 언어 (예: 한국어) 만이 필요한 단일/이중 언어 환경에서는 불필요한 언어 토큰과 임베딩 파라미터가 메모리 오버헤드와 계산 비효율을 초래합니다.
• 한국어 NLP 의 특수성: 한국어는 고자원 언어임에도 불구하고, 영어나 중국어 중심 모델의 학습 데이터에서 소수 비중을 차지하여 문화적 뉘앙스가 희석될 위험이 있습니다. 또한, 로컬 배포를 위해서는 경량화가 필수적이지만, 언어 능력 저하 없이 이를 달성해야 하는 과제가 존재합니다.
• 해결 필요성: 기존 가지치기 연구는 주로 입력 토큰 수준에 집중했으나, 어휘 (Vocabulary) 수준에서 비대상 언어 토큰을 체계적으로 제거하여 한국어 태스크에 미치는 영향을 정량화한 연구는 부족했습니다.

2. 방법론 (Methodology)

• 대상 모델: Qwen3 시리즈 (0.6B14B), Gemma-3 (270M12B), Llama-3 가족 (3B, 8B), Aya-23 등 다양한 오픈 가중치 다국어 LLM 을 평가 대상으로 선정했습니다.
• 구성 설정 (Configurations): 각 모델을 세 가지 어휘 구성으로 재구성하여 비교했습니다.
  1. Original: 전체 다국어 어휘 유지.
  2. EnKo: 영어와 한국어 토큰만 유지.
  3. EnKoZh: 영어, 한국어, 중국어 토큰만 유지.
• 가지치기 절차 (Vocabulary Pruning Procedure):
  1. 언어 인식 필터링: 유니코드 블록 범위 (한글, 라틴, 한자 등) 를 기반으로 토큰을 언어별로 분류.
  2. 불필요 토큰 제거: 대상 구성 (EnKo 또는 EnKoZh) 에 해당하지 않는 토큰을 제거하고, 남은 토큰을 새로운 연속 인덱스 공간에 매핑.
  3. 파라미터 재조정: 임베딩 행렬과 출력 계층 (Output Projection Layer) 의 가중치를 새로운 인덱스에 맞게 물리적으로 재배열하여 파라미터 수를 축소.
  • 주의: 트랜스포머 내부 블록과 위치 인코딩은 변경하지 않아 시퀀스 모델링 능력은 유지됨.
• 평가 지표:
  • 일반 능력: KMMLU (일반 지식 및 논리 추론)
  • 문화 및 언어 이해: HAERAE (문화 소양), CLIcK (언어적 뉘앙스)
  • 지시 따르기: LogicKor, KoMT-Bench
  • 기계 번역: WMT 24++ (한국어 - 영어), XCOMET-XXL 점수
  • 안정성: 단어 수준 통과율 (Word-level Pass Rate, WPR)
  • 지연 시간: Seed-X-PPO-7B 모델을 활용한 인퍼런스 지연 시간 측정.

3. 주요 결과 (Key Results)

• 일반 능력 및 문화적 정합성 (General Aptitude & Cultural Alignment):
  • 가지치기를 적용한 모델들은 원본 모델 대비 성능 저하가 거의 없었습니다 (변동 < 0.01).
  • 일부 모델 (Gemma-3-12b-it, Llama-3.2-3B-Inst) 은 오히려 어휘 검색 공간이 축소되면서 생성 노이즈가 감소하여 미세한 성능 향상을 보였습니다.
• 지시 따르기 능력 (Instruction Following):
  • 모델 아키텍처에 따라 결과가 상이했습니다.
  • Qwen3 시리즈: 중국어 토큰을 유지한 EnKoZh 설정이 EnKo 설정보다 성능이 우수했습니다 (예: Qwen3-4B LogicKor 점수 7.77 → 7.85). 이는 중국어 코퍼스로 사전 학습된 모델이 추론에 잠재적인 다국어 정렬 (Cross-lingual alignment) 에 의존함을 시사합니다.
  • Llama-3.1-8B-Inst: EnKo 설정에서 성능이 향상되어 (5.36 → 5.57), 대규모 모델의 경우 어휘 축소로 지시 초점이 sharpen 된 것으로 분석됩니다.
• 기계 번역 성능 (Machine Translation):
  • 가지치기의 가장 뚜렷한 효과가 나타난 영역입니다. 불필요한 언어 토큰 제거로 출력 분포가 정규화되어, 한국어 - 영어 번역 경로가 강화되었습니다.
  • Llama-3.1-8B-Inst (0.5879 → 0.6342) 및 Aya-expanse-8b (0.6957 → 0.7496) 에서 COMET 점수가 크게 향상되었습니다.
• 생성 안정성 (Generation Stability):
  • 언어 혼란 (Language Confusion) 감소: EnKo 적용 후 모든 모델에서 단어 수준 통과율 (WPR) 이 크게 개선되었습니다.
  • 특히 Qwen3-4B 는 WPR 이 0.8882 에서 0.9923 으로 급격히 상승하여, 가지치기가 다국어 모델의 언어 혼란을 해결하는 데 결정적임을 입증했습니다.
• 지연 시간 (Latency):
  • 어휘 크기가 36% (EnKo 기준) 감소했으나, 인퍼런스 지연 시간 개선 효과는 미미했습니다 (약 0.89% 감소). 이는 어휘 감소가 메모리 부하를 줄이지만, 어텐션 메커니즘의 계산 병목 현상을 해결하지는 못함을 의미합니다.

4. 주요 기여 및 의의 (Contributions & Significance)

1. 체계적 벤치마크 제공: 한국어 NLP 태스크에 대한 토큰 가지치기의 영향을 정량화한 최초의 체계적인 벤치마크를 제시했습니다.
2. 효율적인 최적화 전략 입증: 한국어 중심 배포 시, 다국어 어휘에서 불필요한 토큰을 제거하는 것이 메모리 오버헤드를 획기적으로 줄이면서도 (파라미터 수 감소), 생성 안정성 (WPR > 0.99) 과 번역 품질을 오히려 향상시킬 수 있음을 증명했습니다.
3. 아키텍처 의존성 규명: 가지치기의 효과가 모델의 사전 학습 데이터 (특히 중국어 의존도) 와 아키텍처에 따라 달라질 수 있음을 발견하여, 모델 선택 시 EnKo 와 EnKoZh 설정의 차이를 고려해야 함을 강조했습니다.
4. 실용적 시사점: 추론 지연 시간의 미미한 개선에도 불구하고, 메모리 효율성과 생성 안정성 측면에서 자원 제약이 있는 로컬 환경 (Local Deployment) 에 적합한 Sovereign AI(주권 AI) 모델 배포를 위한 핵심 기술로 토큰 가지치기를 위치시켰습니다.

5. 결론

이 연구는 고자원 언어인 한국어가 거대한 다국어 어휘에서 효과적으로 분리될 수 있음을 보여주었습니다. 토큰 가지치기는 단순한 압축 기술을 넘어, 언어 혼란을 제거하고 도메인 특화 성능을 극대화하여 안정적이고 고성능인 한국어 전용 LLM 을 구축하는 필수적인 도구로 자리 잡았습니다.