기술 요약: 토크나이저를 당연하게 여기지 마라

문제 제기

대규모 언어 모델(LLM) 개발에서 토크나이징(tokenization)의 중심성에도 불구하고, 이는 여전히 이론적으로 충분히 다뤄지지 않았으며 일관되지 않게 설계된 구성 요소로 남아 있다. 이 분야는 핵심적인 모델링 결정 사항으로서의 토크나이저가 아닌, 기본 전처리 단계로서 Byte Pair Encoding(BPE)과 같은 서브워드(subword) 방식에 의존하는 "일률적인(one-size-fits-all)" 접근 방식을 채택하고 있다. 이러한 의존은 다음과 같은 몇 가지 심각한 문제를 야기한다:

• 언어적 구조와의 불일치: 표준 토크나이저는 의미 있는 언어 단위(형태소, 통사 구조)를 파편화하는 경우가 많으며, 특히 형태학적으로 풍부한 언어나 코드 스위칭(code-switched) 환경에서 그러하다.
• 비효율성 및 편향: 제대로 정렬되지 않은 경계는 시퀀스 길이를 팽창시켜 계산 용량을 낭비하고, 저자원 언어 및 특정 도메인에 대한 편향을 증폭시킨다.
• 엄격함의 결여: 토크나이저 설계는 종종 불투명하며, 어휘 구축, 세밀도(granularity), 코퍼스 선택에 관한 결정이 임의적으로 이루어진다. 토크나이저의 효과성을 평가하거나 결과를 재현하기 어렵게 만드는 표준화된 평가 지표가 부족하다.
• 정적인 재사용: 개발자들은 기존의 사전 학습된 토크나이저를 대상 언어나 도메인과의 호환성을 검증하지 않고 빈번하게 재사용하며, 이는 표현의 격차와 지속적인 추론 시의 페널티로 이어진다.

방법론 및 제안된 프레임워크

본 논문은 새로운 실험 결과나 대규모 절제 연구(ablation studies)를 제시하는 것이 아니라, 토크나이징을 정적인 전처리 아티팩트가 아닌 **맥락 인식적이고 원칙적인 의사결정이 필요한 핵심 설계 프리미티브(core design primitive)**로 재정의하는 개념적 재구조화를 제안한다.

저자들은 토크나이징을 모델 아키텍처 및 학습 목표와 함께 주기적으로 재평가해야 하는 구조적이고 반복적인 공동 설계(co-design) 프로세스를 옹호한다. 이 프레임워크는 다음 단계로 구성된다:

1. 초기 평가: LLM의 목적, 대상 언어, 운영 제약 조건(지연 시간, 메모리) 정의.
2. 재사용 결정: 기존 토크나이저를 재사용, 적응 또는 처음부터 구축할지 결정하기 전에 언어적 충실도와 작업 정렬성을 체계적으로 평가.
3. 코퍼스 큐레이션: 일반적인 웹 크롤링에만 의존하는 대신 특정 사용 사례에 정렬된 코퍼스 구축.
4. 전처리 토크나이징 및 처리: 코드 스위칭 및 혼합 입력을 처리하기 위해 일관된 정규화 및 경계 규칙 적용.
5. 토크나이저 학습: (교착어 등을 고려하여) Unigram과 같은 세분화 전략을 선택하고 큐레이션된 데이터로 학습.
6. 내재적 및 외재적 평가: 어휘의 이상 징와 파편화, 학습이 미흡한 토큰을 감사하고, 다운스트림 작업에서의 성능 평가.
7. 반복 및 개선: 토크나이저를 모델 동작 진단에 따라 정교화되는 공진화하는 구성 요소로 취급.

또한 논문은 다음과 같은 핵심 설계 결정 사항을 개설한다:

• 알고리즘 선택: 언어적 요구 사항에 따라 BPE, WordPiece, Unigram 중 선택.
• 어휘 크기: 크기를 단순한 휴리스틱이 아닌, 메모리 비용 및 시퀀스 길이와 균형을 맞추어야 하는 튜너블 파라미터로 취급.
• 적응 프로토콜: 토크나이저 재사용 시 어휘 확장 및 임베딩 초기화를 위한 엄격한 방법 수립.
• 책임 있는 설계: 학습이 미흡한 토큰, 이상 현상, 적대적 취약성을 탐지하기 위해 공정성, 안정성 및 보안 점검 포함.

주요 기여

본 논문은 다음 세 가지 주요 기여를 통해 해당 분야를 발전시킨다:

1. 숨겨진 설계 선택지의 식별: 저자들은 어휘 구축, 세밀도, 코퍼스 선택, 재사용의 영향 등 표준 토크나이징에서 흔히 간과되는 결정 사항들을 명시적으로 매핑한다.
2. 구조화된 토크나이저 설계 프레임워크: 임의적인 관행에서 벗어나 언어적 다양성, 도메인 특수성 및 작업 복잡성을 고려하는 체계적인 접근 방식을 제안한다.
3. 평가 차원의 정의: 논문은 다음 사항에 초점을 맞춘 다차원적 토크나이저 평가 프레임워크를 정의한다:
   • 커버리지(Coverage): 관련 언어 단위의 표현력.
   • 일반화 가능성(Generalizability): 미학습 형태 및 복잡한 변이의 처리 능력.
   • 언어적 정렬(Linguistic Alignment): 토큰 경계와 형태소 및 통사 구조의 일치 여부.
   • 강건성(Robustness): 노이즈 및 분포 변화에 대한 탄력성.
   • 표현 활용도(Representation Utilization): 임베딩이 의미 있게 활성화되는지 확인.

결과 및 근거

개념적 논문으로서 본 논문은 새로운 실험 결과를 보고하지 않는다. 대신, 자신의 주장을 뒷받 받기 위해 기존 문헌의 결과들을 합성한다:

• 성능 향상: Dewangan 등(2025)을 인용하며, 고정된 어휘 크기에서도 세분화 전략을 최적화하는 것만으로 상당한 이득을 얻을 수 있음을 언급한다.
• 재사용의 비효율성: 기존의 토크나이저(예: 영어에 최적화된 모델을 저자원 언어에 사용)를 나이브하게 재사용하면 시퀀스 길이가 팽창하고 과도한 파편화로 인해 성능이 저하된다는 증거를 제시한다.
• 현재 메트릭의 한러: 논문은 fertility(다산성) 및 어휘 크기와 같은 일반적인 지표가 다운스트림 유용성이나 언어적 정렬과 낮은 상관관계를 보이며, 종종 다국어 맥락에서의 문제를 은폐한다는 점을 강조한다.
• 설계의 영향: 토크나이저 선택이 학습 비용과 품질에 실질적인 영향을 미치며, 특정 타겟 적응(예: 아랍어 또는 동남아시아 언어용)이 다른 언어의 성능을 해치지 않으면서 토큰 길이 격차를 줄일 수 있다는 연구 결과를 제시한다.

의의 및 주장

본 논문은 토크나이징을 "기술적 사후 고려 사항"으로 취급하는 것이 언어 기술의 잠재력을 제한한다고 주장한다. 토크나이징을 경험적 탐구의 기초 영역으로 재배치함으로써, 저자들은 다음과 같은 모델을 구축할 수 있다고 주장한다:

• 더 공정한(Fairer) 모델: 형태학적으로 풍부한 언어 및 소외된 집단에 대한 구조적 편향 감소.
• 더 효율적인(More Efficient) 모델: 더 나은 정렬을 통해 불필요한 시퀀스 길이를 최소화하고 계산 오버헤드 감소.
• 더 적응력 있는(More Adaptable) 모델: 다양한 도메인과 언어 전반에 걸쳐 강건하게 일반화되는 시스템 구축.

저자들은 자신들의 작업이 겸손하고 개념적임을 명시한다. 그들은 토크나이징 문제를 해결했거나 확정적인 솔루션을 제공했다고 주장하지 않는다. 대신, 커뮤니티가 경직되고 상속된 관행에서 벗어나 보다 적응적이고 형평성 있으며 과학적으로 엄격한 설계 프로세스로 이동할 수 있도록 돕는 가이드 원칙을 제공한다. 또한, 이 프레임워크를 구현하려면 보편적으로 가용하지 않을 수 있는 자원에 대한 접근이 필요하며, 대규모 성능을 위한 표준화된 프록시 프로브(proxy probes)를 식별하는 것은 여전히 열린 경험적 과제임을 인정한다.