기술 요약: AdaptBPE: 범용 토크나이저에서 특화된 토크나이저로

문제 정의

서브워드(subword) 토크나이제이션 방식, 특히 바이트 쌍 인코딩(Byte-Pair Encoding, BPE)은 현대 대규모 언어 모델(LLM)의 기초가 됩니다. 그러나 표준 토크나이저는 방대하고 다양한 코퍼스를 대상으로 범용 도구로서 학습되며, 모델의 생애 주기 동안 정적인 상태를 유지합니다. 이러한 정적인 특성은 모델이 특정 도메인이나 제한된 언어 집합에 적용될 때 비효효율성을 초래합니다. 일반적인 어휘집은 특정 타겟 코퍼스에 대해 드물거나 무용할 수 있는 많은 토큰을 포함하게 되어, 최적화되지 않은 토크나이제이션 길이, 불필요한 파라미터 로딩, 그리고 추론 비용 증가를 야기합니다. 도메인 특화 토크나이저가 존재하기는 하지만, 이들은 일반적으로 처음부터 다시 학습시키거나 복잡한 동적 메커니즘을 필요로 합니다. 따라서 밑단의 모델 가중치를 변경하지 않고도 특정 문맥에 맞춰 토크나이제이션을 최적화할 수 있는 경량화된 사후 학습 적응 전략이 필요합니다.

방법론: AdaptBPE

저자들은 사전 학습된 BPE 토크나이저를 적응 코퍼스의 빈도 통계에 기반하여 낮은 효용을 가진 병합(merge)을 더 관련성 높은 것으로 선택적으로 교체함으로써 정교화하는 사후 알고리즘인 AdaptBPE를 제안합니다. 이 방법은 최종 어휘 크기를 일정하게 유지하도록 고정된 "병합 예산"($N$) 하에서 작동합니다.

핵심 알고리즘

1. 초기화: 알고리즘은 $M$개의 병합 리스트를 포함하는 사전 학습된 BPE 토크나이저에서 시작합니다. 우선 첫 $N$개의 병합(표준 접두사)을 선택하여 실제 병합의 후보 집합($\mu_A$)을 형성하고, 나머지 병합들을 예비 집합($\mu_R$)으로 취급합니다.
2. 반복적 정교화: 알고리즘은 다음 과정을 통해 적응 코퍼스의 토크나이제이션을 반복적으로 개선합니다:
   • 현재 실제 집합 $\mu_A$에서 가장 빈도가 낮은 토큰(가장 낮은 효용)을 식별합니다.
   • 잠재적인 새로운 병합의 부모들에 의해 형성될 수 있는 예비 집합 $\mu_R$ 내의 가장 빈번한 바이그램(bigram)을 식별합니다.
   • 교환(Exchange): 만약 $\mu_R$에 있는 후보 바이그램의 빈도가 $\mu_A$의 가장 낮은 빈도 토큰의 빈도를 초과하면, 알고리즘은 교환을 수행합니다. 낮은 효용의 병합은 "가상" 병합으로 변환되어(사실상 활성 토큰 집합에서 제거됨) 제거되고, 예비 집합의 높은 빈도 병합이 "실제" 병합으로 승격됩니다.
3. 제약 조건: 알고리즘은 복합 토큰이 그 부모 토큰이 존재한 후에만 생성되도록 보장하는 병합 순서의 **적절성(properness)**을 유지합니다. 이는 오직 적응 코퍼스의 통계에만 의존하며, 원래의 사전 학습 데이터나 모델 가중치에 대한 접근을 요구하지 않습니다.
4. 출력: 결과물은 기존 LLM과 호환되는 새로운 최적화 병합 리스트이며, 이를 통해 모델 재학습 없이 즉시 배포가 가능합니다.

주요 기여

1. 정교화 알고리즘: 고정된 어휘 크기 제약 조건 하에서 특정 테스트 도메인에 대한 압축 효용을 최적화하기 위해 BPE 병합 리스트에서 직접 작동하는 그리디(greedy) 알고리즘을 도입했습니다.
2. 사후 학습 적응: 모델 파라미터의 변경을 요구하지 않는, 어휘 미세 조정(vocabulary fine-tuning)과 유사한 경량화된 메커니즘을 제공합니다. 이는 다운스트림 배포를 위한 "플러그 앤 플레이(plug-and-play)" 솔루션입니다.
3. 실증적 검증: 다양한 언어(Manipuri 및 Occitan과 같은 저자원 언어 포함), 도메인(일반 Wikipedia 대 전문 분야인 PubMed/EMEA), 그리고 작업(생성, 분류, 기계 번역)에 걸친 광범위한 실험을 통해 우수성을 입증했습니다.

실험 결과

저자들은 BLOOM, Llama-3, GPT-2 모델을 사용하여 세 가지 베이스라인과 함께 AdaptBPE를 평가했습니다:

• Firstk: 원래 토크나이저의 첫 $N$개 병합만을 사용.
• Firstk>0: 데이터셋에 등장하는 첫 $N$개의 병합을 사용.
• Topk: 모든 병합을 적용한 후 상위 $N$개의 빈번한 토큰이 남을 때까지 재귀적으로 병합 해제(unmerging)를 수행.

주요 결과:

• 압축 효용: AdaptBPE는 모든 언어와 모델에 걸쳐 모든 베이스라인보다 일관되게 높은 압축 효용(더 짧은 토크나이즈된 시퀀스)을 달성했으며, 종종 전체 어휘를 사용하는 토크나이저와의 격차를 거의 좁혔습니다.
• 당혹도(Perplexity): 도메인 특화 작업(예: PubMed, EMEA)에서 AdaptBPE는 종종 전체 어휘의 당혹도 점수와 일치하거나 이를 능가했으나, 베이스라인들은 어려움을 겪었습니다.
• 기계 번역: 이중 언어 설정(영어-프랑스어, 영어-오시탄어)에서 AdaptBPE는 베이스라인보다 향상된 BLEU 점수를 기록했으며, 현저히 줄어든 어휘(15k–30k 병합)로도 전체 토크나이저의 성능에 필적했습니다.
• 제로샷 분류: 영어의 경우 (학습과 추론 토크나이저 간의 불일치로 인해) 축소된 어휘를 사용할 때 성능이 하락했으나, 이 방법은 다른 언어들에 대한 교차 언어 전이에서 강건함을 보여주었으며 미세 조정을 통해 성능 회복이 가능했습니다.
• 저자원 언어: 이 방법은 표준 프루닝(pruning) 기법이 필요한 형태적 구조를 포착하는 데 실패하는 형태론적으로 복잡하거나 저자원인 언어(예: Occitan, Manipuri)에서 특히 효과적이었습니다.

의의 및 주장

본 논문은 AdaptBPE가 모델 재학습의 계산적 오버헤드 없이 LLM을 특정 도메인이나 언어에 적응시키기 위한 실용적이고 비용 효율적인 솔루션을 제공한다고 주장합니다. 활성 토큰과 관련 임베딩 파라미터의 수를 줄임으로써 메모리 사용량과 추론 지연 시간을 낮춥니다.

저자들은 자신들의 작업이 타겟 도메인에 대해 더 일반화 가능한 서브워드 표현을 갖도록 모델을 편향시키는 일종의 규제화(regularization)라고 위치시킵니다. 그들은 이 접근 방식이 새로운 토크나이저를 처음부터 학습시키거나 런타임에 동적 토크나이제이션을 사용하는 이전 연구들과는 다르며, 대신 기존의 사전 학습된 모델과 완전히 호환되는 정적이고 최적화된 어휘를 제공한다는 점을 강조합니다. 결론적으로, 이 방법은 효과적이지만, 향후 연구는 병합 예산 $N$을 동적으로 최적화하고, 과적합을 방지하기 위해 빈도 추정치의 불확실성을 더 잘 고려하는 데 집중해야 한다고 밝히고 있습니다.