VerChol -- Grammar-First Tokenization for Agglutinative Languages

이 논문은 영어 중심의 통계적 토크나이저가 접미어와 접두어가 풍부한 교착어에서 형태소 경계를 왜곡하는 문제를 해결하기 위해, 문법 규칙을 우선시하는 새로운 토큰화 방법인 'VerChol'을 제안합니다.

핵심

1. 문제: AI 가 언어를 '잘게 부수는' 이유

지금까지 AI 가 언어를 배우는 방식은 **통계적 방법 (BPE)**을 사용했습니다. 이는 마치 거대한 레고 상자를 켜고, 가장 자주 나오는 작은 블록 조각들을 찾아내어 단어의 의미를 만드는 방식입니다.

• 영어의 경우: "Cat"이라는 단어는 이미 하나의 블록이라서 AI 가 쉽게 인식합니다.
• 접미사 언어 (타밀어, 터키어, 핀란드어, 한국어 등) 의 경우:
  • 예: "집에서"라는 단어는 '집' + '에서'가 붙은 형태입니다.
  • 하지만 통계적 AI 는 이걸 '집'과 '에서'가 아니라, **'지' + 'ㅅ' + 'ㅔ' + 'ㅆ' + 'ㅔ'**처럼 알파벳 (또는 글자) 단위로 쪼개서 봅니다.
  • 결과: AI 는 "집"이라는 개념을 온전히 이해하지 못하고, 조각난 조각들만 보고 추측해야 합니다. 마치 완성된 자동차를 해체해서 나사 하나하나만 보고 차를 이해하려는 것과 같습니다.

2. 해결책: 베르촐 (VerChol) - "문법을 아는 요리사"

이 논문이 제안한 베르촐은 통계가 아니라 언어의 문법 규칙을 먼저 배우는 방식입니다.

• 비유: 베르촐은 레고 조각을 무작정 섞는 것이 아니라, **완성된 레고 설명서 (문법 규칙)**를 가지고 있습니다.
• 작동 원리 (4 단계 계단):
  1. 1 단계 (완성된 요리): 이미 알고 있는 단어라면 그대로 가져옵니다. (예: '집')
  2. 2 단계 (재료 분리): 만약 '집에서'라는 낯선 단어가 나오면, 설명서를 보고 '집' (뿌리) 과 '에서' (접미사) 로 자연스럽게 분리합니다.
  3. 3 단계 (음절 분리): 설명서에 없는 단어라도 발음 규칙 (음절) 대로 쪼갭니다.
  4. 4 단계 (글자 단위): 그래도 안 되면 글자 하나하나로 쪼갭니다.

이 방식의 핵심은 **"어떤 단어가 나오든, 그 단어의 '의미 단위 (형태소)'를 깨뜨리지 않는다"**는 것입니다.

3. 놀라운 성과: 더 적은 데이터로 더 똑똑하게

논문은 타밀어 위키백과 (약 774MB) 를 가지고 실험을 했습니다. 결과는 매우 놀랐습니다.

• 기존 방식 (통계적 AI):
  • 단어 1 개를 표현하는 데 3.52 개의 조각이 필요했습니다.
  • 더 많은 데이터를 학습시키기 위해 거대한 GPU(컴퓨터) 와 엄청난 시간이 필요했습니다.
• 베르촐 방식 (문법 기반 AI):
  • 단어 1 개를 표현하는 데 1.86 개의 조각만 필요했습니다.
  • 조각 수가 47% 줄었습니다. (즉, 같은 용량으로 두 배 더 많은 글을 처리할 수 있습니다.)
  • 학습 비용은 0 원입니다. 거대한 컴퓨터로 학습할 필요 없이, 사전과 문법 규칙만 있으면 됩니다.

4. 왜 이것이 중요한가요? (창의적 비유)

비유 1: 우편 배달

• 기존 방식: 우편물을 배달할 때, 편지 한 통을 10 조각으로 잘라서 10 개의 트럭에 실어 보냅니다. (비효율적, 비용 비쌈)
• 베르촐 방식: 편지 한 통을 통째로 1 개의 트럭에 싣습니다. (효율적, 비용 절감)

비유 2: 새로운 단어 학습

• 기존 방식: AI 가 "집에서"를 배웠다고 해서 "학교에서"를 알지 못합니다. "학교"라는 새로운 조각이 나오면 다시 혼란스러워합니다.
• 베르촐 방식: AI 는 "집" + "에서"를 배웠다면, "학교" + "에서"가 나오면 즉시 "학교에서"라고 이해합니다. 문법 규칙을 알기 때문에, 본 적 없는 새로운 단어라도 유추할 수 있습니다.

5. 결론: 언어의 본질을 존중하자

이 논문의 핵심 메시지는 **"인공지능이 언어를 배울 때, 통계적 확률만 믿지 말고 언어가 가진 본질적인 문법 구조를 존중해야 한다"**는 것입니다.

전 세계 인구의 30~40% 가 사용하는 타밀어, 터키어, 핀란드어, 한국어, 스와힐리어 등은 모두 단어가 꼬리에 꼬리를 무는 언어들입니다. 이들에게는 문법을 이해하는 '베르촐' 같은 방식이 훨씬 더 효율적이고 똑똑한 AI 를 만들어줍니다.

마치 고대 타밀어 문법서 '톨카피얌'이 말했듯, 언어의 구조는 통계로 발견하는 것이 아니라, 그 언어를 쓰는 사람들이 이미 알고 있는 지식을 AI 에게 전달하는 것이 가장 빠르고 정확한 길이라는 것입니다.

기술 요약

1. 문제 정의 (The Problem)

대규모 언어 모델 (LLM) 파이프라인의 핵심 단계인 토크나이징 (Tokenization) 은 현재 주로 바이트 페어 인코딩 (BPE) 및 그 변형 알고리즘에 의존하고 있습니다. 그러나 이 방식은 영어와 같은 고립어 (Isolating languages) 에 최적화되어 있으며, **접미어 언어 (Agglutinative languages)**에는 구조적 한계를 가집니다.

• 접미어 언어의 특성: 타밀어, 터키어, 핀란드어, 한국어, 스와힐리어 등 전 세계 10 억 명 이상의 화자가 사용하는 언어들은 하나의 어근 (Root) 에 다양한 문법적 의미 (시제, 격, 인칭, 수 등) 를 접미사를 통해 결합하여 하나의 어휘 단어를 형성합니다.
• BPE 의 실패 원인: 통계적 알고리즘인 BPE 는 형태소 (Morpheme) 경계를 인식하지 못합니다. 결과적으로 하나의 의미 있는 단어를 임의의 바이트 단위로 잘게 쪼개게 되어 다음과 같은 문제가 발생합니다.
  • 토큰 비효율성: 하나의 단어가 2~16 개의 토큰으로 분할되어 컨텍스트 윈도우를 불필요하게 소모합니다.
  • 의미 손실: 어근과 접미사의 경계가 무너져 모델이 언어의 구조적 패턴을 학습하는 데 방해가 됩니다.
  • 장기 꼬리 (Long-tail) 문제: 새로운 형태소 조합이 등장할 경우 이를 일반화하지 못하고 더 작은 조각으로 분해합니다.

2. 방법론: VerChol 아키텍처

이 논문은 통계적 데이터가 아닌 **언어학적 원리 (Grammar-First)**에 기반한 새로운 토크나이저 아키텍처인 **VerChol(வேர்ச்சசொல், '어근 단어'라는 타밀어 의미)**을 제안합니다. 이 아키텍처는 언어에 따라 모듈만 교체하면 되는 언어 매개변수화 (Language-parametric) 구조를 가집니다.

4 단계 파이프라인 (Four-Tier Pipeline):
모든 토큰은 임의의 바이트 시퀀스가 아닌, 형태소, 음절, 또는 문자로 구성된 언어적으로 의미 있는 단위여야 한다는 원칙을 따릅니다.

1. Tier 0: 전체 단어 사전 조회 (Whole-word Lookup)
   • 참조 코퍼스에서 검증된 변형된 어형 (Inflected forms) 을 사전에서 직접 매칭하여 단일 토큰으로 처리합니다.
2. Tier 1: 형태론적 분해 (Morphological Decomposition)
   • 사전에 없는 단어는 규칙 기반의 형태론 분석을 통해 **어근 (Root)**과 **접미사 (Suffix)**로 분해합니다.
   • 타밀어 구현의 경우 11,974 개의 어근과 266 개의 문법적 접미사 규칙을 사용합니다.
   • 표면 형태 (Surface form) 와 정렬되도록 설계되어 원문 복원 (Roundtrip fidelity) 이 100% 보장됩니다.
3. Tier 2: 음절 분할 (Syllable Segmentation)
   • 형태론적 분해가 불가능한 경우, 언어별 음운론 규칙 (예: 타밀어의 CV/CVC 패턴) 에 따라 음절 단위로 분할합니다.
4. Tier 3: 문자Fallback (Character Fallback)
   • 위 단계 모두 실패할 경우 개별 문자 단위로 분할합니다.

사전 구축 전략:

• 학습 (Training) 이 아닌 구축 (Construction) 방식을 사용합니다.
  1. 기초 언어학 사전 (어근 + 접미사 + 음절)
  2. 형태론적 생성 (어근 × 접미사 조합을 코퍼스 빈도 ≥3 이상으로 검증)
  3. 코퍼스 고빈도 전체 단어 (1, 2 단계에서 미처리된 것)
• GPU 학습이나 거대 코퍼스가 필요 없으며, 표준 컴퓨터에서 사전이 즉시 생성됩니다.

3. 주요 기여 (Key Contributions)

• 통계적 접근의 대안 제시: 접미어 언어를 위해 BPE 와 같은 통계적 토크나이저 대신 문법 규칙 기반 토크나이저가 더 효율적임을 입증했습니다.
• 언어 매개변수화 프레임워크: 파이프라인 로직은 불변하고, 언어별 사전, 접미사 카탈로그, 음운 규칙만 교체하면 터키어, 핀란드어, 한국어, 스와힐리어 등 다양한 접미어 언어로 쉽게 확장 가능한 아키텍처를 제시했습니다.
• 전체 타밀 위키백과 평가: 774MB(약 3,050 만 단어, 185 만 고유 단어) 규모의 대규모 코퍼스를 대상으로 한 포괄적인 평가를 수행했습니다.

4. 실험 결과 (Results)

타밀어 위키백과 코퍼스 (483,313 개의 고유 단어, 빈도 ≥3) 를 기준으로 평가한 결과입니다.

지표	VerChol (32K vocab)	SentencePiece BPE (16K vocab)	Sarvam-1 (68K Indic BPE)
비옥도 (Fertility)	1.86	2.85	3.52
토큰 수	896,595	1,375,778	1,699,970
BPE 대비 감소율	-34.8%	기준 (Baseline)	-23.6% (증가)

• 효율성: VerChol 은 표준 BPE 대비 35%, 산업용 인도어 최적화 BPE(Sarvam-1) 대비 47% 더 적은 토큰 수를 생성합니다.
• 사전 크기: 더 작은 사전 (32K) 으로 더 큰 사전 (68K) 보다 우수한 성능을 냈습니다.
• 처리 분포: 전체 단어의 **91%**가 언어학적 분석 (Tier 0, 1) 을 통해 처리되었으며, fallback(음절/문자) 은 9% 만 필요했습니다.
• 장기 꼬리 (Long-tail) 일반화: 희귀한 단어에서도 VerChol 의 비옥도 증가폭 (1.61 → 1.86) 은 BPE(3.03 → 3.52) 에 비해 훨씬 작아, 미학습된 형태소 조합에서도 우수한 일반화 능력을 보입니다.

5. 의의 및 결론 (Significance & Conclusion)

• 계산 효율성: VerChol 은 2 조 개의 토큰과 1,024 개의 H100 GPU 를 5 일간 학습시켜 만든 68K 사전 기반 BPE(Sarvam-1) 와 비교해, 학습 연산 (Compute) 이 전혀 없으면서도 47% 더 효율적인 토큰화를 달성했습니다.
• LLM 파이프라인 영향: 토큰 수 감소는 컨텍스트 윈도우 내 처리 가능한 텍스트 양을 약 2 배로 늘리고, 임베딩 테이블 크기를 줄이며, 형태소 단위의 학습 신호를 강화하여 모델 성능 향상에 기여합니다.
• 미래 방향: 접미어 언어를 위한 LLM 개발은 "더 많은 데이터와 더 큰 모델"이 아니라, 화자들이 이미 알고 있는 언어학적 지식을 토크나이저에 인코딩하는 방향으로 나아가야 함을 시사합니다.
• 확장성: 이 프레임워크는 터키어, 핀란드어, 한국어, 스와힐리어 등 전 세계 10 억 명 이상의 화자가 사용하는 언어군에 적용 가능하며, 각 언어별 어휘 구축에 걸리는 시간은 불과 1 주일 내외로 추정됩니다.

결론적으로, VerChol 은 통계적 빈도 기반의 토크나이징 패러다임을 넘어, 접미어 언어의 구조적 특성을 이해하는 문법 기반 토크나이징이 자원 제약이 있는 언어 모델링과 대규모 언어 모델의 효율성 향상에 필수적임을 입증한 중요한 연구입니다.