기술 요약: QuechuaTok

문제 정의

토큰화는 자연어 처리(NLP)에서 중요한 전처리 단계이지만, 표준 평가 지표, 특히 토큰 생성률(fertility rate)(단어당 평균 토큰 수)은 교착어의 **형태론적 정확성(morphological correctness)**을 포착하는 데 실패합니다. 남부 케추아어(quz)와 같은 언어에서 하나의 표층 단어 형태는 엄격한 접사 결합을 통해 복잡한 문법 정보(동사 어근, 상, 인칭, 수, 격, 증거성)를 인코딩합니다. 주로 유럽 언어를 위해 설계되고 빈도 패턴에 따라 학습된 표준 서브워드 토크나이저(예: BPE, Unigram)는 이러한 형태들을 임의로 파편화하거나 긴 표층 형태를 원자적 단위로 암기하곤 합니다. 이러한 동작은 문법적 의미를 담고 있는 형태소 경계를 무시하며, 이는 토큰 효율성과 언사 구조 사이의 괴리를 초듭니다. 케추아어가 아메리카 대륙에서 가장 널리 사용되는 원주민 언어군임에도 불구하고, 이 저자원 교착어에 대한 토크나이징 전략의 체계적인 평가는 부족한 실정입니다.

방법론

저자들은 200,193개의 문장으로 구성된 남부 케추아어 코퍼스를 대상으로 네 가지 토크나이징 전략을 평가하는 체계적인 벤치마크인 QuechuaTok을 제시합니다. 코퍼스는 Llamacha/monolingual-quechua-iic 데이터셋(Wikipedia 및 OSCAR 소스)과 somosnlp-hackathon-2022 병렬 코퍼스에서 유도되었으며, 유니코드 정규화 및 노이즈 제거 과정을 거쳤습니다.

평가된 토크나이저

1. BPE (Byte-Pair Encoding): 어휘 크기 4k, 8k, 16k로 학습되었습니다.
2. Unigram LM: 어휘 크기 4k, 8k, 16k로 학습되었습니다.
3. WordPiece: 4k로 학습되었습니다.
4. PRPE (Prefix-Root-Postfix Encoding): TAM(시상-상-법), 인칭 일치, 명사 격, 증거성 및 파생 접사를 다루는 23개의 케추아 형태소로 구성된 수작업 접사 사전(hand-crafted suffix lexicon)을 사용하는 형태론 인식 토크나이저입니다.

모든 통계 모델은 byte_fallback=True가 설정된 SentencePiece를 활용하였으며, ejective 자음을 위해 아포스트로피(')를 보존하였습니다.

평가 지표

본 연구는 표준 지표와 함께 새로운 주요 지표를 도입했습니다:

• 토큰 생성률 (Fertility Rate): 단어당 평균 토큰 수 (낮을수록 좋음).
• OOV 비율 (OOV Rate): 未知로 매핑되는 토큰의 비율 (byte fallback 덕분에 모든 모델에서 0%).
• 형태론적 경계 정확도 (Morphological Boundary Accuracy, MorphAcc): 토크나이저 경계가 "실버 표준(silver standard)" 경계와 일치하는 비율. 실버 표준은 SQUOIA 유한 상태 형태소 분석기(Rios, 2016)를 사용하여 생성되었으며 수동 검증되었습니다.
  $$\text{MorphAcc} = \frac{| \text{pred\_bounds} \cap \text{silver\_bounds} |}{| \text{silver\_bounds} |}$$

다운스트림 평가

언어 모델링에 미치는 영향을 평가하기 위해, 토큰화된 텍스트에 대해 평활화된(smoothed) **바이그램 언어 모델(bigram language model)**을 학습시키고, 홀드아웃 문장에 대한 **퍼플렉시티(perplexity, PPL)**를 측정했습니다.

주요 결과

정량적 결과

• BPE: 가장 낮은 토큰 생성률(16k 어휘에서 1.636)을 달 기록했으나, 모든 어휘 크기에서 일관되게 낮은 **6.67%**의 MorphAcc를 유지했습니다. 이는 BPE가 형태 구조를 학습하기보다 빈번한 표층 형태를 원자적 단위로 암기함으로써 토큰 수를 줄인다는 것을 나타냅니다.
• Unigram LM: 어휘 크기와 MorphAcc 사이의 비단조적(non-monotonic) 관계를 보였습니다. 4k 어휘에서 66.67%의 MorphAcc를 달성했으나, 8k에서 26.67%, 16k에서 33.33%로 떨어졌습니다. 이는 어휘 크기가 증가함에 따라 Unigram LM이 표층 빈도에 과적합되어 여러 형태소를 단일 토큰으로 붕괴시킨다는 것을 시사합니다.
• PRPE: 경쟁력 있는 토큰 생성률(1.797)과 함께 가장 높은 **83.33%**의 MorphAcc를 달성했습니다. 그 성능은 코퍼스 통계에 의존하지 않고 대신 형태소 접사 사전의 품질에 의존합니다.
• WordPiece: 4k에서 평가되었으며, 0.05%의 OOV 비율을 보였고 최종 표에는 MorphAcc를 보고하지 않았으나, 질적 분석 결과 다른 통계적 방법들과 유사한 문제를 보였습니다.

퍼플렉시티 분석

• Unigram 4k는 가장 낮은 퍼플렉시티(1344)를 기록했는데, 이는 작은 어휘 크기가 형태소와 우연히 일치하는 분절을 강제했기 때문으로 보입니다.
• PRPE는 1879의 퍼플렉시티를 기록하여 Unigram 4k보다는 높았지만, BPE 16k(2553)보다는 유의미하게 낮았습니다.
• BPE 16k는 가장 낮은 토큰 생성률에도 불구하고 가장 높은 퍼플렉시티(2553)를 기록했으며, 이는 이 맥락에서 낮은 토큰 생성률이 효과적인 언어 구조 학습이 아닌 표층 형태의 암기를 반영함을 확인시켜 줍니다.

질적 관찰

rimankichikmi ("너희 모두가 말한다 [목격됨]") 및 wasiykikunapiqa ("너희 집들 안에")와 같은 단어에 대한 질적 분석 결과, 통계적 토크나이저(BPE/Unigram)는 여러 형태소를 단일 토큰으로 붕합시키는 경향(예: riman|kichikmi)이 있었던 반면, PRPE는 접두사, 어근, 접사를 올바르게 분절하였습니다(예: wasi|yki|kuna|pi|qa).

주요 기여

1. 체계적 벤치마크: 대규모 남부 케추아어 코퍼스를 대상으로 BPE, Unigram, WordPiece, PRPE 토크나이저를 종합적으로 평가한 최초의 연구입니다.
2. 새로운 지표: SQUOIA 유한 상태 분석기를 활용한 **형태론적 경계 정확도(MorphAcc)**를 도입하고 검증하여, 교착어를 위한 필수 지표로 확립했습니다.
3. 경험적 증거: 토큰 생성률이 형태론적 품질의 신뢰할 수 있는 대리 지표가 아님을 입증했습니다. 본 논문은 토크나이저가 높은 효율성(낮은 토큰 생성률)을 달성하면서도 형태론적 구조를 포착하는 데 실패할 수 있음을 보여줍니다.

의의 및 주장

본 논문은 교착어 및 저자원 언어의 경우, 토큰 수(fertility)를 최적화하는 것만으로는 불충분하며 오히려 해로울 수 있다고 주장합니다. 저자들은 형태론적 경계 정확도가 토크나이저가 언어의 구조적 특성을 존중하도록 보장하기 위해 반드시 병행되어야 하는 보완적 지표라고 주장합니다.

연구는 통계적 토크나이저(BPE, Unigram)가 작은 어휘 크기로는 낮은 퍼플렉시티를, 큰 어휘 크기로는 낮은 토큰 생성률을 달성할 수 있지만, 이는 형태론적 규칙을 학습하기보다 표층 형태를 암기함으로써 이루어진다는 점을 강조합니다. 반면, PRPE는 명시적인 형태론적 구조 인코딩이 (비록 토큰 수를 최소화하거나 퍼플렉시티를 절대적으로 낮추지는 못할지라도) 우수한 경계 정확도를 보여준다는 것을 입증합니다. 저자들은 모든 지표에서 동시에 승리하는 단일 토크나이저는 없으며, 케추아어와 같은 언어를 위해서는 형태론적 정확성을 우선시하는 다각적인 평가 접근 방식이 필요하다고 결론짓습니다.

저자들이 밝힌 향ured 작업에는 MorphAcc 실버 표준을 500개 이상의 단어로 확장하는 것과 PRPE 토크나이저를 케추아 전용 언어 모델(QuechuaBERT)에 통합하는 것이 포함됩니다.