기술 요약: Morpheus – 터키어를 위한 형태소 인식 신경 토크나이저 및 단어 임베더

1. 문제 정의

터키어는 파생 및 굴절 접미사가 어근에 결합하여 의미를 전달하는 교착어입니다. 현재 터키어 자연어 처리(NLP) 도구들은 두 가지 주요 한계에 직면해 있습니다:

• 토큰화의 결함: 표준 서브워드 토크나이저(BPE, WordPiece, Unigram)는 언어학적 형태소에 기반하기보다 코퍼스의 통계적 수치에 따라 단어를 분절합니다. 이는 의미가 담긴 접미사를 파편화하여 시퀀스 길이(fertility)를 늘리고 계산 비용을 증가시킵니다. 또한, 널리 사용되는 많은 토크나이저들은 가역적이지 않습니다. 이들은 다이아크리틱(diacritics)을 제거하거나 정형화된 재조율(normalization)을 적용하므로, decode(encode(w))가 원래의 문자열 w와 일치하지 않게 됩니다. 이러한 표면적 충실도(surface fidelity)의 손실은 생성 모델의 출력을 왜곡합니다. 반면, 규칙 기반 분석기(예: Zemberek)나 비지도 학습 기반 세그멘터(예: Morfessor)는 더 나은 형태론적 정렬을 제공하지만, 정보 손실이 발생하거나 사전 기반이거나, 혹은 언어 모델링에 최적화되어 있지 않습니다.
• 표현의 격차: 현재의 단어 표현 시스템은 토큰화와 임베딩을 별개의 분리된 과정으로 취급합니다. BERTurk와 같은 문맥 인코더는 무겁고, 정보 손실이 있는 서브워드 어휘에 의존하며, 형태소를 암묵적으로만 처리합니다. 따라서 손실 없는 이산적(discrete) 토큰을 생성하는 동시에, 형태론적 관계(예: kitap, kitaplar, kitabımız를 구조적으로 그룹화)를 본질적으로 존중하는 구조화된 단어 임베딩을 생성하는 통합된 시스템이 부재한 상황입니다.

2. 방법론

본 논문은 손실 없는 형태소 인식 토크나이저이자 단어 임베딩 생성기로 동시에 기능하도록 설계된 신경 형태소 경계 모델인 Morpheus를 소개합니다.

아키텍처

Morpheus는 단어를 문자 시퀀스로 처리하며, 단일 순전파(forward pass)를 통해 형태소 경계와 단일 단어 임베딩을 모두 출력합니다:

1. 문자 인코더(Character Encoder): 문자 임베딩은 학습된 케이스 플래그(case-flag) 임베딩과 결합되어 멀티 스케일 컨볼루션(커널 너비 2–6)과 3개의 셀프 어텐션 레이어를 통과합니다. 결정적으로, **회전 위치 임베딩(Rotary Position Embeddings, RoPE)**이 적용되어 문자 간의 상대적 오프셋을 포착함으로써, 모델이 절대적 인덱스가 아닌 루트(root)에 대한 접미사의 상대적 위치를 추론할 수 있게 합니다.
2. 경계 탐지기(Boundary Detector): 4개의 RoPE 셀프 어텐션 레이어 스택과 스코어링 헤드가 각 문자 사이의 위치에 대해 경계 확률 $p_i \in [0, 1]$을 예측합니다.
3. 미분 가능한 포아송-이항 세그멘테이션(Differentiable Poisson–Binomial Segmentation): 그래디언트 흐름을 차단하는 비미분적 argmax 연산을 피하기 위해, Morpheus는 미분 가능한 동적 계획법을 채택합니다. 이는 경계 확률을 독립적인 베르누이 시행으로 취급하고, 포아송-이항 분포를 사용하여 소프트 형태소 멤버십 행렬(soft morpheme membership matrix) $M$을 계산합니다.
   • 학습: 그래디언트는 소프트 멤버십 행렬 $M$을 통해 경계 탐지기로 흐르며, 지도 학습 레이블과 자기 지도 학습 목적 함수에 의해 형성됩니다.
   • 추론: 확률이 0 또는 1로 수렴함에 따라, 소프트 행렬은 원-핫(one-hot) 하드 세그멘테이션이 되어 아키텍처 변경 없이 정확한 경계를 복구합니다.
   • 표면 보존(Surface Preservation): 이 메커니즘은 문자를 그룹화할 뿐, 문자를 삽입, 삭제 또는 재작성하지 않습니다. 이를 통해 구조적으로 decode(encode(w)) = w가 성립함을 보장합니다.
4. 단어 임베딩(Word Embedding): 세그먼트 벡터는 $M$에 대한 멤버십 가중치가 적용된 문자 벡터의 어텐션 풀링(attention-pooling)을 통해 계산됩니다. 이들은 피드포워드 네트워크를 통해 최종 320차원 단어 임베딩($e_w$)으로 집계됩니다.

학습 목적 함수 (Training Objectives)

모델은 네 가지 손실 함수의 가중 합으로 학습됩니다:

• 보조 손실 ($L_{aux}$): (루트 교정 기능이 포함된) 비지도 Morfessor 분석기의 레이블에 대한 경계 이진 교차 엔트로피(BCE) 및 카운트 정규화 항입니다. 이 가중치는 0.50에서 0.08까지 커리큘럼 방식으로 감소합니다.
• Skip-Gram 네거티브 샘플링 ($L_{sgns}$): 표준 word2vec 스타일의 목적 함수입니다.
• 대조 학습 손실 ($L_{ctr}$): 루트 동일성에 대한 InfoNCE 손실로, 동일한 루트의 모든 굴절 형태를 하나로 모읍니다.
• 마스크드 언어 모델링 ($L_{mlm}$): 마스킹된 단어가 문자 단위로 재생성되는 어휘 집합이 없는(vocabulary-free) 문자 수준의 재구성 작업입니다.

3. 핵심 기여

1. 통합 모델: Morpheus는 손실 없는 형태소 인식 토크나이저와 구조화된 단어 임베딩 생성기 역할을 동시에 수행하는 최초의 터키어 모델로서, 토큰화와 표현을 통합합니다.
2. 미분 가능한 세그멘테이션: 미분 가능한 포아송-이항 동적 계획법의 도입은 추론 시 정확하고 가역적인 하드 세그멘테이션을 보장하면서도 엔드투엔드(end-to-end) 경계 탐지 학습을 가능하게 합니다.
3. 포괄적 평가: 본 논문은 터키어 토큰화의 새로운 평가 축인 **가역성(reversibility)**을 확립합니다. 이는 많은 고성능 토크나이저들이 비가역적 디코딩 때문에 생성 작업에는 부적합함을 입증합니다.

4. 결과

토크나이징 성능

• 가역성: WordPiece(58.2%)와 규칙 기반 TurkishTokenizer(95.4%)가 각각 다이아크리틱 제거 및 정형화된 정규화로 인해 실패하는 것과 달리, Morpheus는 100% 가역성(decode(encode(w)) = w)을 달もの합니다.
• 형태론적 정렬: MorphScore 벤치마크(UD Turkish-Kenet)에서 Morpheus는 0.61의 macro-F1을 달성하였으며, 이는 서브워드 토크나이저(~0.32)보다 약 두 배 높고, 규칙 기반 TurkishTokenizer(0.65)와 유사한 수준이지만 정보 손실이 있는 디코딩 문제는 없습니다.
• 효율성 및 품질: 가역적 토크나이저 중에서 Morpheus는 가장 낮은 **문자당 비트(BPC)**인 1.425(BPE의 1.436 대비)를 기록했습니다. 또한 생성 시 64K 어휘를 가진 서브워드 토크나이저보다 약 19% 적은 피크 GPU 메모리를 사용합니다.
• 결실도(Fertility): Morpheus는 형태소 수준의 세밀함을 얻기 위한 트레이드오프로서 서브워드 토크나이저(~1.5)보다 높은 단어당 토큰 비율(1.73)을 보입니다.

임베딩 성능

고정된 벡터를 사용하여 BERTurk 및 BGE-M3와 비교 평가한 결과:

• 어휘/루트 관련 작업: Morpheus는 루트 패밀리 검색(MAP 0.85 vs BGE-M3 0.80) 및 동일 루트 검증(ROC-AUC 1.00 vs 0.98)에서 압도적인 우위를 점했습니다. 루트 중심의 기하학적 구조가 굴절 형태들을 효과적으로 클러스터링합니다.
• 문맥/굴절 관련 작업: 문장 문맥이나 미세한 굴절 구분이 필요한 작업(예: NER, 수/격 프로빙)에서는 더 무거운 문맥 인코더(BERTurk, BGE-M3)가 여전히 우수하여, Morpheus는 이 부분에서 다소 낮은 성능을 보였습니다.

5. 의의 및 주장

본 논문은 가역성이 생성 모델을 위한 토크나이저를 결정짓는 결정적인 관문이라고 주장합니다. 비가역적 토크나이저를 걸러냄으로써, Morpheus는 가장 낮은 BPC, 가장 높은 형태론적 정렬, 그리고 가장 낮은 메모리 점유율을 동시에 제공하는 터키어 NLP의 우월한 옵션으로 부상합니다.

저자들은 Morpheus를 문맥 인코더의 대체제가 아니라, 상호 보완적인 형태소 인식 렉시컬 인코더로 포지셔닝합니다. 이 모델의 루트 중심 임베딩은 멀티 벡터 RAG 시스템에서의 렉시컬 검색, 중복 제거, 키워드 매칭에 이상적이며, 문맥 인코더는 문장 수준의 의미론적 처리를 담당합니다.

이 연구는 단일 신경 메커니즘이 토큰화와 표현 사이의 간극을 성공적으로 메울 수 있음을 보여주며, 현재 교착어용으로 사용 가능한 파편화되고, 정보 손실이 있거나, 형태론적 인식이 불가능한 도구들에 대한 "손실 없고, 형태소 인식적이며, 임베딩을 생성하는" 대안을 제시합니다.