Beyond Subtokens: A Rich Character Embedding for Low-resource and Morphologically Complex Languages

1. 문제 정의 (Problem Statement)

기존의 자연어 처리 (NLP) 모델 (Word2Vec, BERT, GPT 등) 은 주로 단어 (Word) 또는 하위 토큰 (Subtoken, 예: WordPiece) 기반의 토큰화 방식을 사용합니다. 이 방식은 다음과 같은 한계를 가집니다.

• 문자적 유사성 및 형태소 정보의 부재: 'quality'와 'qualification'과 같이 철자가 유사하거나 어근을 공유하는 단어들이 하위 토큰화 과정에서 완전히 다른 토큰으로 분리될 경우, 입력 단계에서 두 단어 간의 유사성을 모델이 인지하지 못합니다.
• 저자원 언어 및 고형변화 언어의 취약성: 영어와 달리 어미 변화 (굴절) 가 심한 언어 (라틴어, 아이슬란드어 등) 나 화자 수가 적은 저자원 언어 (페로어 등) 의 경우, 모든 굴절된 형태를 별도의 단어로 학습하기 위한 대규모 코퍼스가 부족합니다.
• 맞춤법 오류 및 변형에 대한 취약성: 사전 기반 모델은 훈련 데이터에 존재하지 않는 철자 변형이나 오타를 처리하지 못합니다.
• 문맥 길이 제한: 문자 단위 (Character-level) 로 입력을 처리하는 기존 트랜스포머 모델은 시퀀스 길이가 급격히 늘어나 메모리 요구량이 제곱으로 증가하여 긴 문맥을 처리하기 어렵습니다.

2. 제안 방법론 (Methodology)

저자들은 풍부한 문자 임베딩 (Rich Character Embedding, RCE) 이라는 새로운 접근법을 제안합니다. 이는 사전이나 하위 토큰 사전 없이, 단어의 문자열 (Character String) 을 직접 입력받아 벡터 표현을 생성하는 트랜스포머 기반 모델입니다.

2.1 입력 표현 (Input Representation)

• 문자 단위 인코딩: 각 단어는 개별 문자의 원-핫 (One-hot) 벡터 시퀀스로 변환됩니다.
• 수정자 (Modifiers) 활용: 대문자, 움라우트 (Umlaut), 악센트 등 특수한 문자 특성을 표현하기 위해 별도의 '수정자 토큰'을 사용합니다.
  • 예: 'T'는 [UP] (대문자 수정자) + [t](기본 문자) 로 인코딩됩니다.
  • 예: 'Liberté'는 [BEG] [UP] [l] [i] [b] [e] [r] [t] [´] [e] [END]와 같이 인코딩됩니다.
• 시퀀스 구조: 각 단어는 [BEG](시작) 와 [END](종료) 토큰으로 감싸지며, 배치 처리를 위해 [PAD]로 패딩됩니다.

2.2 모델 아키텍처 (Model Architecture)

• Transformer Encoder: 입력된 문자 시퀀스를 트랜스포머 인코더를 통해 처리합니다.
• 단어 임베딩 추출: 인코더의 첫 번째 출력 (일반적으로 [BEG] 토큰에 대응) 을 해당 단어의 최종 임베딩 벡터로 사용합니다. 이는 BERT 의 [CLS] 토큰을 문장 임베딩으로 사용하는 방식과 유사합니다.
• 하이브리드 모델: 트랜스포머와 합성곱 신경망 (CNN) 기법을 결합한 하이브리드 모델 (RCE + c2v) 도 제안하여 성능을 극대화했습니다.

2.3 학습 전략 (Training Objectives)

모델은 다음 세 가지 목적을 통해 학습됩니다:

1. 문맥 예측 (Context Prediction): 주변 단어의 문자열을 예측합니다. (단어 ID 가 아닌 문자열 예측을 통해 철자 정보와 문맥을 동시에 학습).
2. 정체성 예측 (Identity Prediction): 입력된 단어의 문자열 자체를 재구성 (Autoencoder 방식) 하여 문법적/구문론적 정보를 벡터에 보존합니다.
3. 사전 기반 문맥 예측 (Context Dictionary Prediction): 전통적인 Word2Vec 방식처럼 주변 단어의 사전 항목을 예측하는 보조 작업을 수행하여 학습 안정성을 높입니다.

3. 주요 기여 (Key Contributions)

1. 사전 없는 단어 임베딩 생성: 사전 (Dictionary) 이나 하위 토큰 사전에 의존하지 않고, 문자열 자체로부터 의미론적 (Semantic) 과 문법적 (Syntactic) 정보를 모두 포함하는 임베딩을 생성합니다.
2. 저자원 및 고형변화 언어 최적화: 희귀한 단어, 철자 변형, 다양한 굴절 형태를 하위 토큰화 없이도 유사한 철자를 가진 단어들의 학습된 표현을 통해 효과적으로 인코딩할 수 있습니다.
3. 플러그인 호환성: 기존 BERT 나 Word2Vec 아키텍처의 임베딩 레이어를 교체하는 'Drop-in Replacement'로 사용 가능하여, 기존 모델의 메모리 요구량을 크게 증가시키지 않으면서 성능을 개선할 수 있습니다.
4. 하이브리드 접근법: 트랜스포머의 장기 의존성 학습 능력과 CNN 의 국소적 패턴 (형태소) 인식 능력을 결합한 모델을 제안했습니다.

4. 실험 결과 (Results)

저자들은 페로어 (Faroese), 라틴어 (Latin), 우즈베크어 (Uzbek) 등 다양한 저자원 및 고형변화 언어를 대상으로 실험했습니다.

• TopK 및 Odd-One-Out (OOO) 평가:
  • 저자원 언어 (페로어, 라틴어, 우즈베크어) 에서 RCE 와 c2v(문자 기반 CNN) 를 결합한 모델이 기존 FastText 보다 TopK 및 OOO 메트릭에서 우월한 성능을 보였습니다.
  • 특히, 타겟 언어가 아닌 관련 언어 (예: 아이슬란드어로 학습하여 페로어 테스트) 로 학습했을 때도 FastText 보다 우수한 일반화 능력을 입증했습니다.
• 굴절 예측 (Declension Prediction):
  • 라틴어 명사의 격 (Case) 과 수 (Number) 를 예측하는 작업에서 RCE 기반 모델이 FastText 보다 훨씬 높은 정확도를 기록했습니다. 이는 모델이 단어의 어근과 어미 변화를 효과적으로 학습했음을 시사합니다.
• 스타일적 장치 감지 (Stylistic Device Detection):
  • 키아스무스 (Chiasmus) 및 은유 (Metaphor) 감지: 독일어 및 중세 고지 독일어 데이터셋에서 RCE 와 c2v 의 결합 모델이 가장 높은 성능을 보였습니다. 특히 CNN 만으로는 성능이 낮았으나, 트랜스포머와 결합했을 때 성능이 크게 향상되어 두 기법이 서로 다른 정보를 보완함을 증명했습니다.
• BERT 기반 모델 적용 (SWAG 태스크):
  • BERT 아키텍처에 RCE 를 임베딩 레이어로 적용한 결과, 기존 WordPiece 기반 BERT 보다 저자원 언어 (페로어) 에서 더 나은 다음 문장 예측 성능을 보였습니다. 특히 아이슬란드어나 노르웨이어로 사전 학습 (Pre-training) 후 페로어로 미세 조정 (Fine-tuning) 할 때 가장 큰 효과를 발휘했습니다.

5. 의의 및 결론 (Significance and Conclusion)

이 논문은 저자원 언어와 형태소적으로 복잡한 언어를 위한 NLP 의 새로운 패러다임을 제시합니다.

• 데이터 효율성: 거대한 코퍼스가 없어도 철자와 형태소 구조를 기반으로 의미 있는 임베딩을 생성할 수 있어, 데이터가 부족한 언어의 NLP 발전에 기여합니다.
• 강건성 (Robustness): 철자 오류, 오타, 다양한 굴절 형태에 대해 사전 기반 모델보다 훨씬 강건한 표현을 제공합니다.
• 확장성: 기존 대규모 언어 모델 (LLM) 의 아키텍처를 변경하지 않고도 임베딩 레이어만 교체하여 성능을 개선할 수 있는 실용적인 솔루션을 제공합니다.

한계점: 현재 방법은 라틴 알파벳 기반의 선형 문자 체계에 최적화되어 있으며, 한자나 일본어와 같은 2 차원 구조를 가진 비알파벳 문자 체계나 키릴 문자, 데바나가리 문자 등 다른 문자 체계로의 확장을 위해서는 추가적인 연구가 필요합니다.

결론적으로, RCE는 하위 토큰의 한계를 극복하고, 문자 수준의 정보를 풍부하게 활용하여 저자원 언어의 자연어 이해 능력을 획기적으로 향상시킬 수 있는 유망한 방법론입니다.