KOMBO: Korean Character Representations Based on the Combination Rules of Subcharacters

"부자모 조합 규칙에 기반한 한국어 문자 표현 (KOMBO)" 논문에 대한 상세한 기술적 요약은 다음과 같습니다.

1. 문제 제기

현재 한국어용 사전 학습 언어 모델 (PLM) 은 영어 NLP 에서 차용된 서브워드 토큰화 방법 (예: BPE, WordPiece, SentencePiece) 에 크게 의존하고 있습니다. 영어에는 효과적이지만, 이러한 방법들은 한글이라는 한국어 고유 문자 체계의 구조적 특성을 고려하지 못합니다.

• 언어학적 격차: 한글은 자모 (초성, 중성, 종성) 로 구성된 문자 (음절) 가 특징을 가진 표음 문자 체계입니다.
• 한계: 서브워드 기반 접근법은 한글 문자를 불투명한 단위로 취급하거나 빈도에 따라 임의로 분해합니다. 이는 자모의 공간적 배열을 규정하는 역사적 문서인《훈민정음》(1446 년) 에 명시된 조합 규칙을 무시합니다 (예: 초성이 중성 위나 왼쪽에 배치되고, 종성이 아래에 배치됨).
• 결과: 이러한 간과로 인해 다음과 같은 문제들이 발생합니다.
  • 구조적 언어 정보 손실 (예: 형태소 사이에 자모가 삽입되는 합성어 처리의 어려움).
  • 오타 및 형태론적 변형 (활용) 에 대한 낮은 강건성.
  • 문자 단위 모델 대비 비효율적인 어휘 크기.

2. 방법론: KOMBO 프레임워크

저자들은 한글의 설계 원리를 신경망 아키텍처에 직접 통합한 KOMBO(KOrean character representations based on the coMBinatiOn rules of subcharacters) 라는 새로운 프레임워크를 제안합니다.

핵심 아키텍처

이 모델은 표준적인 "서브워드 → 문자" 접근법이 아닌 "자모 → 문자" 계층 구조로 작동합니다.

1. 초기 표현 (자모 토큰화):

   • 입력 텍스트를 원자 단위인 자모(초성, 중성, 종성) 단위로 분해합니다.
   • 종성이 없는 문자의 경우, 모든 문자가 정확히 세 개의 자모 단위로 표현되도록 특수한 빈 토큰을 사용합니다.
   • 이러한 자모 단위는 벡터 공간에 임베딩됩니다.

2. 맥락화:

   • 병합하기 전에, 모델은 자모 임베딩 시퀀스에 로컬 트랜스포머 블록을 적용한 후 **게이트 순환 유닛 (GRU)**을 적용합니다. 이를 통해 자모의 국소적 맥락과 순차적 의존성을 포착합니다.

3. 자모 조합 (핵심 혁신):

   • 단순 연결이 아닌, 모델은《훈민정음》규칙에 따라 자모 단위를 병합합니다.
     • 단계 1 (융합): 초성과 중성은 원소별 덧셈을 통해 병합됩니다 (수평적 또는 좌상단 관계 반영).
     • 단계 2 (수직 연결): 생성된 표현은 종성과 수직으로 연결됩니다 (하단 위치 반영).
     • 단계 3 (집계): 합성곱 층 ($2 \times 1$ 커널 사용) 과 평균 풀링이 연결된 벡터를 처리하여 조밀하고 통합된 문자 표현을 생성합니다.

4. 트랜스포머 스택:

   • 생성된 문자 표현은 고차원 맥락화를 위해 표준 트랜스포머 인코더 (BERT 와 유사) 로 입력됩니다.

5. 자모 복원:

   • 마스킹 언어 모델링과 같은 토큰 수준 작업을 수행하기 위해, 모델은 문자 표현을 구성 자모 단위로 다시 재구성합니다.
   • 이는 문자 벡터를 복제하여 원래 자모 임베딩에 추가 (U-Net 스킵 연결에서 영감) 한 후 GRU 레이어를 통과시켜 연속성을 보장하는 과정을 포함합니다.

6. 스팬 - 자모 마스킹:

   • 사전 학습 중 무작위 토큰을 마스킹하는 대신, 모델은 연속된 세 개의 자모(한 개의 완전한 문자: 초성 + 중성 + 종성) 를 마스킹합니다. 이는 모델이 자모 간의 구성 관계를 학습하도록 강제합니다.

3. 주요 기여

• 첫 번째 원리 접근법: 이 논문은 통계적 토큰화를 넘어 한글의 역사적 창제 원리 (《훈민정음》) 에 한국어 PLM 아키텍처를 명시적으로 근거한 최초의 연구입니다.
• 새로운 아키텍처: 한국어 문자의 공간적 구성을 수학적으로 모방하는 계층적 병합 메커니즘을 도입했습니다.
• 스팬 - 자모 마스킹: 임의의 서브워드가 아닌 한국어 문자 (음절 블록) 의 언어적 단위에 부합하는 마스킹 전략을 제안합니다.
• 종합적 평가: 표준 NLU, 노이즈가 있는 텍스트, 혐오 표현 감지 등 다양한 작업에서 서브워드 단위 모델링보다 자모 단위 모델링이 더 우수함을 입증했습니다.

4. 실험 결과

저자들은 KOMBO(특히 KOMBO-Jamo 변형) 를 Stroke, Cji, BTS, Jamo, Character, Morpheme, Subword, MorSubword 등 다양한 토큰화 기준 모델과 비교하여 표준 및 노이즈가 있는 데이터셋에서 평가했습니다.

• 표준 NLU 작업:

  • KOMBO-Jamo 는 KorQuAD, KorNLI, KorSTS, NSMC, PAWS-X 등 다섯 가지 작업에서 최첨단 한국어 PLM(MorSubword) 대비 평균 2.11% 향상을 달성했습니다.
  • 5 개 작업 중 4 개에서 최상의 결과를 거두었으며, 특히 기계 독해 (KorQuAD) 와 의미 유사성 (KorSTS) 에서 뛰어난 성능을 보였습니다.
  • 효율성: 서브워드 모델 (32k) 에 비해 어휘 크기가 170 에 불과함에도 불구하고, 거대한 어휘를 가진 모델들을 능가했습니다.

• 오타에 대한 강건성 (노이즈 데이터):

  • 삽입, 전치, 치환, 삭제 등 주입된 오타 실험에서 KOMBO-Jamo 는 서브워드 기반 모델보다 훨씬 높은 강건성을 보여주었습니다.
  • 오타율이 증가함에 따라 KOMBO-Jamo 와 서브워드 모델 간의 성능 격차가 벌어졌으며, 이는 자모 구조 이해가 모델의 오류 복구 능력을 향상시킨다는 것을 입증했습니다.

• 혐오 표현 감지:

  • KOMBO-Jamo 는 세 가지 혐오 표현 데이터셋 (BEEP!, K-MHaS, KOLD) 에서 가장 높은 Macro F1 점수를 달성했습니다.
  • 이 모델은 서브워드 모델이 종종 잘못 토큰화하여 의미 연결을 끊는 데 사용되는 insult(예: "강아지"를 비하하는 용어) 과 같은 합성어를 더 잘 처리했습니다.

• 절제 연구 (Ablation Studies):

  • 맥락화 층을 제거하면 성능이 급격히 하락 (~16%) 하여, 병합 전에 자모 맥락을 이해하는 것이 필수적임을 입증했습니다.
  • 스팬 - 자모 마스킹을 제거하면 성능이 저하되어 문자 구성 학습의 중요성을 확인했습니다.
  • 제안된 조합 규칙 대신 표준 다운샘플링 방법 (Attention/Linear pooling) 을 사용하면 10% 이상의 성능 저하가 발생하여 병합 층의 특정 설계를 검증했습니다.

5. 의의 및 결론

이 논문은 접미사 언어와 특징적 언어에 대한 "일률적"인 서브워드 토큰화 패러다임을 근본적으로 도전합니다.

• 언어학적 정렬: 순수 통계적 접근법보다 언어 (이 경우 한글) 의 고유한 구조 규칙과 신경 아키텍처를 정렬할 때 더 우수한 성능과 강건성을 얻을 수 있음을 입증했습니다.
• 효율성: 아키텍처가 언어의 형태론을 존중할 때, 소규모의 원칙적인 어휘 (자모) 가 대규모의 데이터 기반 어휘 (서브워드) 를 능가할 수 있음을 보여줍니다.
• 미래 영향: 이 프레임워크는 복잡한 형태론적 또는 특징적 구조를 가진 언어의 경우, "원자"적인 구성 요소와 그 조합 규칙을 명시적으로 모델링하는 것이 차세대 PLM 에 있어 중요한 단계임을 시사합니다. 저자들은 또한 향후 이 계층적 접근법을 서브워드 수준 표현으로 확장할 가능성도 언급했습니다.