SCRIPT: A Subcharacter Compositional Representation Injection Module for Korean Pre-Trained Language Models

1. 연구 배경 및 문제 제기 (Problem)

• 한글의 구조적 특성과 언어 모델의 한계: 한국어는 '자모 (Jamo)'라고 불리는 하위 문자 단위로 체계적으로 구성된 표음문자 (Featural Writing System) 입니다. 각 한글 자음 (초성), 모음 (중성), 종성 (종성) 은 고정된 공간 배치와 순서 (초성→중성→종성) 를 따르며, 이 조합은 단순한 표기를 넘어 문법적, 의미적, 음운론적 과정 (예: 시제 변화, 명사화, 음운 동화) 을 결정합니다.
• 기존 모델의 결함: 현재 대부분의 한국어 사전 학습 언어 모델 (PLM) 은 '서브워드 (Subword)' 토큰화 방식을 사용합니다. 이는 어휘적 의미는 잘 포착하지만, 한글의 내부적인 구성 구조 (자모 수준의 결합 규칙) 를 명시적으로 반영하지 못합니다.
• 실제 언어 사용의 증거: 대규모 코퍼스 분석 결과, 한국어의 형태소 변형 (Morphological variations) 의 92.75% 가 자모 (Subcharacter) 수준에서 발생합니다 (예: '춥다'의 과거형 '추웠다'에서 'ㅂ'이 'ㅜ'로 변하고 'ㄷ'이 추가되는 과정). 기존 서브워드 기반 모델은 이러한 미세한 자모 수준의 문법적 변화를 효과적으로 학습하거나 생성하는 데 한계가 있습니다.

2. 제안 방법론: SCRIPT (Methodology)

저자들은 기존 PLM 의 아키텍처를 변경하거나 추가적인 사전 학습 (Pre-training) 없이, 스크립트 (SCRIPT) 라는 경량화된 플러그인 모듈을 제안합니다. 이는 서브워드 임베딩에 자모 수준의 구성 지식을 주입하는 모델 중립적 (Model-agnostic) 인 접근법입니다.

핵심 아키텍처 및 작동 원리

1. 이중 채널 전략 (Dual-Channel Strategy):
   • 채널 1 (기존): PLM 의 원래 서브워드 토큰 시퀀스를 기존 임베딩 레이어를 통해 처리합니다.
   • 채널 2 (SCRIPT): 입력 텍스트를 자모 (Jamo) 단위로 분해하여, 한글의 구성 원리 (초성, 중성, 종성의 결합 규칙) 를 반영한 구조 인식 (Structure-aware) 서브워드 표현을 생성합니다.
2. SCRIPT 의 2 단계 압축 과정:
   • Stage 1 (자모 → 문자): 입력된 자모 시퀀스 (초성, 중성, 종성) 를 GRU 기반 순차 구성 레이어를 통해 처리합니다. 한글의 공간적 배치 (초성 - 중성은 수평/수직, 종성은 하단) 와 순서 (초→중→종) 를 반영하여 초성과 중성을 합친 후 종성을 수직으로 결합하는 방식으로 문자 (Character) 수준의 표현을 생성합니다.
   • Stage 2 (문자 → 서브워드): 생성된 문자 표현들을 다시 서브워드 단위로 압축합니다. 서브워드 내 문자들의 순차적 결합을 고려하여 GRU 를 적용한 후, 서브워드 경계에서의 최종 문자 표현을 선택하여 서브워드 표현을 완성합니다.
3. 표현 융합 (Fusion):
   • SCRIPT 가 생성한 구조 인식 서브워드 표현과 PLM 의 기존 서브워드 임베딩을 크로스 어텐션 (Cross-Attention) 레이어를 통해 융합합니다. 이를 통해 PLM 이 가진 풍부한 의미 정보와 한글의 구조적 정보가 결합된 최종 임베딩을 생성합니다.

3. 주요 기여 (Key Contributions)

1. 실증적 분석: 한국어의 형태소 변형이 대부분 자모 (Subcharacter) 수준에서 발생함을 대규모 코퍼스 분석을 통해 입증하고, 이에 대한 모델링의 필요성을 제시했습니다.
2. SCRIPT 모듈 개발: 기존 PLM 의 임베딩 레이어에 직접 연결 가능한 모델 중립적 모듈을 제안하여, 아키텍처 변경 없이 자모 수준의 구성 지식을 주입했습니다.
3. 성능 및 분석: 다양한 한국어 NLU(이해) 및 NLG(생성) 태스크에서 모든 베이스라인 모델을 개선시켰으며, 임베딩 공간이 문법적 규칙과 의미적 일관성을 더 잘 포착하도록 재구성됨을 언어학적 분석을 통해 증명했습니다.

4. 실험 결과 (Results)

• NLU 태스크 (이해): KorNLI, KorSTS, NSMC, PAWS-X 및 KoBEST(BoolQ, COPA, WiC, HellaSwag, SentiNeg) 등 9 가지 태스크에서 SCRIPT 를 적용한 모델 (BERT, KoGPT2, KoGPT3, EXAONE 등) 이 모든 베이스라인보다 평균 1.6%p 이상의 성능 향상을 보였습니다. 특히 복잡한 추론이 필요한 KoBEST 태스크에서 기존 자모 기반 모델 (KOMBO) 보다 우수한 성능을 기록했습니다.
• NLG 태스크 (생성): KoCommonGen(상식 추론), XL-Sum(요약), Kor-Learner(문법 오류 수정) 등에서 일관된 개선을 보였습니다.
  • Kor-Learner: 학습자 텍스트의 문법 오류 (조사, 어미, 활용 등) 수정 성능이 기존 최상위 모델 대비 평균 3.2%p 이상 향상되었습니다. 이는 자모 수준의 미세한 차이가 중요한 한국어 문법 오류 수정에 SCRIPT 가 효과적임을 시사합니다.
  • 생성 품질: KoCommonGen 에서 BLEU, ROUGE, METEOR 등 모든 생성 지표에서 향상되었으며, 특히 자모 수준의 뉘앙스 (예: '위'와 '옆'의 구분) 를 정확히 파악하는 능력이 개선되었습니다.
• 효율성: SCRIPT 는 추가적인 사전 학습이 필요 없으며, KOMBO 와 같은 기존 자모 기반 모델에 비해 메모리 사용량과 학습 시간이 훨씬 적게 증가합니다 (약 2 배 미만의 오버헤드).

5. 의의 및 결론 (Significance)

• 표현 공간의 재구성: SCRIPT 는 단순히 성능을 높이는 것을 넘어, 모델의 임베딩 공간이 한국어의 문법적 규칙 (예: 시제 변화에 따른 자모 변형) 과 의미적 일관성을 더 잘 반영하도록 구조화됨을 PCA 시각화 등을 통해 증명했습니다.
• 실용적 접근: 기존 PLM 의 아키텍처를 건드리지 않고 플러그인 형태로 적용 가능하므로, 대규모 모델 (LLM) 에도 쉽게 적용할 수 있습니다. 이는 한국어 NLP 분야에서 표음문자의 구조적 특성을 활용하는 새로운 표준을 제시합니다.
• 향후 방향: 한국어뿐만 아니라 복잡한 내부 구조를 가진 다른 언어 (예: 중국어 등) 로의 확장 가능성과 더 큰 규모의 모델에서의 효과 검증이 향후 과제로 제시되었습니다.

요약하자면, SCRIPT 는 한글의 고유한 자모 구성 원리를 기존 언어 모델에 효율적으로 주입하여, 문법적 정확성과 의미적 일관성을 동시에 향상시킨 혁신적인 모듈입니다.