Creating a Hybrid Rule and Neural Network Based Semantic Tagger using Silver Standard Data: the PyMUSAS framework for Multilingual Semantic Annotation

이 논문은 USAS 프레임워크의 규칙 기반 시맨틱 태거를 다국어 신경망 모델과 실버 표준 데이터로 보완하여 성능을 향상시키고, 이를 검증하기 위한 대규모 평가와 오픈 소스 리소스를 제안합니다.

핵심

이 논문은 **"단어의 의미를 컴퓨터가 어떻게 더 잘 이해하게 할 것인가?"**에 대한 흥미로운 실험입니다. 복잡한 기술 용어 대신, 일상적인 비유를 들어 쉽게 설명해 드리겠습니다.

🍳 요리사와 인공지능의 만남: '하이브리드' 시그너

이 연구의 핵심은 **미국어 (USAS)**라는 '의미 분류 체계'를 사용하는 것입니다. 마치 도서관에서 책을 주제별 (역사, 과학, 요리 등) 로 분류하는 것처럼, 단어도 그 의미를 232 개의 카테고리 (예: '음료', '감정', '사물' 등) 로 나누어 태그를 붙이는 작업입니다.

연구진은 이 작업을 수행하는 두 가지 방식의 '요리사'를 비교하고 결합했습니다.

1. 규칙 기반 요리사 (Rule-Based System)

• 비유: 아주 정교한 레시피 책을 가진 요리사입니다.
• 작동 원리: "커피"라는 단어가 나오면 레시피 책 (사전) 을 펼쳐 "음료 (F2)"라고 적혀 있으니, 무조건 '음료' 태그를 붙입니다.
• 장점: 레시피에 있는 단어는 100% 정확하게 분류합니다.
• 단점: 레시피 책에 없는 생소한 단어나 새로운 표현이 나오면 "이건 모르겠다"라고 손을 들고 멈춰버립니다. (사전의 한계)

2. 신경망 기반 요리사 (Neural Network)

• 비유: 수많은 요리를 경험해 본 천재적인 요리사입니다.
• 작동 원리: 레시피 책이 없어도, 주변 문맥을 보고 "아, 이 문장에서는 '커피'가 '음료'일 가능성이 높구나"라고 추측합니다.
• 장점: 레시피 책에 없는 생소한 단어라도 문맥을 보고 유추할 수 있습니다.
• 단점: 하지만 훈련 데이터가 부족하면 가끔 엉뚱한 추측을 하기도 합니다.

3. 이 연구의 혁신: '실버 표준' 데이터와 하이브리드 모델

여기서 가장 중요한 문제가 있었습니다. 인공지능 (신경망) 을 가르치려면 사람이 직접 정답을 적은 '훈련 데이터'가 필요한데, 이 작업은 너무 비싸고 시간이 많이 걸립니다.

• 해결책 (실버 표준 데이터): 연구진은 사람이 직접 만든 데이터 대신, 가장 정교한 '규칙 기반 요리사'가 만든 데이터를 훈련 자료로 사용했습니다. 이를 '실버 (Silver) 표준'이라고 부릅니다. (순금은 아니지만, 은만큼이나 가치 있다는 뜻입니다.)

  • 이 데이터를 바탕으로 인공지능을 훈련시켰더니, 인공지능이 규칙 기반 요리사의 실력을 따라잡고 심지어 넘어서는 성과를 냈습니다.

• 하이브리드 모델 (최고의 팀):

  • 연구진은 두 요리사를 한 팀으로 묶었습니다.
  • 작동 방식: 먼저 규칙 기반 요리사가 "이건 내 레시피에 있어!"라고 답하면 그걸 믿습니다. 하지만 규칙 기반 요리사가 "이건 모르겠어"라고 할 때, 인공지능 요리사가 "문맥상 이건 '감정'일 거야!"라고 대신 답합니다.
  • 결과: 이 팀은 두 요리사 모두의 장점을 가져가서, 어떤 언어든 가장 정확하게 단어를 분류했습니다.

🌍 5 개 언어로 확장된 실험

이 연구는 영어뿐만 아니라 웨일스어, 아일랜드어, 핀란드어, 중국어 등 5 개 언어로 실험을 진행했습니다.

• 놀라운 발견: 인공지능은 영어 데이터로만 훈련되었음에도 불구하고, 중국어에서는 규칙 기반 요리사보다 훨씬 잘 작동했습니다.
  • 이유: 인공지능이 훈련되기 전에 이미 거대한 중국어 데이터를 많이 접해봤기 때문입니다. (마치 영어를 배우면서 중국어 문법도 어느 정도 익힌 것과 비슷합니다.)
  • 반면, 데이터가 부족한 아일랜드어나 웨일스어에서는 규칙 기반 요리사의 도움을 더 많이 받았습니다.

🎯 결론: 왜 이 연구가 중요한가요?

1. 데이터가 없어도 된다: 사람이 일일이 정답을 적지 않아도, 기존에 만들어진 규칙 시스템을 이용해 인공지능을 가르칠 수 있음을 증명했습니다.
2. 언어 장벽을 넘다: 영어로 훈련된 인공지능이 다른 언어 (특히 데이터가 풍부한 중국어) 에서도 잘 작동한다는 것을 보여주었습니다.
3. 오픈 소스 공개: 연구진은 이 모든 데이터와 코드를 공개했습니다. 이제 누구나 이 '하이브리드 요리사 팀'을 무료로 사용할 수 있게 되었습니다.

한 줄 요약:

"완벽한 레시피 책 (규칙) 과 천재적인 직감 (인공지능) 을 합쳐, 5 개 언어의 단어를 더 빠르고 정확하게 분류하는 새로운 시스템을 만들었습니다."

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 기존 연구의 한계: 단어 의미 분해 (WSD, Word Sense Disambiguation) 연구는 주로 WordNet, BabelNet, Oxford Dictionary 등 세밀한 의미 체계 (Sense Inventory) 를 기반으로 진행되어 왔습니다. 반면, USAS (UCREL Semantic Analysis System) 프레임워크는 232 개의 범주로 구성된 더 거시적이고 계층적인 의미 체계를 제공하며 다국어에 적용 가능하지만, 이에 대한 광범위한 평가나 신경망 기반 모델 연구는 부족했습니다.
• 데이터 부족: USAS 태깅을 위한 대규모 수동 주석 (Manually Annotated) 학습 데이터가 부족하여 신경망 모델의 학습이 어려웠습니다. 기존 규칙 기반 시스템은 어휘 레퍼런스 (Lexicon) 에 의존하므로 어휘 커버리지 (Lexical Coverage) 가 제한적이며, 새로운 단어가 등장할 경우 태깅이 불가능합니다.
• 목표: USAS 프레임워크를 기반으로 한 규칙 기반 시스템의 한계를 극복하고, 신경망 (Neural Network) 과 규칙 기반 시스템을 결합한 하이브리드 모델을 개발하여 다국어 (영어, 아일랜드어, 핀란드어, 웨일스어, 중국어) 환경에서 성능을 평가하는 것입니다.

2. 방법론 (Methodology)

2.1. 실버 표준 (Silver Standard) 데이터 생성

• 학습 데이터 구축: 수동 주석 데이터의 부재를 해결하기 위해, 기존에 개발된 **규칙 기반 영어 태거 (C 버전)**를 사용하여 약 500 만 개의 영어 토큰을 자동으로 태깅하여 '실버 라벨 (Silver Label)' 데이터셋을 생성했습니다.
• 음성 샘플링 (Negative Sampling): 신경망 모델 학습을 위해 각 긍정적 (Positive) USAS 태그 3 개당 3 개의 부정적 (Negative) 태그를 무작위로 샘플링했습니다. 샘플링 전략은 원래 분포, 역빈도 (Inverse Frequency), 역빈도의 로그 (Log Inverse) 등 3 가지 가중치 분포를 사용하여 레이블 불균형을 완화했습니다.
• 평가 데이터: 영어, 핀란드어, 웨일스어, 아일랜드어에 대한 기존 수동 주석 데이터와, 논문의 저자들이 새로 생성한 **중국어 뉴스 코퍼스 (News Report)**를 포함하여 총 5 개 언어의 벤치마크를 구성했습니다.

2.2. 모델 아키텍처

• 규칙 기반 모델 (Rule-Based): PyMUSAS 프레임워크를 사용했습니다. 이는 단어의 표제어 (Lemma) 와 품사 (POS) 를 기반으로 사전 (Lexicon) 을 조회하여 USAS 태그를 할당하는 방식입니다. 다중 단어 표현 (MWE) 과 단일 단어 레퍼런스를 모두 지원합니다.
• 신경망 모델 (Neural Network): **WSD Bi-Encoder Model (BEM)**을 기반으로 한 모델을 사용했습니다.
  • 구조: 문맥 인코더 (Context Encoder) 가 입력 문장을 인코딩하고, Gloss 인코더 (Gloss Encoder) 가 각 USAS 태그의 정의 (Gloss) 를 인코딩합니다. 두 인코더는 공유된 사전 훈련 언어 모델 (PLM) 을 사용합니다.
  • 학습: 주어진 단어와 3 개의 부정적 샘플, 1 개의 긍정적 샘플 사이에서 올바른 의미 (Gloss) 를 선택하도록 교차 엔트로피 손실 함수 (Cross-entropy loss) 로 학습되었습니다.
  • 사용된 PLM: 영어 전용 모델 (Ettin-Enc) 과 다국어 모델 (MMBERT) 의 Small/Base 변형 4 가지가 사용되었습니다.
• 하이브리드 모델 (Hybrid Model): 규칙 기반 모델이 어휘에 없는 단어를 처리하지 못할 때 (Lexical Coverage 부족), 신경망 모델을 백오프 (Back-off) 모델로 사용하여 태깅을 수행하는 방식으로 통합되었습니다.

3. 주요 기여 (Key Contributions)

1. 최초의 USAS 전용 신경망 태거: 수동 주석 데이터 없이 영어 실버 라벨 데이터만으로 훈련된 영어 및 다국어 USAS 신경망 태거를 최초로 개발했습니다.
2. 하이브리드 아키텍처 제안: 규칙 기반 시스템의 커버리지 한계를 신경망 모델로 보완하는 하이브리드 모델의 유효성을 입증했습니다.
3. 광범위한 다국어 평가: 5 개 언어 (영어, 중국어, 핀란드어, 아일랜드어, 웨일스어) 에 대해 규칙, 신경망, 하이브리드 모델을 최초로 비교 평가했습니다.
4. 오픈 리소스 공개:
   • 중국어 USAS 수동 주석 코퍼스 (최초 공개).
   • 영어 실버 라벨 학습 데이터셋.
   • 훈련된 모델 및 전체 소스 코드 (PyMUSAS 프레임워크 통합).

4. 실험 결과 (Results)

• 성능 비교:
  • 하이브리드 모델의 우위: 대부분의 언어와 평가 지표 (Top-1, Top-5 정확도) 에서 하이브리드 모델이 단일 규칙 기반 또는 단일 신경망 모델보다 우수한 성능을 보였습니다.
  • 신경망 모델의 한계: 영어와 웨일스어 등에서는 규칙 기반 모델의 성능이 높아 하이브리드 모델이 규칙 기반 모델의 성능에 제한을 받기도 했습니다 (규칙 기반 모델이 높은 Recall 을 보일 경우 신경망 모델이 개입할 기회가 적음).
  • 중국어 특이성: 중국어에서는 규칙 기반 모델의 성능이 낮았기 때문에, 신경망 모델 (NMulS, NMulB) 이 규칙 기반 및 하이브리드 모델보다 훨씬 높은 성능을 기록했습니다. 이는 사전 훈련 데이터에 중국어와 영어가 대량 포함되어 있었기 때문으로 분석됩니다.
• 모델 크기 영향: 일반적으로 모델이 클수록 성능이 좋았으나, 영어의 경우 작은 언어 전용 모델 (NEngB) 이 큰 다국어 모델 (NMulB) 과 유사한 성능을 보여, 언어별 최적화된 모델의 중요성을 시사했습니다.
• Top-1 vs Top-5: Top-5 정확도에서는 신경망 모델이 규칙 기반 모델을 능가하는 경우가 많았으나, Top-1 정확도에서는 하이브리드 모델이 가장 안정적이었습니다.

5. 의의 및 결론 (Significance & Conclusion)

• USAS 프레임워크의 확장: USAS 와 같은 거시적 의미 체계에서도 신경망 기반 접근법이 유효함을 입증하여, 기존 규칙 기반 시스템의 한계를 극복하는 새로운 패러다임을 제시했습니다.
• 저자원 언어 (Low-Resource Languages) 에 대한 시사점: 영어 실버 데이터로 훈련된 모델이 중국어와 같은 다른 언어에서도 일정 수준 이상 작동함을 보였으나, 아일랜드어, 핀란드어, 웨일스어와 같은 저자원 언어에서는 성능이 떨어졌습니다. 이는 해당 언어의 사전 훈련 데이터 양이 부족했기 때문으로, 언어별 특화 PLM 사용이나 해당 언어의 실버 데이터 생성 필요성을 강조합니다.
• 향후 연구 방향: 하이브리드 모델에서 규칙 기반과 신경망 모델 각각의 기여도를 분리하여 분석하고, 저자원 언어를 위한 실버 데이터 생성 방법론을 확장하는 것이 향후 과제로 제시되었습니다.

이 연구는 PyMUSAS 프레임워크를 통해 다국어 의미 태깅의 새로운 기준을 마련하고, 오픈 소스 리소스를 통해 향후 연구자들의 접근성을 높였다는 점에서 의의가 큽니다.