Ossetic-COT: Designing a morphologically annotated corpus and morphological analyzer for Ossetic

기술 요약: Ossetic-COT

문제 제기
북카프카스 지역에서 주로 사용되는 이란어족 언어인 오세티아어(Ossetic)는 Universal Dependencies(UD) 스키마를 준수하는 형태론적 중의성 해소 코퍼스가 부족하다. 기존에 두 개의 코퍼스인 오세티아 국립 코퍼스(ONC)와 구어 텍스트 코퍼스(COT)가 존재하지만, 두 코퍼스 모두 고품질의 형태론적 분석을 위한 요구 사항을 충족하지 못한다. ONC는 문맥을 고려하지 않은 자동 주석(Uniparser-Morph)에 의존하여 단어당 여러 가능성을 가진 모호한 태그를 생성한다. 구전 텍스트로 구성된 COT는 수동 인터리니어 글로싱(interlinear glossing)을 포함하고 있으나, 표준 UD 형식으로 변환하기 어려운 불완적이고 거친 수준의 주석만을 제공한다. 이러한 표준화되고 중의성이 해소된 자원의 부재는 NLP 도구의 개발을 저해하고 교육 및 언어학 연구를 위한 코퍼스의 활용도를 제한한다.

방법론
저자들은 철의(Iron) 방언 오세티아어를 위한 형태론적 주석 코퍼스를 구축하고 BERT 기반의 형태 분석기를 학습시킴으로써 이 간극을 해결한다.

1. 코퍼스 구축 및 주석 처리:

   • 출처: 본 연구는 COT(60,000 토큰)를 활용하며, 러시아어 콘텐츠를 필터링하여 5,454개 문장(73,042 토큰)을 추출하였다.
   • 변환 워크플로우: 과정은 다섯 단계로 진행되었다: 대상 언어가 아닌 콘텐츠 필터링, 수동 문장 분절 및 토큰화, 원래의 태그를 UD v2 인벤토리에 매핑(미지정 대명사 항목 보강 및 누락된 특징 값 추가), 오세티아 형태론 전문가에 의한 수동 정제, 그리고 CoNLL-U 형식으로의 자동 변환.
   • 주석 가이드라인: 오세티아어 특유의 언어적 특이성을 수용하기 위해 저자들은 표준 UD 가이드라인을 확장하였다:
     • 품사(POS) 중의성 해소: 명사적 실체(substantives) 중 명확한 형태적 경계가 없는 경우(예: 의존 구조에 기초하여 형용사와 부사를 구분하는 것 등)를 구분하기 위해 문맥 의존적 규칙을 구현하였다.
     • 조동사(Auxiliaries): 복합 술어, 계사(copulas), 분석적 구문에서의 경동사(light verbs)를 일반 어휘 동사와 구분하기 위해 별도의 AUX 태그를 도입하였다.
     • 대명사: 한정사가 동사의 논항 역할을 하는 경우 PRON으로 태깅하는 문맥 기반 접근 방식을 채택하였다.
     • 격(Case) 체계: Dir(지향격)과 Rcs(후퇴격)를 추가하였다. 결정적으로, 저자들은 무생물 수량 대상에 대해 격 변화를 구분하기 위해 '수격(numerative)'을 Case 특징의 값으로 도입하였으며, 이는 차별적 목적어 표시(DOM) 원리를 적용한 것이다.
     • 비정형 형태(Non-finite Forms): 오세티아의 광범위한 비정형 형태를 포괄하기 위해 VerbForm 특징을 Inf2, Part2, Dest, Red(중첩형)로 확장하였다.
     • 접두사(Prefixes): 양상 접두사와 명사 접두사(ӕнӕ, ӕд)를 처리하기 위해 Preverb=Yes 및 Prenoun=Yes 특징을 도입하였다.

2. 모델 학습:

   • 사전 학습: 두 개의 BERT 기반 모델이 라벨이 없는 ONC(약 100만 문장)를 통해 사전 학습되었다: 표준 다국어 BERT(mBERT)와 오세티아 데이터로 학습된 커스텀 임베딩 레이어 및 WordPiece 토크나이저를 갖춘 "Ossetic BERT"이다.
   • 미세 조정(Fine-tuning): 두 모델 모두 새로 생성된 주석 처리된 COT 데이터셋을 사용하여 형태론적 레이블링 작업을 수행하도록 미세 조정되었다. 모델은 train/validation/test 분할(8:1:1)을 사용하여 평가되었다.

주요 기여

• Ossetic-COT 코퍼스: UD v2 스키마를 준수하며 5,454개의 수동 중의성 해소 문장을 포함하는, 철의 오세티아어를 위한 최초의 형태론적 주석 코퍼스를 구축하였다.
• 주석 프레임워크: 오세티아 형태론의 내재적 중의성(예: 품사 간의 유동적 경계, 수격, 비정형 동사 형태 등)을 해결하는 언어 특화적 주석 가이드라인을 제공한다.
• 베이스라인 형태 분석기: 언어의 벤치마크 역할을 하는 학습된 BERT 기반 형태 분석기를 제공한다.

결과

• 성능: 다국어 BERT(mBERT) 기반 분석기는 단어 수준 태그 정확도 **95.60%**와 문장 정확도 61.54%를 달달성하였다. 커스텀 "Ossetic BERT"는 95.47%의 정확도로 약간 더 낮은 성능을 보였으며, 이에 따라 저자들은 mBERT 모델을 최종 베이스라인으로 선택하였다.
• 오류 분석: 모델은 대부분의 품사 범주에서 우수한 성능을 보였으나, 특정 동음이의어, 특히 Noun/Adp, GEN/NUM, 그리고 다양한 인칭/수 조합에서 어려움을 겪었다. 저자들은 이러한 오류를 데이터 부족, 구어 코퍼스의 어휘적 한계, 그리고 문맥만으로는 확정적 중의성 해소가 불충분한 내재적 모호성 때문으로 분석하였다.
• 특징 추출: 모델은 대부분의 형태론적 특징을 성공적으로 해결하였으나, 특정 비정형 동사 형태를 식별하거나 조동사와 어휘 동사의 사용을 구분하는 데 있어 오류가 지속되었다.

의의 및 주장
본 논문은 Ossetic-COT 코퍼스와 그에 따른 분석기가 오세티아어 NLP를 위한 기초적인 단계라고 주장한다. 코퍼스는 언어의 형태론적 특징 대부분을 포착하고 있으므로 신경망 형태 분석기 학습, 언어학 연구 및 교육적 응용에 적합한 자원으로 제시된다. 저자들은 제공된 모델을 "초기 신경 형태 분석기"이자 데이터셋 복잡도를 평가하기 위한 벤치마크로 겸허하게 위치시킨다. 또한, 구어적 특성과 제한된 어휘 다양성(COT)으로 인해 모델의 성능이 도메인 외 데이터나 복잡한 문어체 레지스터에서 저하될 수 있음을 명시하며, ONC의 문어 데이터를 통합하는 것을 향후 주요 연구 방향으로 제시하였다.