UD-Quran: A Universal Dependencies Conversion of the Extended Quranic Treebank for Interoperable Quranic/Classical Arabic Parsing

기술 요약: UD-Quran

문제 정의
꾸란 아랍어는 안정적이고 정전적인 텍스트를 보유하고 있으나, 그 계산적 인코딩은 통일성이 결여되어 있다. 철자법, 모음 부호(diacritization), 그리고 가장 결정적으로 클리틱(clitic) 분절 방식에서의 상이한 관행은 서로 호환되지 않는 토큰 목록을 생성하여, 현대 자연어 처리(NLP)에서의 자원 간 비교 및 재사용을 저해한다. Quranic Arabic Corpus와 Extended Quranic Treebank (EQTB)와 같은 자원들은 전통에 부합하는 고품질의 주석을 제공하지만, 이들의 특정 분절 관례와 구문론적 형식은 현대 NLP 생태계, 특히 Universal Dependencies (UD) 프레임워크가 요구하는 표준과 종종 차이를 보인다. 이러한 상호운용성의 결여는 표준 파서를 훈련하거나, 공유된 평가 스크립트를 활용하고, 꾸란 데이터를 광범한 다국어 툴체인에 통합하는 능력을 제한한다.

방법론
본 논문은 EQTB 데이터셋의 Universal Dependencies (UD) v2 변환물인 UD-Quran을 제시한다. 변환 과정은 UD 관례에 대한 엄격한 준수와 꾸란 특유의 분석적 구별성 보존 사이의 균형을 맞추도록 설계되었다.

• 이중 변형 전략 (Dual-Variant Strategy): 변환 프로세스는 동일한 소스 파일로부터 두 가지 별도의 릴리스를 생성한다:
  1. 표면 변형 (Surface Variant): 분석적으로 삽입된 노드(예: 함축된 대명사, 생략 자리 표시자)를 제외하여 관찰 가능한 꾸란 문자열과 엄격히 일치하도록 한다. 이 변형은 가공되지 않은 텍스트에 대한 다운스트림 NLP 작업에 최적화되어 있다.
  2. 증강 변형 (Augmented Variant): 분석적으로 삽입된 노드(소스에서 loc=_로 표시됨)를 유지하여 생략(ellipsis) 및 함축된 논항에 대한 EQTB의 명시적 모델링을 보존한다. 이 변형은 생략 해소가 주요 연구 대상인 구문론적 연구를 지원한다.
• 토큰화 및 매핑: EQTB 형태-구문 분절은 UD 토큰으로 취급된다. 품사(POS) 범주는 보수적인 매핑 테이블(예: 특정 지시사 및 관계사를 PRON으로 매핑)을 사용하여 12개의 UD Universal POS 태그로 매핑되는 한편, 원래의 EQTB 태그는 추적 가능성을 위해 XPOS 열에 보존된다. 형태론적 특징(features)은 추론된 것이 아니라 EQTB의 명시적 열에서 직접 도출된다.
• 의존 구조 정규화 (Dependency Normalization): 변환 과정은 문장당 단일 루트(single-root) 구조를 강제하며, 루트 결정 시 어휘 범주(VERB > NOUN/PROPN)를 우선시한다. 129개의 세분화된 EQTB 의존 레이블을 18개의 압축된 UD 관계로 축소한다. 주요 구조적 정규화는 다음과 같다:
  • 전치사 역전 (Adposition Inversion): 전치사(ADP)는 격 의존 요소(case)로 변환되며, 명사 보충어가 헤드(head)가 된다. 이는 UD의 내용 헤드(content-head) 관례와 일치한다.
  • 부정 역전 (Negation Inversion): 단일 동사 술어를 지배하는 부정 입자들은 술어가 헤드가 되도록 역전된다.
  • 순환 해결 (Cycle Resolution): 결정론적 휴리스틱을 통해 드문 순환 구조를 해결하여 노드를 문장 루트에 다시 연결한다.
• 추적 가능성 (Traceability): 변환 스크립트는 EQTB 식별자와 위치 데이터를 MISC 필드에 저장함으로써 출처를 보존한다. EQTB의 구절(constituency) 레이블은 별도의 스탠드-오프(stand-off) 레이어로 유지되어, 핵심 UD 필드의 과부하를 방지하면서도 재현 가능한 재구성을 허용한다.
• 벤치마킹: 저자들은 고정된 훈련/검증/테스트 분할(80/10/10, 시드 42)을 설정하였으며, 사전 훈련된 벡터나 문자 인코더 없이 밑바닥부터(from scratch) 경량 Stanza 베이스라인(BiLSTM 기반 태거 및 바이아핀 파서)을 훈련시켜 재현 가능한 성능 하한선을 제공하였다.

주요 기여

1. UD-Quran 자원: 전체 꾸란을 포함하며 표면 및 증강 변형 모두 제공되는, 완전히 준수된 UD v2 트리뱅크(11,693개 문장 및 128,000개 이상의 토큰(표면) 또는 139,000개 이상의 토큰(증강))를 구축하였다.
2. 상호운용성 레이어: 꾸란 데이터의 분석적 풍부함을 삭제하지 않으면서도 표준 UD 도구(검증기, 파서, 평가 스크립트)를 사용할 수 있게 하는 변환 프레임워크를 제공한다.
3. 통제된 비교: 이중 릴리스 설계를 통해 명시적 생략 모델링이 파싱 성능 및 구조적 통계에 미치는 영향을 통제된 환경에서 조사할 수 있다.
4. 재현 가능한 베이스라인: CoNLL 2018 평가 스크립트를 사용하는 고정된 데이터 분할과 베이스라인 결과를 제공하여, 향후 꾸란/고전 아랍어 파싱 연구를 위한 참조점을 확립하였다.

결과

• 코퍼스 통계: 표면 변형은 128,219개의 토큰을 포함하며, 평균 1.656개의 토큰/어휘를 나타내는데, 이는 체계적인 클리틱 분절을 반영한다. 증강 변형은 11,157개의 삽입된 노드를 추가한다. 분포는 대명사(22.86%), 명사(19.60%), 동사(15.10%)가 주를 이룬다.
• 파싱 성능:
  • Gold-Tag 파싱: Gold UPOS 및 FEATS를 사용했을 때, Stanza 파서는 표면 변형에서 80.66, 증강 변형에서 82.47의 부착 점수(LAS)를 달성하였다.
  • 엔드 투 엔드 파이프라인: 예측된 태그를 사용했을 경우, LAS는 표면 변형 64.52, 증강 변형 68.54로 하락하였다.
  • 오류 분석: 결과는 주요 병목 현상이 파서 아키텍처 자체가 아니라 형태-구문 예측(태깅)에 있음을 나타낸다. 증강 변형이 표면 변형보다 일관되게 높은 성능을 보였으며, 이는 명시적인 생략 모델링이 파싱 정확도를 높이는 데 도움이 된다는 것을 시사한다.
• 커버리지: 변환은 매우 구체적이며, 일반적인 dep 관계를 전체 토큰의 0.881%(1,129개)로 제한하여 대부분의 의존 관계가 의미 있는 특정 UD 관계로 매핑되도록 보장한다.

의의
본 논문은 UD-Quran을 전통적인 꾸란 주석의 대체물이 아닌, 실용적인 상호운용성 레이어로 포지셔닝한다. 본 연구의 의의는 문헌학적으로 근거가 확실하고 전통에 특화된 분석과 현대 UD 생태계의 표준 요구 사항 사이의 간극을 메우는 데 있다. 원본 EQTB 주석에 대한 추적 가능성을 유지함으로써, 연구자들이 기존의 하이브리드 분석을 검토하거나 되돌릴 수 있는 능력을 유지하면서도 표준 NLP 파이프라인을 활용할 수 있도록 한다. 저자들은 이러한 접근 방식이 꾸란 자원이 자신들의 분석적 책무를 포기할 필요 없이, 재현 가능한 벤치마킹과 널리 사용되는 툴체인으로의 통합을 용이하게 한다고 강조한다. 결론적으로, 현재의 베이스라인은 경량이지만, 이 자원은 향후 더 높은 용량의 실험과 매핑 결정의 반복적 개선을 위한 필수적인 토대를 제공한다.