RoLegalGEC: Legal Domain Grammatical Error Detection and Correction Dataset for Romanian

1. 문제 정의 (Problem Statement)

• 법률 문서의 중요성: 법률 분야에서는 텍스트의 문법적 정확성과 의미적 명확성이 매우 중요합니다. 작은 문법 오류도 법적 해석에 중대한 영향을 미칠 수 있습니다.
• 데이터 부족: 영어와 달리 루마니아어와 같은 저자원 언어 (Low-resource languages) 에서는 문법 오류 교정 (GEC) 및 탐지 (GED) 를 위한 고품질의 주석 데이터가 극히 부족합니다. 특히 법률이라는 특수 도메인에 한정된 데이터는 전무한 상태입니다.
• 기존 방법의 한계: 기존에는 인공적으로 오류를 생성하는 합성 데이터 (Synthetic Data) 가 주로 사용되었으나, 루마니아어의 복잡한 문법 구조를 이해하고 현실적인 오류를 생성하기 위한 체계적인 접근법이 부족했습니다.

2. 방법론 (Methodology)

2.1. RoLegalGEC 데이터셋 구축

• 소스 코퍼스: 법률적 정확성이 보장된 두 가지 코퍼스를 기반으로 함:
  • MARCELL-RO: 1990~2020 년 루마니아 입법 문서 (공식적, 밀도 높은 어휘).
  • Europarl: 유럽 의회 회의록 (공식적이지만 다소 덜 형식적인 토론 스타일).
• 오류 분류 체계 (Taxonomy): 루마니아어의 특성을 반영하여 20 가지 오류 유형으로 구성된 새로운 분류 체계를 제안했습니다. (ERRANT taxonomy 를 기반으로 하되, 루마니아어 문법 규칙에 맞춰 수정됨).
  • 주요 유형: 명사/동사/형용사의 형태 오류, 문법적 일치 (주어 - 동사), 철자, 구두점, 어순, 띄어쓰기 등.
• 합성 오류 생성 방법론 (Synthetic Error Generation): 20 가지 오류 유형을 생성하기 위해 3 가지 주요 기법을 결합하여 사용했습니다.
  1. 노이즈 주입 (Noise Injection): 철자, 구두점, 어순 오류 등을 생성하기 위해 통계적 확률 (Wikipedia 편집 기록 기반) 을 적용한 문자/단어 수준의 변형 (삭제, 삽입, 교체).
  2. 혼동 목록 기반 생성 (Confusion List Generation): 전치사, 접속사, 대명사 등 기능어 (Function words) 에 대한 혼동 목록을 만들어 확률적으로 교체.
  3. LLM 기반 생성 (LLM-based Generation): GPT-4o 를 활용하여 오류를 생성.
     • Zero-shot: 특정 오류 유형을 지시하는 프롬프트만 제공.
     • Two-shot: 루마니아어 문법 오류 전문가 서적 (Nedelcu, Ivanov) 에서 추출한 실제 오류 예시 2 개를 프롬프트에 포함시켜 LLM 의 정확도를 높임.
     • 결론: Two-shot 프롬래팅이 오류 생성의 정확도와 자연스러움 면에서 가장 우수했으나, Zero-shot 은 간단한 오류 (형용사 등급 등) 에 효율적이었습니다.

2.2. 모델 아키텍처 및 평가

• GED (문법 오류 탐지): 토큰 분류 (Sequence Tagging) 문제로 접근.
  • DistilBERT: 다국어 (mDistilBERT) 및 루마니아어 전용 (RoDistilBERT) 모델.
  • Sequence Tagging: RoBERTa 기반의 Sequence Tagger (Base 및 Large 버전).
• GEC (문법 오류 교정): 시퀀스 투 시퀀스 (Seq2Seq) 생성 문제로 접근.
  • BART & T5: 루마니아어 전용 (RoBART, RoT5) 과 다국어 (mBART, mT5) 모델의 Base 및 Large 버전.
  • GEC-D (Detection-based Correction): GED 모델이 예측한 오류 태그를 입력으로 추가하여 교정 성능을 향상시키는 새로운 태스크 정의.
• 평가 지표: MaxMatch scorer 를 사용하여 정밀도 (Precision), 재현율 (Recall), F0.5 점수를 측정.

3. 주요 기여 (Key Contributions)

1. RoLegalGEC 데이터셋 공개: 법률 도메인에서 문법 오류 탐지 및 교정을 위한 첫 번째 루마니아어 병렬 합성 데이터셋을 공개했습니다 (350,000 개의 샘플).
2. 20 가지 오류 분류 체계 제안: 루마니아어 법률 텍스트에 특화된 20 가지 오류 유형을 정의하고, 이를 생성하기 위한 체계적인 방법론을 제시했습니다.
3. LLM 기반 합성 데이터 생성 최적화: Zero-shot 과 Two-shot 프롬래팅 기법을 비교 분석하여, 특정 오류 유형에 따라 가장 적합한 생성 전략을 도출했습니다.
4. GEC-D 태스크 제안: 오류 탐지 (GED) 결과를 교정 (GEC) 모델의 입력으로 활용하는 새로운 아키텍처를 제안하고 그 효과를 검증했습니다.

4. 실험 결과 (Results)

4.1. 문법 오류 탐지 (GED)

• 최고 성능 모델: mDistilBERT (다국어 DistilBERT) 가 전체적으로 가장 높은 F0.5 점수 (0.81) 를 기록했습니다.
• 특징: mDistilBERT 는 언어에 무관한 오류 (철자, 구두점, 어순) 를 탐지하는 데 탁월했으며, RoDistilBERT 는 특정 품사 오류에서 안정적이었으나 전반적인 성능은 다소 낮았습니다.
• Sequence Tagging: SeqTag-large 모델은 드물지만 중요한 오류 유형 (명사/동사 형태 등) 탐지 성능을 크게 향상시켰습니다.

4.2. 문법 오류 교정 (GEC)

• 최고 성능 모델: RoT5-large (Beam Search 사용) 가 클래식 GEC 태스크에서 가장 좋은 성능을 보였습니다.
• GEC-D 의 효과:
  • 강력한 모델 (T5, Beam Search): GED 태그 입력 시 성능이 향상됨 (F0.5 점수 평균 0.015 상승).
  • 약한 모델 (BART + Top-p): GED 태그 입력 시 오히려 성능이 저하되거나 불안정해짐.
• 최적 구성: RoT5-base + Beam Search + GEC-D 설정이 전체적으로 가장 균형 잡히고 우수한 성능을 보였습니다.

4.3. 모델 크기와 언어 선택의 영향

• 언어 선택: 다국어 모델은 정밀도 (Precision) 가 높으나 재현율 (Recall) 이 낮아 오류를 놓치는 경향이 있고, 루마니아어 전용 모델은 재현율은 좋으나 불필요한 수정을 할 위험이 있습니다. 법률 도메인에서는 **루마니아어 전용 모델 (RoT5)**이 더 안정적이고 효율적인 것으로 결론지었습니다.
• 모델 크기:
  • GED: 더 큰 모델 (SeqTag-large) 이 성능을 향상시킵니다.
  • GEC: BART 아키텍처에서는 Large 버전이 Base 버전보다 성능이 떨어지는 경향이 있었으나, T5 아키텍처에서는 Large 버전이 성능을 향상시켰습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 자원 확보: 루마니아어 법률 NLP 연구에 필수적인 대규모 데이터셋과 오류 분류 체계를 제공함으로써, 저자원 언어의 법률 도메인 연구 기반을 강화했습니다.
• 실용성: 제안된 모델과 데이터셋은 법률 전문가가 문서의 문법적 오류를 자동으로 탐지하고 수정하는 도구 개발에 직접적으로 활용될 수 있습니다.
• 향후 연구: 생성된 데이터셋의 품질을 더욱 정제하고, 이를 루마니아어 NLP 벤치마크인 LiRo에 통합하여 지속적인 연구 발전을 도모할 계획입니다.

이 논문은 합성 데이터 생성 기법과 최신 Transformer 아키텍처를 결합하여, 저자원 언어인 루마니아어의 특수 도메인 (법률) 에서 문법 오류 처리 문제를 체계적으로 해결한 선구적인 연구로 평가됩니다.