OasisSimp: An Open-source Asian-English Sentence Simplification Dataset

1. 문제 정의 (Problem)

• 문장 단순화 (Sentence Simplification) 의 중요성: 복잡한 텍스트를 의미는 유지하되 언어적 복잡성을 낮춰 누구나 접근하기 쉽게 만드는 작업입니다. 이는 언어 학습자, 인지 장애가 있는 사람들, 어린 독자들에게 필수적이며, 기계 번역이나 요약과 같은 하류 NLP 태스크의 전처리 단계로도 중요합니다.
• 데이터 부족 및 자원 불균형: 기존 연구는 영어와 스페인어와 같은 고자원 언어 (High-resource languages) 에 집중되어 왔습니다. 반면, 스리랑카어 (싱할라어), 타밀어, 태국어, 파슈토어와 같은 중저자원 언어 (Mid/Low-resource languages) 에 고품질의 병렬 문장 단순화 데이터 (복잡한 문장 - 단순한 문장 쌍) 가 거의 존재하지 않습니다.
• 현황: 태국어, 파슈토어, 타밀어에는 문장 단순화 데이터셋이 전무하며, 싱할라어는 소량의 데이터만 존재합니다. 이로 인해 저자원 언어에서의 단순화 기술 개발과 평가가 심각한 제약에 직면해 있습니다.

2. 방법론 (Methodology)

2.1. 데이터셋 구축 (OasisSimp Dataset Creation)

• 언어 선정: 언어적, 문법적, 사회언어학적 다양성을 고려하여 영어, 싱할라어, 타밀어, 태국어, 파슈토어 5 개 언어를 선정했습니다.
• 데이터 소스:
  • 영어: 캐나다 신문 (The Globe and Mail 등) 의 일반 관심 기사.
  • 싱할라어 & 타밀어: 시타 (SiTa) 삼국어 병렬 코퍼스 (정부 문서).
  • 태국어: 태국 뉴스 웹사이트 (ThaiSum 데이터셋 기반).
  • 파슈토어: 위키백과 (다양한 주제별).
• 선별 및 필터링: 자동 필터링 (문장 길이, 희귀 단어 포함 여부 등) 과 수동 검수를 통해 복잡한 문장을 선별했습니다. 특히 파슈토어는 원어민 언어 전문가의 검수를 거쳤습니다.
• 주석 (Annotation) 프로세스:
  • 각 언어별 3~6 명의 원어민 주석가 (학사 이상 학위 소지) 가 참여했습니다.
  • 가이드라인: 의미 유지, 유창성, 문법적 정확성을 보장하면서 문장을 단순화.
  • 주요 작업: 어려운 단어 대체 (Rewording), 긴 문장 분할 (Splitting), 불필요한 정보 삭제 (Deletion), 구조 재배열 (Reordering).
  • 데이터 규모: 총 9,519 개의 복잡한 문장에 대해 평균 3~5 개의 단순화된 문장 쌍을 생성했습니다 (예: 영어 2,500 개, 태국어 1,499 개).

2.2. 평가 방법론 (Evaluation)

• 모델: 8 개의 오픈 가중치 (Open-weight) 다국어 대형 언어 모델 (LLM) 을 평가했습니다. (Aya, Cmd-R, DeepSeek, EuroLLM, Gemma, LLaMA, Mistral, Qwen).
• 실험 설정:
  • Zero-shot: 학습 데이터 없이 프롬프트만으로 수행.
  • Few-shot (1-shot, 5-shot): 예시 문장을 제공하여 수행.
• 평가 지표:
  • SARI (System Against Reference and Input): 추가, 삭제, 유지된 단어의 품질을 측정.
  • BERTScore: 단순화된 문장과 참조 문장 간의 의미적 유사도 측정.
  • BLEU: 부록에서 추가적으로 보고됨.

3. 주요 기여 (Key Contributions)

1. OasisSimp 데이터셋 공개: 아시아 및 중저자원 언어 (싱할라, 타밀, 태국, 파슈토) 와 영어를 아우르는 최초의 공개 문장 단순화 데이터셋을 제공했습니다. 특히 태국어, 파슈토어, 타밀어에 대한 최초의 데이터셋입니다.
2. 고품질 인간 주석 데이터: 기계 번역이나 크라우드소싱이 아닌, 숙련된 주석가가 엄격한 가이드라인 하에 수동으로 생성한 고품질 병렬 데이터를 확보했습니다.
3. 다국어 LLM 성능 벤치마킹: 다양한 LLM 의 Zero-shot 및 Few-shot 성능을 체계적으로 평가하여, 고자원 언어와 저자원 언어 간의 성능 격차를 규명했습니다.
4. 연구 방향 제시: 현재 LLM 기반 단순화 방법론의 한계를 드러내고, 향후 저자원 언어 단순화 연구의 기초를 마련했습니다.

4. 실험 결과 (Results)

• Zero-shot 성능:
  • 영어: 모든 모델에서 일관된 높은 성능을 보였습니다.
  • 저자원 언어: 모델 간 성능 편차가 매우 컸습니다. 특히 Gemma 모델이 싱할라어, 타밀어, 파슈토어에서 다른 모델보다 압도적으로 좋은 BERTScore 를 기록했습니다.
  • DeepSeek과 LLaMA는 타밀어와 파슈토어에서 음수 점수나 매우 낮은 성능을 보이며 저자원 환경에서의 일반화 실패를 드러냈습니다.
• Few-shot 성능:
  • 모든 언어와 모델에서 Few-shot (특히 5-shot) 설정이 Zero-shot 보다 성능이 크게 향상되었습니다.
  • 예시 문장 1 개만 제공해도 모델이 단순화의 구조와 스타일을 더 잘 이해하게 되었습니다.
• SARI 구성 요소 분석:
  • DEL (삭제): 모든 모델에서 가장 높은 점수를 보였으며, 불필요한 정보를 제거하는 능력은 상대적으로 뛰어났습니다.
  • KEEP (유지): Few-shot 학습 시 의미 유지 능력이 크게 개선되었습니다.
  • ADD (추가): 모든 언어에서 가장 낮은 점수를 보였습니다. 특히 저자원 언어에서 모델이 새로운 단순한 단어를 생성하거나 문맥에 맞는 정보를 추가하는 데 큰 어려움을 겪는 것으로 나타났습니다.

5. 의의 및 결론 (Significance)

• 포용적 NLP 연구의 확장: 기존 연구가 간과했던 아시아 및 중저자원 언어의 문장 단순화 연구에 필수적인 인프라 (데이터셋) 를 제공함으로써, 정보 접근성 격차 해소에 기여합니다.
• LLM 한계와 기회: 현재 LLM 들이 저자원 언어에서 Zero-shot 으로 작동하는 데 한계가 있음을 보여주지만, 소수의 예시 (Few-shot) 만으로도 성능이 획기적으로 개선될 수 있음을 입증했습니다.
• 향후 연구의 길잡이: OasisSimp 는 향후 저자원 언어를 위한 단순화 모델 개발, 전이 학습 (Transfer Learning) 연구, 그리고 더 포용적인 AI 시스템 구축을 위한 중요한 벤치마크로 활용될 것입니다.

이 논문은 단순히 데이터셋을 공개하는 것을 넘어, 다국어 환경에서의 LLM 성능 편차를 분석하고 Few-shot 학습의 중요성을 강조함으로써, 저자원 언어 처리 분야의 연구 방향을 제시한다는 점에서 큰 의의가 있습니다.