Improving Estonian Text Simplification through Pretrained Language Models and Custom Datasets

기술 요약: 사전 학습된 언어 모델과 맞춤형 데이터셋을 통한 에스토니아어 텍스트 단순화 개선

문제 정의
자동 텍스트 단순화(Automatic Text Simplification, ATS)는 복잡한 텍스트를 의미를 보존하면서도 더 단순한 형태로 변환하는 것을 목표로 하며, 이는 언어 학습자, 인지 장애가 있는 개인, 그리고 문해력이 낮은 독자들에게 도움을 줍니다. ATS 연구는 규칙 기반 시스템, 신경망 모델, 대규모 데이터셋을 활용하여 영어에서는 성숙한 단계에 도달했으나, 에스토니아어와 같은 저자원 언어는 여전히 소외되어 있습니다. 기존의 에스토니아어 ATS 노력은 어휘 치환이나 템플릿 기반의 구문 규칙에 초점을 맞춘 소규모 학사 학위 논문에 국한되어 왔으며, 대규모의 공개 가능한 데이터셋이 부족했습니다. 또한, GPT-4.0과 같은 독점적인 대규모 언어 모델(LLM)에 의존하는 것은 투명성, 비용, 재현성 문제를 야기하며, 특히 상용 API가 최적화되지 않았을 수 있는 언어의 경우 더욱 그러합니다.

방법론
저자들은 에스토니아어 ATS를 위해 두 가지 접근 방식을 제안합니다: 신경 기계 번역(NMT) 베이스라인과 미세 조정된 대규모 언어 모델(LLM)의 비교입니다.

1. 데이터셋 구축 (에스토니아어 단순화 데이터셋):
   학습 데이터의 부족 문제를 해결하기 위해, 저자들은 세 가지 출처를 결합하여 50,416개의 문장 쌍으로 구성된 새로운 데이터셋을 구축했습니다:

• 번역 코퍼스: TurkCorpus의 일부(2,359개의 영어 문장과 각각 8개의 단순화 버전)와 Wikipedia Data Set 2.0(167k 영어 쌍)의 수동 번역본을 활용했습니다. 번역 후에도 단순화 관계가 명확하게 유지되는 쌍만을 선별하여 포함했습니다.
• GPT-4.0 생성: GPT-4.0을 활용하여 에스토니아어 위키피디아 기사로부터 대량의 단순화 문장을 생성했습니다. 저자들은 모델이 특정 "어휘 단순화 보조자" 또는 "구문 구조 재구성 보조자"로서 행동하도록 지시하는 "에이전트 스타일" 프롬프팅을 사용했습니다. 이러한 순차적 프롬프팅 전략(어휘 우선, 그 다음 구문)이 일반적인 프롬프팅보다 더 효과적인 것으로 나타났습니다.
• 인간 검증: GPT-4.0의 출력을 언어적 일관성과 의미적 결합력을 보장하기 위해 원어민 에스토니아어 주석가들이 일부 수정하였습니다.
  최종 데이터셋은 에스토니아어의 형태 통사론에 맞게 조정된 특정 가이드라인을 포함하며, 이는 문법적 복잡성(굴절, 시제), 구문 복잡성(절 분리), 그리고 어휘 단순화(유의어 교체)에 초점을 맞춥니다.

2. 모델 아키텍처:

• 베이스라인 (OpenNMT): OpenNMT-py 프레임워크를 기반으로 한 신경 기계 번역 모델입니다. 이 모델은 단순화를 단일 언어 번역 작업(복잡한 에스토니아어에서 단순한 에스토니아어로)으로 취급하며, 어텐션 메커니즘을 사용하는 인코더-디코더 아키텍처를 사용합니다. 구축된 데이터셋을 통해 학습되었습니다.
• 제안된 모델 (미세 조정된 LLaMA): 저자들은 LLaMA 3.1 (80억 파라미터)을 동일한 데이터셋으로 미세 조정했습니다. 메모리 소비와 계산 비용을 줄이기 위해 Low-Rank Adaptation (LoRA) 및 QLoRA를 통해 프로세스를 최적화하는 Unsloth 라이브러리를 활용했습니다. 모델은 의미를 보존하면서 단순화된 문장을 생성하도록 학습되었습니다.

3. 평가 프로토콜:
   본 연구는 별도로 분리된 테스트 세트(원어민 언어학자들이 수동으로 단순화하여 만든 골드 스탠다드 100개 문장)에 대해 이중 평가 전략을 채택했습니다:

• 자동 지표: BLEU (n-gram 중첩), S SARI (추가, 삭제 및 유지를 보상하는 단순화 특화 지표), FKGL (가독성을 위한 Flesch-Kincaid Grade Level)을 사용했습니다.
• 인간 평가: 두 명의 원어민 에스토니아어 언어학자가 각 모델의 50개 문장 쌍을 네 가지 차원(문법성, 가독성, 의미 보존, 축소 노력)에 대해 0–4 척도로 평가했습니다.

주요 기여

• 데이터셋 공개: 번역, GPT-4.0 생성, 수동 검증된 쌍을 결합한 최초의 대규모 에스토니아어 단순화 데이터셋을 제작하고 공개했습니다.
• 아키텍처 비교: 에스토니아어 ATS를 위한 OpenNMT (NMT 방식)와 미세 조정된 LLaMA 간의 헤드 투 헤드 벤치마크를 수행했습니다.
• 방법론적 프레임워크: 오픈 액세스 LLM, 경량 미세 조정 프레임워크(Unsloth/LoRA), 그리고 페르소나 기반 프롬프팅 전략을 사용하는 저자원 언어 단순화를 위한 재현 가능한 파이프라인을 제시했습니다.
• 실증적 증거: 인간 평가자가 평가했을 때, 미세 조정된 LLM이 저자원 환경에서 전통적인 NMT 베이스라인보다 우수함을 입증했습니다.

결과

• 자동 지표: 결과는 엇갈렸습니다. OpenNMT는 더 높은 BLEU 점수(30.05 대 27.04)를 기록하여 참조 텍스트와의 n-gram 중첩이 더 높음을 보여주었습니다. 그러나 LLaMA 3.1은 더 높은 SARI 점수(49.72 대 47.43)를 달 기록하여, 더 효과적인 단순화 편집(적절한 삭제 및 추가)을 수행했음을 시사했습니다. LLaMA는 가독성 측면에서도 약간의 우위(낮은 FKGL 점수: 8.71 대 9.02)를 보였습니다.
• 인간 평가: LLaMA 3.1은 모든 인간 평가 차원에서 OpenNMT를 크게 앞질렀습니다. 가장 눈에 띄는 격차는 의미 보존(LLaMA 3.24 대 OpenNMT 1.76)에서 나타났습니다. LLaMA는 문법성(3.46 대 2.26)과 가독성(3.26 대 2.04)에서도 더 높은 점수를 받았습니다. OpenNMT는 의미적 무결성과 유창성 측면에서 어려움을 겪었으며, 종종 효과적인 축소 전략을 적용하는 데 실패했습니다.

의의 및 주장
본 논문은 표준 자동 지표(BLEU/SARI)가 유용한 벤치마크를 제공하지만, 의미 보존이나 뉘앙스와 같은 결정적인 질적 측면을 포착하기에는 불충분하다고 주장합니다. 본 연구는 미세 조정된 오픈 액세스 LLM(LLaMA)이 맞춤형 데이터셋이 제공될 경우 저자원 언어의 텍스트 단순화에 매우 효과적임을 강조합니다.

저자들은 이 접근 방식이 에스토니아어에만 국한되지 않는다고 강조합니다. 공개적으로 사용 가능한 모델, 경량 미세 조정 프레임워크, 그리고 적응 가능한 데이터 수집 전략(페르소나 기반 프롬프팅 포함)을 사용함으로써, 이 방법론은 유사한 형태론적 또는 구문적 복잡성을 가진 다른 저자원 언어로 전이될 수 있습니다. 이 연구는 에스토니아어 사용자를 위한 교육 도구 및 인지 장애가 있는 에스토니아어 화자의 접근성을 지원하는 실질적인 응용을 목표로 하며, 향후 문서 수준 단순화 연구를 위한 재현 가능한 토대를 제공합니다.