기술 요약: 문법서를 활용한 저자원 기계 번역용 합성 데이터 생성에 관한 요인 설계 연구

문제 정의

수천 개의 소멸 위기 언어를 위한 기술적 문법서가 존재함에도 불구하고, 이러한 자원들은 자연어 처리(NLP) 분야에서 제대로 활용되지 못하고 있다. 대부분의 소멸 위기 언어는 효과적인 기계 번역(MT) 시스템을 훈련하는 데 필요한 병렬 코퍼스가 부족하다. 대규모 언어 모델(LLM)이 저자원 환경에서 유망한 성능을 보여주었으나, 기존 방식들은 다음과 같은 중요한 병목 현상에 직면해 있다:

1. 컨텍스트 주입 비용: 추론 시점에 전체 문법서를 프롬프트로 제공하는 것은 계산 비용이 많이 들며, 모델이 서사적인 문법 설명보다는 내포된 병렬 예시로부터 학습하는 경향이 있어 수확 체감의 법칙이 나타난다(Aycock et al., 2025).
2. 수동 작업의 부담: 문법 규칙을 구조화되고 실행 가능한 표현으로 변환하려면 전문적인 언어학적 주석이 필요하며, 이는 존재하는 문법서가 있는 수천 개의 언어에 적용하기에는 확장성이 떨어진다.
3. 데이터 부족: 기존의 합성 데이터 생성 방식은 종종 단일 언어 모델 확률에 의존하거나 제약 없는 생성을 수행하므로, 복잡한 구조를 가진 언어에 필요한 형태론적 정밀함이 부족하다.

본 연구가 다루는 핵심 질문은 문법서의 구조화된 콘텐츠를 단순히 추론 시 컨텍스트로 사용하는 것을 넘어, MT 모델의 미세 조정을 위한 새롭고 고품질의 합성 병렬 문장을 생성하기 위해 어떻게 계산적으로 운용할 수 있는가이다.

방법론

저자들은 비구조화된 PDF 문법서에서 언어 정보를 추출하고, 규칙 기반의 어휘 치환을 통해 병렬 코퍼스를 합성하는 반자동 파이프라인을 소개한다. 이 과정은 세 단계로 구성된다:

1. 언어 정보 추출

• 병렬 문장 추출: PDF 텍스트를 줄 단위로 변환한 후, 미세 조정된 BERT 분류기(언어당 약 200개의 주석 달린 줄로 훈련됨)를 사용하여 소스, 글로스(gloss), 번역 줄을 식별하는 2단계 과정을 거친다. 규칙 기반의 사후 교정을 통해 삼중 구조(triplet) 재구성을 보장한다.
• 섹션 및 사전 추출: 폰트 크기 통계를 기반으로 헤더를 감지하는 휴리스틱 알고리즘을 사용한다. 비문법적 섹션은 언어학적 범주 분류 체계에 대한 임베딩 기반 의미 유사성을 사용하여 필터링한다. 단어 목록은 용어 사전 섹션에서 반자동으로 추출되며, spaCy를 사용하여 품사(POS) 태그가 부여된다.
• 규칙 추출 및 부호화: 서사적 문법 설명을 Gemini-2.5-flash를 사용하여 부호화된 규칙으로 변환한다. 모델은 UniMorph 주석 스키마(대상 품사, 접사 유형, 특징-값 쌍, 문맥 의존성을 포함하는 구조화된 YAML 객체)를 준수하는 규칙을 추출한다. 이후 모호한 적용을 방지하기 위해 이를 결정론적 의사 코드 함수(ApplyRule(STEM, POS))로 변환한다.

2. 합성 코퍼스 구축

파이프라인은 추출된 "시드(seed)" 문장의 내용어를 추출된 사전 항목으로 교체함으로써 합성 병렬 문장을 생성하며, 이때 추출된 문법 규칙이 가이드 역할을 한다. 본 연구는 다음 세 가지 요인을 변화시키는 완전 교차 요인 설계(fully-crossed factorial design)를 채택한다:

• 대상 품사(POS): 명사, 동사, 형용사 또는 부사.
• 검색 정밀도(Retrieval Granularity):
  • 규칙 수준(Rule-level): 특정 부호화된 규칙과 그 텍스트 설명을 검색.
  • 섹션 수준(Section-level): 구절 문맥을 보존하기 위해 문법서의 전체 소스 섹션을 검색.
• 샘플 볼륨 ($k$): 시드 문장당 생성되는 합성 변형의 수 ($k \in \{5, 10, 15, 20\}$).

3. 평가

생성된 코퍼스는 Gemini-2.5-flash(LoRA 어댑터 사용)를 미세 조정하는 데 사용된다. 성능은 제로샷 LLM, 대리 언어를 사용한 NLLB-200, 그리고 원래 추출된 병렬 문장만을 사용하는 시드 데이터 미세 조정(SDFT)을 포함한 베이스라인과 비교하여 평가된다. 평가 지표로는 BLEU, ChrF, ChrF++가 사용된다.

주요 기여

1. 자동화된 파이프라인: 최소한의 인간 개입(분류기를 위해 약 200개의 주석 달린 줄만 필요)으로 문법서에서 언어 정보를 추출하고 병렬 코퍼스를 합성하는 최초의 반자동 프레임워크이다.
2. 요인 설계 연구: 어떤 요인 조합이 번역 품질 향상을 이끄는지 식별하기 위해 96개의 구성(3개 언어 $\times$ 4개 품사 $\times$ 2개 정밀도 $\times$ 4개 샘플 볼륨)에 대한 체계적인 평가를 수행하였다.
3. 문법서의 운용화: 정적인 언어 기록물을 단순한 컨텍스트 주입을 넘어 능동적인 데이터 생성 도구로 재구축함으로써, 문법서를 MT 미세 조정에 활용할 수 있음을 입증하였다.

결과

연구는 세 가지 유형론적으로 다양한 언어인 칼라망(Kalamang, 파푸아어족, 교착어), 투앗신(Tuatschin, 로맨스어족, 고립어), 만단(Mandan, 시우언어족, 포합어)에 대해 파이프라인을 검증하였다.

• 전반적인 성능:
  • 칼라망: 합성 증강이 SDFT 베이스라인보다 **75%**의 구성에서 우수한 성능을 보였으며, 최상의 경우 ChrF++에서 +8.8의 이득을 얻었다.
  • 투앗신: **59%**의 구성에서 개선이 관찰되었으며, 최상의 경우 +5.3의 이득을 얻었다.
  • 만단: 가장 저항이 강한 언어로 나타났다. 단 **16%**의 구성만이 베이스라인을 초과했으며, 최상의 경우 +3.3의 이득을 보였다.
• 요인 분석:
  • 품사(POS): 칼라망에서는 명사가 가장 일관된 이득을 제공한 반면, 투앗신에서는 동사가 가장 효과적이었다. 만단에서는 어떤 품사 카테고리도 신뢰할 만한 개선을 가져오지 못했다.
  • 정밀도: 칼라망의 경우 섹션 수준 검색이 더 높은 이득을 가져왔으나, 투앗신 동사의 경우 규칙 수준 검색이 더 효과적이었다.
  • 샘플 볼륨: 성능은 비단조적(non-monotonic)이었다. 투앗신의 경우, 작은 볼륨($k=5$)에서 치명적인 실패가 발생했으나 $k \ge 10$에서 성능이 회복되었다. 만단의 경우, 과도한 볼륨($k=20$)에서 급격한 저하가 나타났으며, 모델이 유창한 번역 대신 문법적 주석을 생성하기 시작했다.
• 질적 발견: 합성 훈련은 올바른 통사적 재배치(예: 칼라망의 SOV에서 영어의 SVO로)와 복잡한 조동사 구문의 처리(투앗신)를 가능하게 했다. 그러나 실패 사례로는 복합어의 직역 및 어휘적 불확실성 하에서의 환각(hallucination)이 포함되었다.

의의 및 한계

본 논문은 이 접근 방식이 병렬 코퍼스는 없지만 문법서는 존재하는 심각한 저자원 언어를 위한 번역 도구를 구축하는 실질적인 경로를 제공한다고 주장한다. 독립적인 합성 병렬 코퍼스를 생성함으로써, 이 방법은 데이터 생성을 특정 모델 아키텍처로부터 분리하여, 데이터를 통해 더 작고 지역적으로 배포 가능한 시스템을 훈련할 수 있게 한다.

저자들은 결과의 일반화 가능성에 대해 다음과 같이 신중한 입장을 취한다:

• 평가: 본 연구는 전적으로 자동 지표에 의も하고 있으며, 원어민 평가의 부재로 인해 진정한 번역 능력과 테스트 세트 과적합(overfitting)을 구분하기 어렵다.
• 확장성: 파이프라인은 품사 태깅 및 규칙 추출을 위해 영어 중심의 NLP 도구(spaCy)에 의존하므로, 대상 언어가 영어가 아닌 경우 적응 과정이 필요하다.
• 의미론적 타당성: 어휘 치환 메커니즘에 의미적 공기(co-occurrence) 제약이 부족하여, 때때로 통사적으로는 유효하지만 의미론적으로는 부적절한 문장을 생성한다.
• 범위: 파이프라인은 단 세 개의 언어에 대해서만 검증되었으며, 성조 체계, 비연쇄적 형태론, 또는 비표준 문법 형식을 가진 언어에 대한 성능은 아직 테스트되지 않았다.

이 연구는 커뮤니티 중심의 언어 부흥 노력을 대체하려는 것이 아니라, 기록 및 교육을 지원하는 기초적인 번역 도구를 제공하는 것을 목표로 한다.