LEVOS: Leveraging Vocabulary Overlap with Sanskrit to Generate Technical Lexicons in Indian Languages

1. 문제 정의 (Problem Statement)

• 배경: 전 세계적으로 학술 및 교육 분야에서 영어가 주된 매체이나, 인도는 22 개의 공인 언어를 보유하고 있어 다국어 지식 확산의 필요성이 대두되고 있습니다.
• 도전 과제:
  • 저자원 언어 (Low-resource Languages): 많은 인도 언어는 기술 용어에 대한 병렬 데이터가 부족하여 기계 번역 (NMT) 이 어렵습니다.
  • 기술 용어 번역의 복잡성: 단순한 문장 번역과 달리, 학술적/기술적 용어는 정확한 정의와 문맥이 중요하며, 기존 모델은 이를 처리하는 데 한계가 있습니다.
  • 언어적 장벽: 영어에서 인도 언어로의 직접적인 기술 용어 번역은 데이터 부족과 언어 구조의 차이로 인해 정확도가 낮습니다.

2. 제안 방법론 (Methodology)

저자들은 산스크리트어 (Sanskrit) 와 인도 언어 간의 높은 어휘 중첩 (Vocabulary Overlap) 을 활용하여 기술 용어를 생성하는 LEVOS 프레임워크를 제안합니다.

A. 산스크리트어 단어 분할 (Sanskrit Word Segmentation - SWS)

• 목표: 산스크리트어의 복합어 (Compound words) 와 산디 (Sandhi, 음운 변화 규칙) 를 분해하여 의미 있는 하위 어휘 단위 (Subword units) 로 분리합니다.
• 모델 아키텍처: CharSS라는 이름의 **Character-level Transformer 모델 (ByT5)**을 사용합니다.
  • 이유: ByT5 는 토큰화 없이 바이트/문자 단위로 텍스트를 처리하므로, 다양한 스크립트와 희귀 단어를 효과적으로 다룰 수 있습니다.
  • 입출력: 입력은 단일 산스크리트 단어 (Unigram) 이며, 출력은 + 기호로 연결된 분할된 서브 토큰입니다. 경계를 명확히 하기 위해 시작은 &, 끝은 $ 기호를 사용합니다.
  • 데이터: UoH+SandhiKosh, SIGHUM, Hackathon 등 3 개의 벤치마크 데이터셋을 사용하여 미세 조정 (Fine-tuning) 했습니다.

B. 산스크리트 기반 입력 증강 (Sanskrit-based Input Augmentation)

• 핵심 아이디어: 힌디어 (상대적으로 자원이 풍부한 언어) 의 번역 데이터를 활용하여 산스크리트어 기반의 하위 어휘 토큰을 추출하고, 이를 저자원 언어 번역 모델의 추가 입력으로 제공합니다.
• 프로세스:
  1. 영어 기술 용어에 해당하는 힌디어 번역어를 수집합니다.
  2. 힌디어 단어에서 접미사를 제거하여 어간 (Lemma) 을 추출합니다.
  3. 추출된 어간을 CharSS 모델을 통해 산스크리트어 기반의 의미 있는 하위 단위로 분할합니다.
  4. 이 분할된 산스크리트어 토큰을 원본 영어 텍스트와 함께 번역 모델 (NLLB) 에 입력합니다.
• 동기: 힌디어와 타 인도어 (아리아계 및 드라비다계) 는 산스크리트어와 어휘적 유사성이 높습니다. 이를 통해 번역 모델이 용어의 정확한 도메인 (Context) 을 파악하고 모호성을 해소할 수 있습니다.

3. 주요 기여 (Key Contributions)

1. 산스크리트어 분할 모델 개발: 복합어 분해 및 산디 분할 (Sandhiviccheda) 을 수행하는 최초의 Character-level Transformer 기반 모델 (CharSS) 을 제안했습니다.
2. 언어적 통찰에 기반한 번역 전략: 저자원 언어를 대상으로 할 때, 자원 풍부한 힌디어 데이터를 매개로 산스크리트어 하위 어휘를 추출하여 번역 모델의 입력을 증강하는 새로운 방법을 제시했습니다.
3. 광범위한 실험 및 검증:
   • SWS 태스크에서 기존 방법론 (Sandhi Prakarana, TransLIST 등) 보다 우수한 성능을 입증했습니다.
   • 6 개 인도어 (힌디어, 마라티어, 구자라티어, 카나다어, 타밀어, 오디아어) 에 대한 기술 용어 번역 실험을 수행했습니다.
   • 제로샷 (Zero-shot) 설정 (힌디어/구자라티어/타밀어로 학습, 마라티어/카나다어/오디아어로 테스트) 에서도 효과성을 입증했습니다.

4. 실험 결과 (Results)

• SWS 태스크 성능:
  • UoH+SandhiKosh 데이터셋: 위치 예측 정확도 (LPA) 97.2%, 분할 예측 정확도 (SPA) 93.5% 를 기록하여 기존 최첨단 모델들을 상회했습니다.
  • SIGHUM 및 Hackathon 데이터셋: 문장 단위 완전 일치 (Perfect Match) 및 F1 점수에서 경쟁력 있는 성능을 보였습니다.
• 기술 용어 번역 성능 (chrF++ 점수):
  • 일반 설정: 영어 입력만 사용한 NLLB 모델 대비, 산스크리트어 증강 입력을 추가한 모델이 평균 8.46 점의 chrF++ 점수 향상을 보였습니다.
  • 제로샷 설정: 학습되지 않은 언어 (마라티어, 카나다어, 오디아어) 로의 번역에서도 일관된 성능 향상 (평균 6.79 점 증가) 을 확인했습니다.
  • 도메인별 차이: 행정 (Administrative) 분야보다 생명공학 (Biotechnology) 및 화학 (Chemistry) 분야에서 성능 향상이 더 두드러졌습니다. 이는 행정 용어가 일상어와 겹치는 반면, 기술 용어는 산스크리트어 어근과의 연관성이 더 강하기 때문입니다.
• 후속 인간 평가 (Post-hoc Human Evaluation):
  • 펀자브어와 말라얄람어에 대한 평가에서, 제안된 방법이 기존 LexGen 모델보다 R@1 및 R@3 점수에서 더 나은 또는 동등한 성능을 보였습니다. 특히 문맥에 맞는 적절한 용어 선택 (Disambiguation) 능력이 뛰어났습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 교육적 영향: 인도 내 저자원 언어 사용자를 위한 고품질의 학습 자료 및 교과서 번역을 가능하게 하여 교육 접근성을 높입니다.
• 자원 격차 해소: 영어와 같은 고자원 언어에 의존하지 않고, 인도 언어 간의 어휘적 유사성과 산스크리트어의 풍부한 어휘 자원을 활용하여 기술 용어 생성의 자원 격차를 해소하는 새로운 패러다임을 제시했습니다.
• 한계점: 현재 방법은 산스크리트어 기반 어휘가 풍부한 언어 (힌디어 등) 에 의존하므로, 산스크리트어와 어휘적 유사성이 낮은 언어 (예: 타밀어의 일부) 에서는 효과가 제한적일 수 있습니다. 또한, 산스크리트어 기반 입력 생성을 위해 여전히 힌디어 데이터가 필요합니다.

요약하자면, LEVOS 는 산스크리트어의 언어학적 특성을 계산 언어학적으로 활용하여, 데이터가 부족한 인도 언어들의 기술 용어 번역 정확도를 획기적으로 개선한 혁신적인 접근법입니다.