Assessing and Improving Punctuation Robustness in English-Marathi Machine Translation

1. 연구 배경 및 문제 정의 (Problem)

• 문맥: 신경 기계 번역 (NMT) 시스템은 소스 문장의 의미적 모호성을 해결하기 위해 명시적인 문장 부호 (구두점) 에 크게 의존합니다.
• 문제점: 사용자가 생성한 텍스트는 종종 문장 부호가 누락되거나 잘못 사용된 경우가 많습니다. 이러한 입력을 NMT 시스템에 입력할 경우, 유창하지만 의미적으로 치명적인 오류가 발생한 번역 결과가 도출됩니다.
• 목표: 영어에서 마라티어 (인도어) 로의 번역을 대상으로, 문장 부호의 부재나 오류에 민감한 기존 NMT 모델의 취약점을 분석하고 이를 개선하는 강건한 (Robust) 번역 기술을 개발하는 것입니다.
  • 예시: "Let's eat, Grandma." (할머니, 식사합시다) 와 "Let's eat Grandma." (할머니를 잡아먹자) 의 차이처럼, 쉼표 하나에 따라 의미가 완전히 달라지는 경우가 번역에서도 발생할 수 있습니다.

2. 주요 기여 (Key Contributions)

이 연구는 다음과 같은 4 가지 주요 기여를 제공합니다:

1. 초기 연구: 영어 - 마라티어 기계 번역에서의 문장 부호 강건성에 대한 최초의 체계적인 연구입니다.
2. 새로운 진단 벤치마크 'Viram' 개발:
   • 54 개의 수동으로 큐레이션된 문장 쌍으로 구성됨.
   • 형식: English (Written) (문장 부호 누락/오류) – English (Meant) (의도된 의미/정확한 문장 부호) – Marathi (Meant) (정확한 마라티어 번역).
   • 기존 문장 부호 오류 연구 (Kirkman, 2006) 를 기반으로 마라티어 원어민 2 인과 협력하여 구축.
3. 강건성 개선 전략 분석: 두 가지 상보적인 접근법을 제안하고 비교 분석함.
   • 접근법 1 (Restore-then-Translate): 영어 원문에서 문장 부호를 복원한 후 번역.
   • 접근법 2 (Direct Translation): 문장 부호가 있는 데이터와 없는 데이터를 혼합하여 직접 미세 조정 (Fine-tuning) 하는 방식.
4. LLM 성능 평가 및 한계 규명: 다양한 대형 언어 모델 (LLM) 의 제로샷 (Zero-shot) 및 퓨샷 (Few-shot) 프롬프팅 성능을 평가하여, 특정 작업에 최적화된 전략보다 LLM 의 문장 부호 강건성이 상대적으로 낮음을 입증.

3. 방법론 (Methodology)

A. 데이터셋 구축 (Viram Benchmark)

• Kirkman (2006) 의 문장 부호 관련 자료를 기반으로 영어 문장을 선별.
• 마라티어 원어민 번역가 2 명이 '의도된 의미 (Meant)'에 해당하는 마라티어 번역을 수행.
• 총 54 개의 모호한 사례 (쉼표, 세미콜론, 콜론 등 누락) 를 포함.

B. 개선 전략 (Two Approaches)

1. Approach 1: 문장 부호 복원 후 번역 (Pipeline)
   • 원리: 입력된 영어 텍스트를 먼저 문장 부호를 복원하는 모델 (BERT, MPNet, T5, Cadence 등) 로 처리한 후, 원래 NMT 모델 (IndicTrans2) 에 입력하여 번역.
   • 모델: bert-large-uncased, microsoft-mpnet-base, google-t5-base, AI4Bharat 의 Cadence 모델 등을 활용.
2. Approach 2: 직접 미세 조정 (Direct Fine-tuning)
   • 원리: 문장 부호가 있는 원본 데이터와 문장 부호가 제거된 데이터를 혼합하여 NMT 모델 (IndicTrans2) 을 직접 미세 조정.
   • 데이터 변형: 문장 부호 있음 (With Punct), 없음 (Without Punct), 혼합 (Combined 2x, Alternate x) 등 4 가지 변형 데이터셋을 생성하여 학습.

C. LLM 평가

• 모델: Sarvam-2b-v0.5, Gemma-2-9b, LLaMA-3.1-8b.
• 전략: 제로샷 및 3 샷 (3-shot) 프롬프팅을 통해 '문장 부호 복원 후 번역'과 '직접 번역' 시나리오를 테스트.

4. 실험 결과 및 분석 (Results & Analysis)

A. 정량적 평가 (Viram 벤치마크)

• Baseline: 기존 IndicTrans2 모델은 문장 부호가 누락된 입력에서 성능이 크게 저하됨 (BLEU 21.72).
• Approach 1 (Pipeline): T5-base 와 MPNet 기반 복원기를 사용한 경우, 오라클 (Oracle) 상한선에 근접하는 높은 성능 (BLEU 25.12) 을 보임. 문장 부호 복원의 질이 번역 품질에 직접적인 영향을 미침.
• Approach 2 (Direct FT): 문장 부호가 없는 데이터로만 학습한 경우보다, 혼합 데이터 (문장 부호 유무 모두 포함) 로 학습한 모델이 가장 강건한 성능을 보임 (BLEU 24.27).
• LLM 성능: DeepSeek-V3.2 가 제로샷 설정에서 가장 좋은 성능을 보였으나, 여전히 파이프라인 기반 복원이나 직접 미세 조정된 전용 모델보다는 성능이 낮음. 특히 10B 이하 파라미터 모델은 전문적인 NMT 모델보다 성능이 떨어짐.

B. 일반 벤치마크 (IN22, FLORES-22) 에 미치는 영향

• 트레이드오프: 문장 부호 강건성을 높이기 위해 미세 조정된 모델들은 표준 벤치마크 (IN22 등) 에서 기존 모델보다 BLEU 점수가 약간 하락하는 경향을 보임.
• 의미: 문장 부호 강건성 향상은 특정 평가 지표 (BLEU 등) 의 소폭 하락을 동반할 수 있으나, 의미적 정확도 (Semantic Fidelity) 는 크게 개선됨.

C. 정성적 분석 (Qualitative Analysis)

• 기존 모델의 오류: 문장 부호가 없는 문장 (예: 뉴스 헤드라인, 지시문) 에서 절의 연결, 주체와 동작의 관계, 조건부 논리를 잘못 해석하여 의미 왜곡 발생.
• 개선 효과:
  • Approach 1: 문장 부호 복원을 통해 구문 구조를 명확히 하여 의미 해석을 정확히 함.
  • Approach 2: 문장 부호 없이도 문맥과 구문 단서를 통해 잠재적 문장 구조를 추론하여 가장 안정적이고 정확한 번역을 생성.
  • 결론: 두 방법 모두 문장 부호 누락으로 인한 의미 왜곡을 효과적으로 해결함.

5. 의의 및 결론 (Significance & Conclusion)

• 핵심 통찰: 현재 NMT 시스템과 LLM 은 문장 부호에 지나치게 의존하고 있으며, 이를 보정하지 않으면 의미적 재앙이 발생할 수 있음.
• 해결책: 문장 부호 복원 파이프라인이나, 문장 부호 유무를 혼합한 데이터로 학습된 직접 미세 조정 모델이 현재 가장 효과적인 해결책임.
• 한계:
  • 벤치마크 크기가 작음 (54 개).
  • 영어 - 마라티어 쌍에 국한됨.
  • 자동 평가 지표 (BLEU 등) 가 문장 부호로 인한 미세한 의미 변화를 포착하지 못함.
• 미래 방향: 다른 인도어 계열 언어로 연구 확장, 의미 보존을 평가하는 새로운 지표 개발, 문장 부호 모호성을 내재적으로 처리하는 하이브리드 아키텍처 연구 필요.

이 연구는 저자원 언어 (Low-resource languages) 환경에서 기계 번역의 신뢰성을 높이기 위해 문장 부호 처리의 중요성을 재조명하고, 이를 위한 구체적인 진단 도구와 개선 전략을 제시했다는 점에서 의의가 큽니다.