제시된 논문 "English to Central Kurdish Speech Translation: Corpus Creation, Evaluation, and Orthographic Standardization"의 기술적 요약은 다음과 같습니다.

1. 연구 배경 및 문제 제기 (Problem)

• 데이터 부족: 쿠르드어 (특히 중앙 쿠르드어, CKB) 는 화자 수가 약 800 만 명에 달하지만, 음성 번역 (Speech-to-Text Translation, S2TT) 을 위한 대규모 병렬 말뭉치가 부족합니다.
• 정서법 (Orthography) 의 불일치: 중앙 쿠르드어는 표준화된 문자 체계가 부재하여, 동일한 단어도 다양한 표기법 (연결/분리, 차용어 철자, 접사 변형 등) 으로 작성되는 경우가 많습니다. 이는 데이터의 희소성을 증가시키고 기계 번역 및 음성 번역 모델의 성능을 저하시키는 주요 원인으로 작용합니다.
• 기존 데이터의 한계: 기존 FLEURS 나 FLORES 와 같은 벤치마크 데이터셋은 소규모이거나 평가용에 그쳐, 실제 S2TT 모델 학습에 충분한 고품질 데이터를 제공하지 못했습니다.

2. 방법론 (Methodology)

A. KUTED 말뭉치 구축 (Corpus Creation)

• 데이터 소스: TED 및 TEDx 강연의 영어 오디오와 중앙 쿠르드어 번역 텍스트를 기반으로 한 KUTED (Kurdish TED) 데이터셋을 구축했습니다.
• 규모: 총 1,696 개의 강연 (약 170 시간), 91,000 개의 문장 쌍, 165 만 개의 영어 토큰, 140 만 개의 중앙 쿠르드어 토큰을 포함합니다.
• 커뮤니티 기반 수집: 코야 대학교 (Koya University) 를 중심으로 한 '쿠르드어 TED 번역가 커뮤니티'가 번역을 수행했으며, 3 단계 (교육, 번역, 편집/피드백) 프로세스를 통해 고품질 데이터를 확보했습니다.
• 정렬 및 정제: 오디오와 텍스트의 정렬 오류를 식별하기 위해 ASR(Seamless v2) 모델을 활용하여 불일치 샘플을 자동으로 탐지하고 필터링했습니다.

B. 정서법 표준화 (Orthographic Standardization)

• 문제 해결: 번역 품질을 향상시키기 위해 체계적인 텍스트 표준화 파이프라인을 제안했습니다.
  1. N1 (정규화): AsoSoft 정규화 도구를 사용하여 유니코드 오류 수정, 문장 부호 표준화, 숫자 통일.
  2. N2 (일반 교정): AsoSoft 말뭉치 기반의 19,700 개 단어 쌍을 활용한 일반 교정 테이블 적용.
  3. N3 (KUTED 특화 교정): KUTED 데이터셋의 고유 토큰을 분석하여 11,860 개의 추가 교정 쌍을 생성하고 적용.
• 효과: 표준화 과정을 통해 고유 토큰 수를 약 23 만 개에서 11 만 8 천 개로 절반 이상 줄여 데이터 희소성 문제를 해결했습니다.

C. 모델 학습 및 평가 (Experiments)

• End-to-End (E2E) S2TT: 사전 학습된 Seamless 모델을 KUTED 데이터로 미세 조정 (Fine-tuning) 했습니다.
• Cascaded S2TT: ASR(Seamless) → MT(NLLB 1.3B) 의 순차적 파이프라인을 구성하여 성능을 평가했습니다.
• Scratch 학습: 사전 학습된 S2TT 성분을 사용하지 않고, KUTED 데이터만으로 Fairseq Transformer 모델을 처음부터 학습시켰습니다.
• 평가 벤치마크: KUTED 내부 테스트 세트와 범용 벤치마크인 FLEURS를 사용하여 도메인 내 (In-domain) 및 도메인 외 (Out-of-domain) 성능을 측정했습니다.

3. 주요 기여 (Key Contributions)

1. KUTED 데이터셋 공개: 중앙 쿠르드어 S2TT 를 위한 최초의 대규모 고품질 말뭉치 (170 시간) 를 구축하고, 오디오 - 텍스트 정렬 오류를 제거하는 방법을 제시했습니다.
2. 정서법 표준화 프레임워크: 저자원 언어의 정서법 변이가 번역 성능에 미치는 부정적 영향을 입증하고, 이를 해결하기 위한 체계적인 표준화 프로세스를 제안했습니다. 이는 향후 쿠르드어 MT 연구뿐만 아니라 유사한 문제를 가진 다른 언어에도 적용 가능합니다.
3. 성능 향상 검증: 표준화된 데이터를 사용한 미세 조정이 번역 성능을 획기적으로 개선함을 입증했습니다.

4. 실험 결과 (Results)

• E2E 성능: 사전 학습된 Seamless 모델의 베이스라인 (BLEU 5.04) 대비, KUTED 로 미세 조정 후 BLEU 13.51로 크게 향상되었습니다.
• 표준화의 영향: 표준화 단계 (N1 → N3) 를 거치면서 미세 조정된 모델의 성능이 BLEU 11.34 에서 15.18로 추가적으로 향상되었습니다. 이는 쿠르드어 번역의 낮은 성능이 정서법 불일치에 기인함을 보여줍니다.
• 범용성 (FLEURS): KUTED 로 학습된 모델은 도메인 외 벤치마크인 FLEURS 에서도 BLEU 3.0 포인트 향상 (9.36 → 12.50) 을 기록하여 일반화 능력을 입증했습니다.
• Cascaded 시스템: 미세 조정된 ASR(WER 8.62) 과 MT(15.57 BLEU) 를 결합한 캐스케이드 시스템이 E2E 시스템과 유사한 성능을 보였습니다.
• Scratch 학습: KUTED 데이터만으로 처음부터 학습한 Fairseq 모델은 BLEU 7.90 을 기록하여, 현재 데이터 규모만으로는 만족스러운 성능을 내기 어렵고 다른 말뭉치와의 병행 학습이 필요함을 시사했습니다.

5. 의의 및 결론 (Significance)

이 연구는 중앙 쿠르드어와 같은 저자원 언어의 음성 번역 분야에서 데이터의 양적 확보와 질적 표준화가 동등하게 중요함을 강조합니다. KUTED 데이터셋과 제안된 표준화 방법은 쿠르드어 NLP 연구의 기반을 마련했을 뿐만 아니라, 정서법 변이가 심한 다른 저자원 언어의 번역 시스템 개발에도 중요한 통찰을 제공합니다. 또한, TED 강연 기반의 커뮤니티 참여형 데이터 구축 모델은 언어 기술 자원이 부족한 지역 사회에 효과적으로 적용 가능한 사례로 평가됩니다.