FLEURS-Kobani: Extending the FLEURS Dataset for Northern Kurdish

1. 문제 제기 (Problem)

• 리소스 부족: 자동 음성 인식 (ASR) 및 음성 번역 (S2TT, S2ST) 과 같은 음성 기술 평가를 위한 표준 벤치마크인 FLEURS 데이터셋은 100 개 이상의 언어를 지원하지만, 북부 쿠르드어 (Northern Kurdish, ISO 639-3: KMR) 는 포함되어 있지 않습니다.
• 평가의 부재: 현재 쿠르드어 연구는 주로 중앙 쿠르드어 (CKB) 에 집중되어 있어, 화자 수가 가장 많은 북부 쿠르드어는 표준 평가 벤치마크에서 소외되어 있습니다.
• 데이터의 질적 한계: 기존에 존재하는 쿠르드어 음성 데이터 (Common Voice 등) 는 존재하지만, FLORES 기반의 정제된 문장 구조를 가진 다국어 병렬 음성 벤치마크가 부족하여 공정한 비교와 Few-shot 학습이 어렵습니다.

2. 방법론 (Methodology)

가. 데이터 수집 및 구축 (Data Recording & Validation)

• 소스: FLORES 데이터셋의 북부 쿠르드어 부분 (2,000 개 고유 문장) 을 기반으로 FLEURS-Kobani 를 구축했습니다.
• 녹음 환경: 2025 년 4 월부터 6 월까지 코바니 대학교 (Kobani University) 의 'Jiridastkrd' 플랫폼을 통해 진행되었습니다.
• 화자 구성: 총 31 명 (여성 26 명, 남성 5 명) 의 원어민 화자가 참여했습니다. (지역적, 정치적 제약으로 인해 남성 화자 확보에 어려움이 있었음).
• 검증 프로세스:
  • 품질 기준: 프롬프트 일치 여부, 자르기 (Truncation), 삽입 (Insertions), 발음 오류, 배경 소음, 녹음 레벨 등을 엄격하게 검증했습니다.
  • 결과: 총 7,897 개의 녹음 중 5,162 개 (65.5%) 만 고품질로 선정되어 최종 데이터셋에 포함되었습니다.
• 데이터셋 구성: 총 18 시간 24 분의 음성 데이터로, Train (3,870 개), Dev (491 개), Test (801 개) 세트로 분할되었습니다.

나. 실험 설정 (Experiments)

• 기반 모델: Whisper v3-large 모델을 사용했습니다.
• ASR (자동 음성 인식) 전략:
  1. Common Voice (CV) 데이터만 파인튜닝.
  2. FLEURS-Kobani 데이터만 파인튜닝.
  3. 2 단계 파인튜닝: 먼저 Common Voice 로 초기화한 후 FLEURS-Kobani 로 추가 파인튜닝 (Two-stage fine-tuning).
• S2TT (음성 - 텍스트 번역):
  • End-to-End (E2E): Whisper 모델을 KMR→EN 번역에 직접 파인튜닝.
  • Pivot 기반: 영어를 중개 언어 (Pivot) 로 사용하여 KMR→FR, NL, CKB, FA 등 다양한 언어로의 번역 성능을 평가.
  • Cascaded (연쇄): ASR(음성→텍스트) + MT(텍스트→텍스트, NLLB-1.3B 사용) 방식의 연쇄 번역 수행.

3. 주요 결과 (Key Results)

가. ASR 성능

• 최고 성능: 2 단계 파인튜닝 전략 (Common Voice → FLEURS-Kobani) 이 가장 우수한 성능을 보였습니다.
  • WER (Word Error Rate): Test 기준 28.11%
  • CER (Character Error Rate): Test 기준 9.84%
• 비교: 단일 데이터셋 (CV 또는 F-K) 만으로 학습한 경우보다 2 단계 전략이 오류율을 크게 감소시켰습니다.

나. S2TT 성능 (KMR → EN)

• E2E 모델: Whisper 기반 E2E 번역 모델은 Test 기준 BLEU 8.68을 기록했습니다.
• Pivot 언어 영향: 영어 (EN) 를 Pivot 으로 사용할 때 가장 좋은 성능을 보였으며, 네덜란드어 (NL) 나 프랑스어 (FR) 와 같은 언어는 영어와 더 가까워 상대적으로 좋은 결과를 보였습니다. 반면, 언어적 유사성이 높은 중앙 쿠르드어 (CKB) 나 페르시아어 (FA) 는 Pivot 언어와의 어휘/문법적 차이로 인해 성능이 낮았습니다.
• Cascaded vs E2E:
  • Baseline (참고 문장 번역): BLEU 27.36
  • Cascaded (ASR+MT): BLEU 19.60
  • E2E 모델이 Cascaded 방식보다 더 나은 성능을 보였으나, 여전히 Baseline 대비 격차가 존재함을 확인했습니다.

4. 주요 기여 (Key Contributions)

1. 최초의 공개 벤치마크: 북부 쿠르드어 (KMR) 에 대한 최초의 공개 음성 번역 및 인식 벤치마크인 FLEURS-Kobani를 공개했습니다.
2. 데이터 공개: CC BY 4.0 라이선스 하에 Hugging Face 를 통해 5,162 개의 검증된 발화 데이터 (18 시간 24 분) 를 연구 목적으로 공개했습니다.
3. 성능 기준점 (Baseline) 설정: Whisper 모델을 기반으로 한 ASR 및 S2TT 작업의 초기 성능 기준점 (WER, BLEU 등) 을 제시하여 향후 연구의 비교 기준을 마련했습니다.
4. 저자원 언어 지원: 쿠르드어의 방언 다양성 (북부, 중앙, 남부 등) 을 고려할 때, 소외되었던 북부 쿠르드어의 디지털 접근성과 언어 포용성을 높이는 데 기여했습니다.

5. 의의 및 결론 (Significance)

• 기술적 진전: 북부 쿠르드어에 대한 음성 기술 (ASR, S2TT, S2ST) 연구의 진입 장벽을 낮추고, 저자원 언어 (Low-resource languages) 에 대한 Few-shot 학습의 가능성을 입증했습니다.
• 사회적 영향: 교육 및 미디어 접근성이 제한된 지역 (터키, 시리아, 이란 등) 에서 사용되는 북부 쿠르드어의 디지털 보존 및 발전에 기여합니다.
• 향후 과제: 화자별 유창성 (fluency) 과 지역 방언 변이 (regional dialect variability) 에 대한 더 세분화된 분석이 필요하며, 향후 연구에서 다른 쿠르드어 방언으로의 확장 및 데이터 품질 향상이 요구됩니다.

이 논문은 북부 쿠르드어 음성 처리 연구의 토대를 마련하고, 다국어 음성 기술의 형평성을 제고한다는 점에서 중요한 의의를 가집니다.