Speech Representation System For The Karakalpak Automatic Speech Recognition

기술 요약: 카라칼파크 자동 음성 인식 시스템을 위한 음성 표현 방식

문제 정의
자동 음성 인식(ASR)은 엔드 투 엔드(E2E) 신경망 구조를 통해 고자원 언어 분야에서 크게 발전해 왔습니다. 그러나 저자원 언어의 경우, 레이블이 지정된 음성 데이터를 수집하고 검증하는 데 드는 높은 비용과 어려움으로 인해 신뢰할 수 있는 ASR 시스템을 개발하는 것이 여전히 중요한 과제로 남아 있습니다. 카라칼파크어는 우즈베키스탄의 카라칼파크스탄 공화국에서 주로 사용되는 투르크계 언어로, 이러한 구체적인 제약에 직면해 있습니다. 이 언어의 언어적 특성, 특히 교착적 형태론, 모음 조화, 주어-목적어-동사 문장 어순은 단일 어근으로부터 수많은 표면 변이형을 생성하는 긴 단어 형태와 풍부한 굴절을 초래합니다. 역사적으로 카라칼파크어는 개방형 음성 기술 자원이 부족하여 견고한 모델을 벤치마킹하거나 훈련하는 데 어려움이 있었습니다. 또한, 라틴 및 키릴 문자를 모두 사용하는 언어적 특성상 일관된 평가를 위해 엄격한 텍스트 정규화가 필요합니다.

방법론
저자들은 다국어 자기 지도 학습 기반의 음성 표현, 구체적으로는 wav2vec 2.0 XLS-R 아키텍처를 적응시킨 카라칼파크어용 ASR 시스템을 제안합니다. 방법론은 저자원이 환경에 최적화된 파이프라인을 따릅니다:

1. 데이터셋 (Karakalpak Speech Corpus - KSC): 본 연구의 핵심은 저자들이 직접 수집하여 Mendeley Data를 통해 공개한 벤치마크 데이터셋인 KSC입니다. 이 데이터셋은 25명의 원어민으로부터 수집된 약 50시간 분량의 낭독 음성으로 구성되어 있습니다. 데이터셋은 WAV 파일(16 kHz, 16-bit PCM)과 표준 카라칼파크 라틴 표기법으로 수동 검증된 전사 데이터를 포함합니다. 결정적으로, 데이터 누수를 방지하기 위해 화자 독립적인 방식으로 훈련, 검증, 테스트 세트를 분할하였습니다.
2. 모델 아키텍처: 시스템은 특징 인코더(시간적 합성곱 계층), 컨텍스트 네트워크(Transformer 블록), 그리고 사전 학습 중에 사용되는 양자화 모듈로 구성된 XLS-R 모델을 활용합니다. 카라칼파크어 작업의 경우, 사전 학습된 XLS-R 모델 위에 무작위로 초기화된 선형 투영 계층을 추가하여 캐릭터 토큰을 예측하도록 미세 조정(fine-tuning)됩니다. 모델은 연결주의 시간적 분류(Connectionist Temporal Classification, CTC) 손실 함수를 사용하여 최적화됩니다.
3. 훈련 구성: 데이터 부족의 영향을 분석하기 위해 저자들은 세 가지 레이블 데이터 설정으로 실험을 수행했습니다:
   • 50시간 설정: KSC의 전체 훈련 부분.
   • 10시간 설정: 균형 잡힌 화자 서브셋.
   • 1시간 설정: 초저자원 조건을 시뮬레이션한 더 작은 규모의 화자 균형 서브셋.
     학습률 및 최대 업데이트 횟수를 포함한 하이퍼파라미터는 데이터 양에 따라 조정되었습니다.
4. 디코딩 및 언어 모델링: 교착적 형태론과 음향적 혼동 문제를 해결하기 위해, 저자들은 KenLM을 사용하여 훈련된 단어 수준의 n-gram 언어 모델(trigram, 4-gram, 5-gram)을 통합했습니다. 두 가지 언어 모델 변형이 테스트되었습니다:
   • LM1: KSC 전사 텍스트로만 훈련됨.
   • LM2: KSC 텍스트와 추가적인 카라칼파크어 텍스트 자원(뉴스, 교육 자료 등)을 결합하여 훈련됨.
     디코딩은 음향 모델 점수, 어휘 제약 조건 및 언어 모델 확률의 조합을 사용하여 수행되었습니다.

주요 기여
본 논문은 저자원 ASR 분야에 다음과 같은 구체적인 기여를 합니다:

• 시스템 개발: 다국어 자기 지도 학습 표현을 활용한 기능적인 카라칼파크 ASR 시스템 제시.
• 데이터셋 활용: 저자들이 새로 공개한 카라칼파크 음성 코퍼스(KSC)를 기반으로 카라칼파크 특화 wav2vec 2.0 XLS-R 모델을 훈련 및 미세 조정함으로써 재현 가능한 베이스라인 구축.
• 데이터 희소성 분석: 신뢰할 수 있는 성능을 위한 최소 유효 데이터 임계값을 결정하기 위해 다양한 양의 레이블 데이터(1h, 10h, 50h)에 따른 인식 품질을 체계적으로 평가.
• 언어 모델 통합: 교착어의 오류를 줄이는 데 있어 n-gram 언어 모델의 효능을 입증하며 저자원 환경에서의 디코딩 성능 개선.
• 오류 분석: 인식 오류를 대치(substitution), 삽입(insertion), 삭제(deletion) 범주로 상세히 분류하여, 다양한 데이터 및 도메인 조건하에서의 시스템 실패 모드에 대한 통찰 제공.

결과
실험 결과, 홀드아웃 테스트 세트에서 다음과 같은 성능 지표를 나타냈습니다:

• 베이스라인 성능: 50시간 KSC로 훈련된 XLS-R 모델은 외부 언어 모델 없이 단어 오류율(WER) 21.10% 및 **문자 오류율(CER) 4.32%**를 달로성했습니다.
• 데이터 양의 영향: 예상대로 레이블 데이터가 증가함에 따라 성능이 향상되었습니다. 1시간 설정은 47.15%의 WER을 기록한 반면, 10시간 설정은 29.42%의 WER을 달성했습니다.
• 언어 모델의 영향: 언어 모델의 통합은 오류율을 일관되게 감소시켰습니다.
  • LM1(KSC 텍스트 전용) 사용 시, 50시간 모델의 WER은 18.92%(5-gram 모델 및 top-k=20,000 적용)로 감소했습니다.
  • LM2(KSC + 추가 텍스트) 사용 시, 50시간 설정에서 성능이 더욱 향상되어 WER 17.86% 및 **CER 3.82%**를 기록했습니다.
• 도메인 외(OOD) 평가: OOD 데이터셋(뉴스, 교육, 공공 미디어)으로 테스트했을 때, 언어 모델이 없는 50시간 모델의 WER은 38.40%였습니다. LM2를 적용하자 이는 **32.10%**로 크게 개선되었으며, 이는 더 넓은 범위의 텍스트 코퍼스가 다양한 화법과 주제에 대한 일반화에 도움이 됨을 나타냅니다.
• 오류 분포: 모든 구성에서 대치 오류가 가장 지배적인 오류 유형이었으며, 이는 음향적으로 유사한 접미사와 풍부한 형태론 때문인 것으로 분석되었습니다. 언어 모델은 대치 및 삽입 오류를 효과적으로 줄였으나, 삭제 오류는 오디오 품질과 발화 속도에 여전히 민감하게 반응했습니다.

의의 및 주장
저자들은 본 연구를 카라칼파크어의 디지털 포용과 언어 보존을 위한 기초적인 단계로 규정합니다. 본 논문은 KSC 데이터셋이 비공식적인 오디오 수집에서 벗어나 표준화된 벤치마크로 나아가는, 필요하고 투명하며 재현 가능한 기초를 제공한다고 주장합니다.

본 연구는 다국어 자기 지도 학습 표현(XLS-R)이 제한된 레이블 데이터가 있는 상황에서도 저자원 투르크계 언어에 효과적임을 입과합니다. 저자들은 21.10%의 WER이 기준점 역할을 하지만, 향후 개선은 더 큰 규모의 검증된 텍스트 코퍼스, 더 강력한 도메인 매칭 언어 모델, 구어체(spontaneous speech)의 포함, 그리고 다양한 표기 변이형의 세심한 정규화에 달려 있다고 겸허히 결론짓습니다. 본 연구는 향-인-더-루프(human-in-the-loop) 교정 방식을 통해 훈련 코퍼스를 확장할 수 있음을 시사하며, 제안된 파이프라인이 화자 분석 및 언어 식별과 같은 다운스트림 작업에 실행 가능하다는 것을 보여줌으로써 미래 연구를 위한 베이스라인을 구축했습니다.