Hard to Be Heard: Phoneme-Level ASR Analysis of Phonologically Complex, Low-Resource Endangered Languages

1. 문제 정의 (Problem)

이 연구는 **아르치 (Archi)**와 **루툴 (Rutul, 키나 방언)**이라는 두 가지 동부 코카서스 (East Caucasian) 언어를 대상으로 합니다.

• 극도로 복잡한 음운 체계: 아르치는 16 개의 모음과 73~81 개의 자음 (현재까지 기록된 비클릭 (non-click) 자음 중 가장 큰Inventory 중 하나) 을 가지며, 루툴도 큰 자음 Inventory 와 인두음 (pharyngealization) 같은 특수 발음을 가집니다.
• 저자원 (Low-Resource) 환경: 두 언어 모두 심각한 멸종 위기 언어로, 표준화된 ASR 벤치마크나 학습용 데이터가 존재하지 않습니다.
• 기존 연구의 한계: 기존 ASR 연구는 주로 단어 (Word) 나 문자 (Character) 수준의 오류율에 집중하여, 음소 (Phoneme) 수준에서의 오류 원인을 분석하지 못했습니다. 따라서 음소 인식 오류가 언어의 '복잡성' 때문인지, 단순히 '데이터 부족' 때문인지 명확하지 않았습니다.

2. 방법론 (Methodology)

2.1 데이터 구축 및 전처리

• 데이터 수집: 기존 언어 문서화 프로젝트 (Kibrik et al., 2007; Alekseeva et al., 2024) 의 녹음과 전사 자료를 통합하여 ASR 학습 및 평가에 적합한 형태로 표준화했습니다.
  • Archi: 약 45 분 학습 데이터 (545 문장), 통제된 환경에서 훈련된 화자의 읽기 텍스트.
  • Rutul: 약 75 분 학습 데이터 (1,388 문장), 상대적으로 노이즈가 많은 환경에서 녹음된 자발적 화법.
• 표준화: 다양한 표기법 (IPA, 로마자, 키릴 문자 등) 을 일관된 IPA(International Phonetic Alphabet) 전사로 변환하여 다국어 사전 학습 모델과의 전이 학습을 용이하게 했습니다.

2.2 모델 평가 및 제안 기법

다음과 같은 최신 ASR 아키텍처를 평가하고, 저자원 환경에 최적화된 변형을 제안했습니다.

• 평가 모델: wav2vec2-large-ipa, Whisper-large-v3, Qwen2-Audio, Qwen2.5-Omni, gpt-4o-transcribe 등.
• 제안 기법 (wav2vec2 변형):
  • 언어별 음소 어휘 정의: 복합 음소 (예: labialized 'kw') 를 단일 토큰으로 매핑하여 기존 IPA 토크나이저의 분할 문제를 해결했습니다.
  • 휴리스틱 초기화 (Heuristic Initialization, w2v2l-custom-avg): 사전 학습된 모델의 출력 레이어 가중치를, 복합 음소를 구성하는 기본 IPA 심볼들의 가중치 평균으로 초기화했습니다. 이는 랜덤 초기화나 단순 복사보다 성능을 크게 향상시켰습니다.
  • 언어 모델 (LM) 결합: CTC 기반 모델 위에 3-gram 단어 수준 언어 모델을 결합하여 단어 오류율 (WER) 을 추가로 개선했습니다.

2.3 분석 방법

• 평가 지표: 단어 오류율 (WER), 문자 오류율 (CER), 음소 오류율 (PER) 과 함께, 각 음소의 정밀도 (Precision), 재현율 (Recall), F1 점수를 계산했습니다.
• 학습 빈도 - 성능 분석: 음소별 F1 점수와 로그 학습 빈도 (log training frequency) 간의 관계를 로지스틱 함수 (시그모이드 곡선) 로 모델링하여 분석했습니다.

3. 주요 기여 (Key Contributions)

1. 최초의 벤치마크 구축: 데이터가 전혀 없었던 아르치와 키나 루툴에 대해 체계적인 ASR 학습 및 평가를 위한 표준화된 데이터셋을 최초로 구축했습니다.
2. 휴리스틱 초기화 기법 제안: 저자원 환경에서 CTC 기반 모델 (wav2vec2) 의 성능을 획기적으로 개선하기 위해, 복합 음소에 대한 출력 레이어 가중치를 평균화하여 초기화하는 새로운 전략을 제시했습니다.
3. 음소 수준의 심층 분석: 단순한 오류율 통계를 넘어, 음소 인식 정확도와 학습 빈도 간의 강력한 시그모이드 (Sigmoid) 관계를 발견했습니다. 이는 많은 오류가 음소의 복잡성 때문이 아니라 데이터의 희소성 (Scarcity) 에 기인함을 보여줍니다.

4. 결과 (Results)

4.1 전체 성능

• wav2vec2 기반 모델의 우세: 제안된 w2v2l-custom-avg 모델은 기본 wav2vec2-large-ipa 대비 WER 을 8% 이상 감소시켰으며, Whisper 보다도 동급 또는 더 나은 성능을 보였습니다.
• Whisper 의 한계: Whisper-large-v3 은 아르치에서는 좋은 성능을 보였으나, 루툴에서는 상대적으로 성능이 떨어졌습니다. 이는 언어별 전이 학습의 편차를 보여줍니다.
• LLM 기반 모델: Qwen2-Audio 등 대규모 오디오 - 언어 모델은 미세 조정 (Fine-tuning) 후에도 전용 ASR 모델 (wav2vec2, Whisper) 에 비해 성능이 낮았습니다.

4.2 음소 수준 분석 (핵심 발견)

• 시그모이드 학습 곡선: 대부분의 모델에서 음소 인식 정확도 (F1 점수) 는 학습 빈도의 로그 값에 따라 시그모이드 형태로 증가했습니다.
  • 매우 드문 음소: F1 점수 거의 0.
  • 중간 빈도: 급격한 성능 상승.
  • 높은 빈도: 성능 포화.
• 복잡성 vs 빈도: 루툴에서는 음소의 복잡성 (부호화 길이) 과 성능이 강한 음의 상관관계를 보였으나, 아르치에서는 약했습니다. 이는 복잡성 자체보다 해당 음소가 학습 데이터에 얼마나 많이 등장하는지가 성능을 결정함을 시사합니다.
• 학습 임계값: 약 100 개 ($10^2$) 의 학습 인스턴스가 확보되면 대부분의 음소가 급격한 학습 구간 (steep learning regime) 에 진입하는 것으로 추정되었습니다.
• Whisper 의 특이점: 아르치 데이터에서 Whisper 는 학습 빈도 예측보다 낮은 빈도의 음소에서도 높은 성능을 보이는 경우가 있었으며, 이는 다국어 사전 학습을 통한 소수 샷 (Few-shot) 전이 효과로 해석됩니다.

5. 의의 및 결론 (Significance)

• 오류 원인 재해석: 음소 인식 오류의 많은 부분이 언어의 '복잡한 음운 체계' 때문이 아니라, **'데이터 부족'**에 기인한다는 것을 증명했습니다.
• 실용적 가이드라인: 저자원 언어의 ASR 개발 시, 특정 음소를 인식하기 위해 약 100 개의 발화 예시가 필요하다는 실용적인 데이터 수집 목표를 제시했습니다.
• 평가 방법론의 확장: 단어/문자 수준의 평가만으로는 파악하기 어려운 저자원 및 복잡 음운 언어의 ASR 동작 원리를 이해하기 위해 **음소 수준 평가 (Phoneme-level evaluation)**의 중요성을 강조했습니다.
• 향후 방향: 이 연구는 동부 코카서스 언어에 국한되었으나, 유사한 음운적 복잡성을 가진 다른 저자원 언어들의 ASR 개발 및 데이터 전략 수립에 중요한 통찰을 제공합니다.

이 논문은 기술적 혁신 (휴리스틱 초기화) 과 이론적 통찰 (빈도 기반 학습 곡선) 을 결합하여, 극도로 제한된 자원 환경에서도 효과적인 ASR 시스템을 구축할 수 있는 가능성을 보여주었습니다.