Enhancing ASR Performance in the Medical Domain for Dravidian Languages

논문 요약: 드라비다어군 (텔루구어, 칸나다어) 의료 분야 자동 음성 인식 (ASR) 성능 향상

1. 문제 정의 (Problem Statement)

• 저자원 언어의 데이터 부족: 텔루구어 (Telugu) 와 칸나다어 (Kannada) 와 같은 드라비다어군 언어는 의료와 같은 전문 분야에 대한 주석 처리된 (annotated) 음성 데이터가 극도로 부족합니다.
• 형태론적 복잡성: 이러한 언어들은 형태소 구조가 복잡하고 음운론적 변이가 많아, 일반적인 목적의 ASR 모델을 의료 도메인에 적용할 경우 성능이 크게 저하됩니다.
• 합성 데이터의 한계: 데이터 부족을 해결하기 위해 TTS(텍스트 - 음성 변환) 를 이용한 합성 데이터를 활용하려는 시도가 있었으나, 단순한 데이터 혼합 (naive mixing) 은 오히려 성능을 저하시키거나 노이즈를 유발할 수 있습니다.
• 핵심 과제: 제한된 실제 데이터와 다양한 품질의 합성 데이터를 어떻게 효과적으로 통합하여, 의료 전문 용어와 발음 변이를 정확히 인식할 수 있는 강건한 ASR 모델을 구축할 것인가?

2. 제안된 방법론 (Methodology)

저자들은 신뢰도 인식 학습 프레임워크 (Confidence-Aware Training Framework) 를 제안하며, 이는 실제 데이터와 합성 데이터를 통합적으로 활용하는 하이브리드 접근법을 사용합니다.

• 하이브리드 신뢰도 점수 메커니즘 (Hybrid Confidence Scoring Mechanism):
  데이터의 품질을 평가하기 위해 정적 (Static) 및 동적 (Dynamic) 지표를 결합한 3 단계 신뢰도 점수 시스템을 도입했습니다.

  1. 정적 신뢰도 지표 (Static Metrics):
     • 지각적 점수 (Perceptual Score): 스펙트럼 중심, MFCC, 피치 변동 등 음향 특징을 추출하여 음성 품질을 평가.
     • 음향 유사도 점수 (Acoustic Similarity): 실제 데이터와 정렬된 합성 데이터 간의 MFCC 코사인 유사도 계산.
     • WER 점수: 합성 데이터를 기존 모델로 전사 후 실제 텍스트와의 오차율 (WER) 을 역산하여 신뢰도 산출.
  2. 동적 모델 신뢰도 (Dynamic Model Confidence):
     • 모델의 예측 불확실성을 엔트로피 (Entropy) 를 통해 계산하여 실시간 신뢰도 점수 ($C_{model}$) 를 도출.
  3. 신뢰도 집계 전략:
     • 고정 가중치 (Fixed Weights): 사전 정의된 가중치로 정적 점수를 합산.
     • 학습 가능한 가중치 (Learnable Weights): 가중치 파라미터를 학습 과정에서 최적화하여 언어별/도메인별 특성에 맞는 신뢰도 조합을 자동 학습.
     • 하이브리드 통합: 초기 학습 단계에서는 정적 신뢰도를 우선시하고, 후기 단계에서는 모델 엔트로피를 점진적으로 반영하는 커리큘럼 학습 (Curriculum Learning) 전략 적용.

• 신뢰도 인식 미세 조정 (Confidence-Aware Fine-Tuning):

  • 손실 함수 (Loss Function) 에 최종 신뢰도 점수 ($C_{final}$) 를 곱하여 가중치를 부여합니다 ($L_{weighted} = C_{final} \cdot L_{CE}$). 이를 통해 고품질 샘플은 모델 업데이트에 큰 영향을 미치고, 저품질/노이즈 샘플의 영향력을 줄입니다.

• 후처리 (Post-Decoding Correction):

  • 통계적 언어 모델: 의료 도메인 특화 텍스트로 학습된 5-gram KenLM 을 사용하여 전사 오류 수정.
  • 신경 언어 모델: IndicBART 및 mT5 를 활용하여 문맥적 이해를 바탕으로 추가적인 전사 정제 수행.

3. 주요 기여 (Key Contributions)

1. 커리큘럼 학습 전략: 학습 과정에서 신뢰도 가중치를 진화시키는 새로운 전략 도입.
2. 하이브리드 신뢰도 메커니즘: 정적 지각/음향 지표와 동적 모델 엔트로피를 결합한 데이터 품질 평가 시스템 제안.
3. 이중 단계 후처리 파이프라인: 통계적 언어 모델 (KenLM) 과 신경 언어 모델을 모두 활용한 전사 수정 프로세스 구축.
4. 적응형 가중치 최적화: 수동 튜닝이 아닌 학습 가능한 가중치를 통해 언어별 (텔루구어 vs 칸나다어) 신뢰도 집계 패턴을 자동 최적화.

4. 실험 결과 (Results)

텔루구어와 칸나다어 의료 데이터셋 (실제 데이터 + TTS 합성 데이터) 을 기반으로 Wav2Vec2-Large 와 Whisper-Medium 모델을 평가했습니다.

• 텔루구어 (Telugu) 성능:
  • 베이스라인 (Wav2Vec2) WER: 24.3%
  • 제안된 방법 (Hybrid Learnable Confidence + KenLM) WER: 15.8%
  • 절대적 개선: 8.5%p 감소 (상대적 개선 약 35%).
• 칸나다어 (Kannada) 성능:
  • 베이스라인 (Wav2Vec2) WER: 31.7%
  • 제안된 방법 (Hybrid Learnable Confidence + KenLM) WER: 25.4%
  • 절대적 개선: 6.3%p 감소.
• 모델 비교:
  • 제한된 데이터 조건에서 Wav2Vec2 (CTC 기반) 가 Whisper(Sequence-to-Sequence) 보다 도메인 적응 성능이 우수함을 확인.
  • KenLM이 신경 언어 모델 (IndicBART, mT5) 보다 의료 도메인에서 더 높은 정확도와 효율성을 보임 (특히 5-gram 모델이 텔루구어에서 최적 성능).
• 신뢰도 분석:
  • 학습 가능한 가중치 전략이 수동 가중치보다 성능이 우월하며, 언어별 특징 (텔루구어는 지각적 품질, 칸나다어는 음향 유사도) 을 효과적으로 포착함을 확인.

5. 의의 및 결론 (Significance & Conclusion)

• 저자원 언어 해결책: 형태론적으로 복잡하고 데이터가 부족한 드라비다어군 언어의 의료 ASR 문제를 효과적으로 해결하는 확장 가능한 프레임워크를 제시했습니다.
• 데이터 활용 극대화: 실제 데이터와 합성 데이터를 단순히 섞는 것이 아니라, 신뢰도 기반의 적응형 학습을 통해 합성 데이터의 노이즈를 필터링하고 유용한 정보를 극대화했습니다.
• 실용성: KenLM 기반의 후처리와 결합하여 높은 정확도와 낮은 지연 시간 (실시간성) 을 동시에 확보하여, 실제 의료 현장에서의 ASR 배포 가능성을 높였습니다.
• 확장성: 이 프레임워크는 텔루구어와 칸나다어뿐만 아니라 다른 인도어군 언어 및 기타 전문 도메인 (법률, 금융 등) 에도 적용 가능한 범용 솔루션으로 평가됩니다.

이 연구는 적응형 신뢰도 인식 학습과 통계적 언어 모델링의 시너지를 통해 저자원 언어의 도메인 특화 ASR 성능을 획기적으로 향상시킬 수 있음을 입증했습니다.