Adapting Foundation ASR Models to Dysarthric Speech: A Case Study

기술 요약: 구어 장애(Dysarthric Speech)에 대한 파운데이션 ASR 모델의 적응

문제 정의
자동 음성 인식(ASR) 시스템, 특히 대규모 파운데이션 모델은 표준 음성 벤치마크에서 인간에 가까운 성능을 달 achievement했습니다. 그러나 이들은 구어 장애(dysarthric speech)를 마주했을 때 성능이 저하되어, 운동성 언어 장애가 있는 사용자들에게는 효과적으로 작동하지 못합니다. 본 연구는 JC 바이러스로 인한 진행성 다초점 백질뇌병증(PML)으로 인해 심각한 구어 장애를 겪고 있는 특정 사용자에 초점을 맞춥니다. 표준 ASR 모델은 이 사용자의 음성에 대해 완전히 실패하였으며, 기준 단어 오류율(WER)이 128.4%에 달해 기존의 상용 기술을 일상적인 의사소통에 사용하는 것이 사실상 불가능했습니다.

방법론
저자들은 파운데이션 모델을 화자 특화 데이터에 적응시키는 것을 중심으로 개인화된 ASR 파이프라인을 개발했습니다. 방법론은 세 가지 주요 구성 요소로 이루어졌습니다:

1. 데이터 수집:

   • 초기 데이터셋: 사용자는 TEQST 도구를 사용하여 가정에서 92시간의 낭독 음성을 녹음했습니다. 이 데이터셋은 학습용(89.8시간), 개발용(1.1시간), 테스트용(1.1시간) 세트로 나누어졌습니다. 텍텍스트 내용은 동화 영역에서 추출되었습니다.
   • 지속적 데이터 수집: 실생활 사용을 위해 모바일 애플리케이션이 배포되었습니다. 사용자는 실시간으로 전사 오류를 수정할 수 있었습니다. 이러한 수정 사항은 원본 오디오와 결합되어, 추가적인 8.8시간의 고품질 화자 특화 학습 데이터를 생성했습니다.
   • 총 데이터: 최종 데이터셋은 약 100.8시간의 구어 장애 음성으로 구성되었습니다.

2. 모델 적응 전략:

   • 파운데이션 모델: 본 연구는 두 가지 파운데이션 모델인 Whisper(특히 whisper-large-v3)와 Qwen3-ASR-1.7B를 비교했습니다.
   • 적응 기술: 저자들은 전체 미세 조정(Full Fine-tuning)과 저계수 적응(LoRA)을 이용한 매개변수 효율적 미세 조정(PEFT)을 평가했습니다.
   • 실험 설계: 데이터 양과 성능 사이의 관계를 분석하기 위해, 다양한 양의 적응 데이터(1.4시간, 22.5시간, 그리고 전체 데이터셋)를 사용하여 모델을 미세 조정했습니다.

3. 시스템 배포:

   • 적응된 모델은 미세 운동 제어가 제한된 사용자를 위해 특별히 설계된 모바일 애플리케션(초기 Android, 이후 iOS)을 통해 배포되었습니다.
   • 시스템은 계산 요구량을 분산시키기 위해 faster-whisper를 CTranslate2로 호스팅하는 서버 측 아키텍처를 활용하여 빠른 실시간 추론을 보장합니다.
   • 인터페이스는 운동 장애를 고려하여 고대비 단일 버튼 디자인과 다양한 녹음 모드(탭하여 시작, 누르고 있기, 단일 탭)를 특징으로 합니다. 여기에는 사용자의 수정 사항이 모델을 개선하기 위해 서버로 다시 전송되는 피드백 루프가 포함되어 있습니다.

주요 결과
실험 결과, 개인화된 미세 조정이 구어 장애 음성에 대한 ASR 성능을 유의미하게 향상시킨다는 것이 입증되었습니다:

• 기준 모델 대비 미세 조정 모델: 기준 WER 128.4%에서 시작하여, 단 1.4시간의 데이터로 Whisper를 미세 조정했을 때 WER은 15.8%로 감소했습니다.
• 데이터 스케일링: 데이터가 많아질수록 성능이 꾸준히 향상되었습니다. 22.5시간의 데이터를 사용했을 때 WER은 10.7%를 기록했습니다. 가장 좋은 결과는 사용자 수정 사항을 포함한 전체 데이터셋을 사용했을 때 얻어졌으며, WER 9.7%에 도달했습니다.
• 미세 조정 vs. LoRA: 전체 미세 조정이 LoRA 적응보다 일관되게 우수한 성능을 보였습니다. 동일한 데이터 양에 대해 LoRA는 실질적으로 더 낮은 성능(오류율 15%~39% 상대적 증가)을 보였습니다. 저자들은 이를 표준 음성과 구어 장애 음성 사이의 상당한 음향적 불일치 때문으로 보았으며, 이를 효과적으로 학습하기 위해서는 모델의 전체 용량이 필요하다고 설명했습니다.
• 모델 비교: 이 특정 사용자에게는 Whisper가 Qwen3-ASR보다 더 강력한 파운데이션 모델임이 증명되었습니다. Qwen3-ASR는 전체 데이터를 사용했음에도 불구하고 14%에서 16% 사이의 WER을 기록한 반면, Whisper는 9.7%에 도달했습니다.

의의 및 주장
본 논문은 개인화된 미세 조정이 구어 장애에 대해 실패하는 파운데이션 ASR 모델을 실질적인 실세계 배포가 가능할 만큼 정확하고 견고한 시스템으로 변모시킬 수 있다고 주장합니다. 연구의 핵심은 다음과 같습니다:

• 효과성: 상대적으로 적은 양의 적응 데이터(유의미한 이득을 위한 최소 1.4시간, 유리한 트레이드오프를 위한 약 22.5시간)만으로도 WER을 대폭 감소(>128%에서 <10%로)시킬 수 있습니다.
• 실용적 유용성: 배포된 모바일 애플리케이션은 기능적인 의사소통 보조 도구 역할을 하며, 자연스러운 대면 상호작용을 가능하게 하고, 음성만으로는 충분하지 않은 순간을 위한 대비책을 제공합니다.
• 사용자 영향: 기술적 지표를 넘어, 사용자는 말하기에 대한 자신감이 높아지고 삶의 질이 향상되었다고 보고했으며, 앱을 보조 수단으로 사용할 수 있다는 점이 더 빈번한 발화를 독려한다고 언급했습니다.

한계 및 향후 과제
저자들은 현재 시스템이 원격 서버에 의존하므로 인터넷 연결이 필요하다는 점을 언급했습니다. 로컬 온디바이스 배포는 계산적 제약으로 인해 여전히 어려운 과제이며, 향후 반복 작업에서는 양자화 또는 더 작은 모델이 필요할 수 있습니다. 또한, 현재 시스템은 단일 화자에게 개인화되어 있습니다. 이 접근 방식을 서로 다른 구어 장애 프로필을 가진 다른 화자들에게 일반화하기 위한 데이터 요구 사항은 여전히 해결해야 할 과제로 남아 있습니다. 하나의 적응형 모델을 통해 여러 화자에게 동시에 확장하는 것이 향후 연구 방향으로 식별되었습니다.