FiLM-Based Speaker Conditioning of a SpeechLLM for Pathological Speech Recognition

기술 요약: 병적 음성 인식을 위한 FiLM 기반 화자 조건화(Speaker Conditioning)

문제 정의
자동 음성 인식(ASR) 시스템은 표준 음성에는 높은 정확도를 달연했으나, 근위축성 측삭 경화증(ALS) 및 파킨슨병(PD)과 같은 신경 운동 장애를 가진 개인의 병적 음성에는 크게 고전하고 있습니다. 이러한 질환은 구어 장애(dysarthria)를 유발하여 조음의 명확성 문제, 운율 변화, 높은 화자 간 가변성을 초래합니다. 이는 현대 ASR 시스템을 학습시키는 데 사용되는 규범적 데이터와의 음향적 불일치를 생성합니다. 도메인 적응을 위한 미세 조정(fine-tuning)이 표준적인 해결책이지만, 병적 코퍼스(예: TORGO, NeuroVoz)는 규모가 작고 화자의 다양성이 부족한 경우가 많습니다. 이러한 데이터 부족은 데이터 집약적인 미세 조정 전략을 과적합(overfitting) 및 파괴적 망각(catastrophic forgetting)에 취약하게 만듭니다. 즉, 모델이 표준 음성을 인식하는 능력을 상실하게 됩니다. 나아가, 오디오 인코더와 LLM을 결합하여 전사(transcription) 이상의 작업(예: 지시 이행)을 수행하는 음성 대규모 언어 모델(SpeechLLM)의 등장은 기본 모델의 일반적인 지식과 가중치를 보존하는 적응 전략을 필요로 합니다.

방법론
저자들은 화자 정보에 의해 구동되는 특징별 선형 변조(Feature-wise Linear Modulation, FiLM)를 사용하여 동결된(frozen) SpeechLLM 인코더를 조건화하는 매개변수 효율적인 적응 전략을 제안합니다. 핵심 아키텍처는 다음과 같습니다:

1. 동결된 베이스 모델: 전체 SpeechLLM(Whisper-large-v3 인코더와 Ministral-3B LLM 디코더로 구성된 Voxtral-Mini)은 동결된 상태를 유지합니다. 베이스 모델의 가중치는 업데이트되지 않습니다.
2. 화자 임베딩 추출: 사전 학습된 x-vector 모델(SiAmResNet34)이 원시 오디오로부터 화자 임베딩을 추출합니다. 결정적으로, 규범적(건강한) 발화의 경우 임베딩은 0으로 처리됩니다. 이는 적응 메커니즘이 건강한 음성 처리를 방해하지 않도록 보장하기 위함입니다.
3. FiLM 주입: 동결된 인코더의 모든 트랜스포머 레이어에서, 전용 2층 다층 퍼셉트론(MLP)이 화자 임베딩을 기반으로 아핀 변조 파라미터($\gamma$ 및 $\beta$)와 스칼라 게이트($\alpha$)를 생성합니다.
   • 변조는 학습된 잔차(residual)로 적용됩니다: $\tilde{H}_\ell = H_\ell + \alpha_\ell ((\gamma_\ell - 1) \odot H_\ell + \beta_\ell)$.
   • 게이트 $\alpha$는 (바이어스 -2를 통해) 0에 가깝게 초기화되며, 점진적으로 열리도록 학습되어 모델이 항등 변환(identity transform)으로서 시작되도록 보장합니다.
4. 학습 범위: 오직 FiLM 생성기와 화자 임베딩 추출기만이 학습됩니다. 병적 음성의 경우, 시스템은 내부 표현을 적응시키지만, 건강한 음성의 경우 0으로 처리된 임베딩이 FiLM 레이어가 항등 변환으로 작동하도록 강제하여 원래의 모델 동작을 보존합니다.

주요 기여

• FiLM 기반 적응: 본 논문은 베이스 가중치를 수정하지 않고 병적 음성에 대해 동결된 SpeechLLM을 조건화하는 방법을 소개하여, 표준 음성에 대한 일반화 성능을 보존합니다.
• 체계적 비교: 연구는 저자원 병적 도메인에 대해 네 가지 적응 전략—전체 미세 조정(FFT), 인코더 전용 미세 조정(EFT), LoRA(전체 및 인코더 전용), 그리고 제안된 화자 조건화—을 벤치마킹합니다.
• 언어 외적 특성 평가: 단어 오류율(WER) 외에도, 저자들은 모델이 화자의 속성(성별 및 연령)에 관한 음성 관련 질문(다지선다형 질의응답 또는 MCQA)에 답하는 능력이 저하되는지 평가합니다. 이는 SpeechLLM의 중요한 지표입니다.

실험 결과
본 접근 방식은 TORGO(영어) 및 NeuroVoz(스페인어) 데이터셋에서 평가되었습니다.

• ASR 성능 (WER):
  • 미세 조정: FFT와 F-LoRA는 가장 낮은 WER을 달성하여 베이스 모델을 크게 앞질렀습니다 (예: TORGO WER을 약 25%에서 11-12%로 감소).
  • 화자 조건화: FiLM 기반 방법은 TORGO에서 미미한 원시 개선(25.15%에서 23.24%)을 보였으나, 규칙 기반 후처리(post-processing)와 결합했을 때 경쟁력 있는 16.36%의 WER을 달성했습니다. 이는 해당 방법이 음향 콘텐츠는 잘 포착하지만, 완전히 미세 조정된 모델보다 노이즈가 섞인 가설을 생성함을 시사합니다.
  • NeuroVoz: 모든 방법이 약간의 개선을 보였으며, F-LoRA가 가장 우수한 성능(4.07%)을 보였습니다.
• MCQA 성능:
  • 베이스 모델: 수정되지 않은 모델은 연령 예측에는 어려움을 겪었으나 성별 예측에서는 무작위 확률 이상(53.5%)의 성능을 보였습니다.
  • 미세 조정: FFT와 EFT는 성별 예측 정확도를 높였으며(최대 64.9%), 이는 적응이 화자 특징에 대한 민감도를 날카롭게 했음을 시사합니다. 그러나 F-LoRA는 거의 무작위 수준(8.4%)으로 급락하여, 지시 이행 능력이 심각하게 저하되었음을 나타냈습니다.
  • 화자 조건화: 제안된 방법은 경쟁력 있는 성별 정확도(60.7%)를 달성하였으며, 이는 EFT보다 4.2% 포인트 뒤지는 수준이었으나 전체 파라미터의 약 1.6%만을 업데이트했습니다. 결정적으로, 설계 단계부터 건강한 음성에 대한 베이스 모델의 동작을 유지했습니다.

의의 및 주장
본 논문은 FiLM 기반 화자 조건화가 병적 음성 인식을 위한 실행 가능한 매개변수 효율적 대안임을 주장합니다. 주요 의의는 베이스 가중치와 일반 지식을 엄격히 보존하면서 개별적인 병적 음향 프로파일에 적응할 수 있다는 점에 있습니다. 이는 특히 전사 작업 이외의 작업(예: 질문에 답하기)을 수행하는 능력을 유지하는 것이 전사 정확도만큼이나 중요한 SpeechLLM에게 매우 중요합니다. 저자들은 완전히 미세 조정된 모델이 약간 더 나은 원시 WER을 제공할 수는 있지만, 제안된 화자 조건화 방식이 후처리를 활용한다면 효율성, 일반화, 그리고 더 넓은 오디오 이해 능력의 보존 사이에서 유리한 절충안(trade-off)을 제공한다고 결론짓습니다.