S-DiverSe: Spanish Diverse Speech

기술 요약: S-DiverSe: 스페인어 다양성 음성 (Spanish Diverse Speech)

문제 정의
자동 음성 인식(ASR)은 표준 음성 벤치마크에서 놀라운 성공을 거두었으나, 근위축성 측삭 경화증(ALS), 파킨슨병(PD), 뇌졸중과 같은 신경계 질환의 영향을 받는 음성에서는 여전히 어려움을 겪고 있다. 이러한 질환들은 조음 명확도 저하, 운율 변화, 가변적인 명료도를 특징으로 하는 구어 장애(dysarthria)를 유발한다. 병적 음성을 위한 ASR 발전을 가로막는 주요 장애물은 대규모의 고품질 데이터셋, 특히 스페인어 데이터의 부족이다. 기존의 스페인어 자원은 임상적 범위, 도메인 다양성 또는 녹음 환경 측면에서 제한적이며, 주로 통제된 임상 환경이나 편향된 인구 통계(예: 노인 화자)에 의존하고 있다. 이러한 벤치마크의 부재는 병적 음성을 위한 강건한 ASR 시스템 개발을 저해하고 보조 통신 도구의 발전을 제한한다.

방법론
저자들은 이 간극을 메우기 위해 설계된 코퍼스인 S-DiverSe(Spanish Diverse Speech)를 소개한다. 이 데이터셋은 ALS, PD 또는 뇌졸중 진단을 받은 22명의 화자로부터 녹음된 3.2시간 분량의 "인 더 와일드(in-the-wild)" 스페인어 음성으로 구성된다.

• 데이터 수집: 오디오는 유튜브에서 소싱되었으며, 자기 보고된 진단명과 비정상적 음성에 대한 지각적 증거를 바탕으로 필터링되었으며, 인터뷰와 같은 자발적 맥맥락을 선호하였다.
• 주석(Annotation): 코퍼스는 444개의 수동 전사 오디오 세그먼트를 포함한다. 세 명의 네이티브 스페인어 언어학자가 철자 전사를 수행하고, 화자의 성별과 질환을 라벨링했으며, 명료도 점수를 1~5점 척도로 할당했다. 이해할 수 없는 세그먼트는 de로 표시되었으며, 채움 휴지(filled pauses)는 유지되었다.
• 데이터셋 구성: 코퍼스는 남성 중심(87.4%)이며 ALS 중심(78.1%)인데, 이는 수집 편향보다는 인 더 와일드 데이터의 가용성을 반영한 결과이다. 성별, 질환, 명료도에 대한 메타데이터가 포함되어 있다.
• 실험 설정: S-DiverSe는 높은 가변성과 겸손한 규모로 인해 학습 분할(training splits)이 신뢰하기 어렵다는 점을 고려하여 오직 평가용으로만 사용되었다. 연구에서는 네 가지 ASR 시스템인 Whisper-large-v3, Voxtral-Mini, omniASR CTC 1B v2, 그리고 상용 모델인 ElevenLabs Scribe v2를 평가하였다.
• 적응 전략(Adaptation Strategies): 저자들은 다른 신경 영향 코퍼스(TORGO 및 NeuroVoz)와 Spanish Common Voice를 사용한 두 가지 적응 접근 방식을 조사하였다:
  1. 미세 조정(Fine-tuning): 다양한 모델 컴포넌트(인코더, 어텐션 레이어 등)에 적용되는 전체 미세 조정(FFT) 및 저차원 적응(LoRA)을 포함한다.
  2. 텍스트 후처리(Text Post-processing, PP): 문자 반복을 분석하고, 연속된 반복 단어를 합치며, 반복되는 구절을 줄이는 규칙 기반 휴리스틱 접근법이다.

주요 기여

1. S-DiverSe 코퍼스: 여러 신경계 질환(ALS, PD, 뇌졸중)을 다루는 최초의 인 더 와일드 스페인어 데이터셋으로, 인간이 작성한 전사본과 메타데이터를 포함한다. 저자들은 연구 촉진을 위해 주석을 공개한다.
2. 벤치마킹: S-DiverSe에 대한 네 가지 최첨단 ASR 시스템의 평가를 통해 스페인어 병적 음성 인식의 베이스라인을 제공한다.
3. 적응 분석: 도메인 외(out-of-domain) 신경계 스페인어 음성에 ASR 모델을 적응시키기 위한 미세 조정과 텍스트 후처리의 비교 연구를 수행한다.

결과

• 베이스라인 성능: 오픈 웨이트 모델 중에서는 omniASR CTC 1B v2가 S-D everSe에서 가장 낮은 단어 오류율(WER)을 달 기록했으며, 상용 모델인 Scribe v2가 가장 우수한 종합 성능을 보였다. 단일 오픈 웨이트 모델이 모든 테스트 코퍼스(S-DiverSe, TORGO, NeuroVoz)에서 압도하지 못했는데, 이는 아키텍처와 훈련 데이터가 특정 병리와 다르게 상호작용함을 시사한다.
• 명료도와 WER: 명료도와 WER 사이에 역관계가 관찰되었다. 낮은 명료도 수준에서 오픈 웨이트 모델들은 크게 성능이 저하된 반면, Scribe v2는 상대적인 강건성을 유지했다.
• 적응 결과:
  • 후처리: 휴리스틱 텍스트 후처리가 S-DiverSe를 위한 가장 강건한 적응 전략임이 입증되었다. 이는 TORGO에서의 인 도메인 성능을 해치지 않으면서도 일관되게 WER을 감소시켰는데, 이는 상당 부분의 오류가 텍스트 수준에서 교정 가능하다는 것을 나타낸다.
  • 미세 조정: 미세 조정은 인 도메인 성능(TORGO/NeuroVoz)을 일관되게 개선했으나, 도메인 외 데이터인 S-DiverSe에는 일반화되지 못했다. 일부 사례(예: Whisper-large-v3의 FFT 적용 시)에서는 미세 조정이 치명적 망각(catastrophic forgetting)을 일으켜, 삽입 및 대체 오류 증가로 인해 S-D everSe에서 WER이 100%를 초과하기도 했다.
  • 데이터 구성: 훈련 믹스에 Spanish Common Voice(낭독형 음성)를 추가하는 것은 병적 데이터만 사용하는 것보다 S-DeverSe 성능을 개선하지 못했다. 이는 병목 현상이 언어 불균형이 아닌 도메인 불일치(음향 조건)임을 확인시켜 준다.

의의 및 주장
본 논문은 S-DiverSe가 현재 ASR 시스템이 이질적인 인 더 와일드 병적 스페인어 음성을 처리하는 데 있어 갖는 한계를 드러내는 필수적인 벤치마크를 구축한다고 주장한다. 연구 결과는 깨끗한 낭독형 음성과 통제된 임상 코퍼스가 다양하고 실제적인 현실 세계의 병적 데이터를 대체할 수 없음을 강조한다.

결정적으로, 저자들은 도메인 외 신경계 스페인어 음성에 대해서는 휴리스틱 텍스트 후처리가 미세 조정보다 더 강건하다고 결론짓는다. 파라미터 업데이트 방식은 언어 구성과 관계없이 훈련 분포를 넘어 일반화되는 데 실패한다. 이는 강건한 스페인어 병적 음성 ASR을 발전시키기 위해 뇌졸중 및 여성 화자를 폭넓게 포괄하는 전용 데이터 수집이 시급히 필요함을 시사한다. 이 데이터셋은 평가 및 개발을 목적으로 하며, 임상적 추론을 위한 것이 아니다.