WhispEar: A Bi-directional Framework for Scaling Whispered Speech Conversion via Pseudo-Parallel Whisper Generation

이 논문은 풍부한 정상 발화 데이터로부터 위스퍼 발화를 생성하는 역방향 모델을 통해 확장 가능한 가짜 병렬 데이터를 확보하고, 이를 활용해 위스퍼를 정상 발화로 변환하는 성능을 대폭 향상시킨 양방향 프레임워크 'WhispEar'와 대규모 이중 언어 병렬 말뭉치를 제안합니다.

핵심

1. 문제 상황: "속삭임은 왜 들리지 않을까?"

우리가 속삭일 때는 성대가 진동하지 않아 소리가 작고 뾰족합니다. 마치 종이로 만든 나팔로 노래를 부르는 것과 비슷해요. 소리는 들리지만, 목소리의 '매력' (낮과 높음, 울림) 이 사라져서 기계가 알아듣기 어렵습니다.

기존 기술들은 이 문제를 해결하려고 했지만, 비밀스러운 속삭임과 정상적인 말을 동시에 녹음한 데이터가 너무 적어서 학습이 잘 안 됐습니다. 요리사에게 최고의 레시피 (데이터) 가 없으면 맛있는 요리를 만들 수 없는 것과 같습니다.

2. 해결책: "WhispEar(위스프이어)"의 두 가지 마법

저자들은 이 문제를 해결하기 위해 **'WhispEar'**라는 시스템을 만들었습니다. 이 시스템은 두 가지 핵심 아이디어를 사용합니다.

① "의미는 같아, 목소리만 달라" (공통된 언어)

속삭임과 큰 소리로 말하는 것은 소리 (음성) 는 다르지만, 전달하려는 '의미'는 똑같습니다.

• 비유: 같은 '레시피 (의미)'를 가지고, 하나는 '스팀 오븐 (속삭임)'에서, 다른 하나는 '일반 오븐 (정상 음성)'에서 구운 빵이라고 생각해보세요. 빵의 모양과 식감은 다르지만, 안에 들어간 재료 (의미) 는 동일합니다.
• WhispEar 는 이 '재료 (의미)'만 먼저 추출해낸 뒤, 원하는 목소리 스타일로 다시 구워냅니다.

② "거꾸로 배우기" (가짜 데이터 만들기)

가장 큰 문제는 '속삭임 데이터'가 부족하다는 것입니다. 여기서 저자들의 아이디어는 정말 기발합니다.

• 아이디어: "속삭임 데이터가 없다면, 정상적인 목소리 데이터를 가지고 '가짜 속삭임'을 만들어버리자!"
• 비유: 요리사가 레시피가 없어서 당황할 때, 이미 맛있는 요리를 잘하는 셰프 (AI) 가 "이 요리를 어떻게 하면 더 가볍게 (속삭임처럼) 만들 수 있을까?"를 역으로 연구해서 가짜 레시피를 만들어내는 것과 같습니다.
• 이 '가짜 속삭임' 데이터를 실제 녹음된 데이터와 섞어서 학습시키니, AI 가 속삭임을 이해하는 능력이 폭발적으로 늘어났습니다.

3. 어떻게 작동할까? (3 단계 과정)

1. 단계 1: 의미 추출기 훈련
   • AI 가 속삭임과 큰 소리 모두에서 '의미'만 골라내는 능력을 기릅니다. (소리는 무시하고 내용만 파악)
2. 단계 2: 소리 만들기 훈련
   • 추출한 '의미'를 바탕으로 다시 자연스러운 소리를 만들어내는 훈련을 합니다.
3. 단계 3: 거꾸로 학습과 대량 생산
   • 가장 중요한 단계: AI 가 "정상적인 말을 들으면, 어떻게 속삭임처럼 바꿀까?"를 먼저 배웁니다.
   • 그다음, 이 능력을 이용해 수천 시간 분량의 '가짜 속삭임 데이터'를 자동으로 만들어냅니다.
   • 이렇게 만들어진 엄청난 양의 데이터를 다시 학습시켜, "속삭임을 들으면 정상적인 말로 바꿔주는" 능력을 완성합니다.

4. 왜 이것이 대단한가요?

• 데이터 부족 해결: 더 이상 비싼 녹음 장비와 많은 참가자를 구할 필요가 없습니다. 이미 있는 정상적인 목소리 데이터만 있으면 AI 가 스스로 '속삭임 데이터'를 만들어냅니다.
• 성능 향상: 실험 결과, 이 방법을 쓰니 속삭임이 정상적인 말로 바뀔 때 소리의 자연스러움, 알아듣기 쉬운 정도, 그리고 화자의 목소리 특징 (톤) 을 잘 유지하는 것이 기존 기술보다 훨씬 뛰어났습니다.
• 최대 데이터 공개: 연구팀은 중국어와 영어로 된 세계 최대 규모의 '속삭임 - 정상 음성' 데이터셋도 함께 공개했습니다.

5. 요약: 한 줄로 정리하면?

"WhispEar 는 '정상적인 말'을 가지고 '가짜 속삭임'을 대량으로 만들어낸 뒤, 이를 학습시켜 '진짜 속삭임'을 또렷한 말로 바꿔주는, 데이터 부족 문제를 해결한 혁신적인 기술입니다."

이 기술은 비밀스러운 대화나 목소리 장애가 있는 분들의 목소리 복원 등, 앞으로 다양한 분야에서 큰 도움을 줄 것으로 기대됩니다. 마치 소문 (속삭임) 을 뉴스 (정상 음성) 로 바꿔주는 마법 같은 번역기라고 생각하시면 됩니다.

기술 요약

WhispEar: 가짜 병렬 (Pseudo-Parallel) 귀속음 생성을 통한 양방향 귀속음 변환 확장 프레임워크

1. 문제 정의 (Problem)

• 귀속음 (Whispered Speech) 의 한계: 귀속음은 성대 진동과 기본 주파수 (F0) 가 부재하여 음향적 단서가 심각하게 저하됩니다. 이로 인해 귀속음을 자연스러운 일반 음성으로 변환하는 (Whisper-to-Normal, W2N) 작업이 매우 어렵습니다.
• 데이터 부족: 기존 연구들은 제한된 병렬 데이터 (귀속음 - 일반 음성 쌍) 에 크게 의존합니다.
• 기존 방법의 한계:
  • 전통적인 디지털 신호 처리 (DSP) 기반의 가짜 귀속음 생성은 실제 귀속음과 분포 차이가 커 성능 향상이 제한적입니다.
  • 적대적 학습 (Adversarial learning) 기반 방법은 학습 불안정성이 있습니다.
  • 대부분의 방법은 화자의 음색 (Timbre) 과 자연스러운 억양 (Prosody) 을 유지하는 데 어려움을 겪습니다.

2. 방법론 (Methodology)

저자들은 WhispEar라는 통합된 의미 표현 (Unified Semantic Representations) 기반의 양방향 프레임워크를 제안했습니다. 이 프레임워크는 W2N(귀속음→일반) 과 N2W(일반→귀속음) 모델을 모두 포함하며, 3 단계 학습 파이프라인을 따릅니다.

• Stage 1: 의미 토크나이저 증류 (Semantic Tokenizer Distillation)

  • 대규모 ASR 인코더 (Teacher) 에서 학습된 의미 임베딩을 경량화된 학생 모델 (Student) 이 모방하도록 증류합니다.
  • Whisper 와 Normal 음성을 모두 학습 데이터로 사용하여 화법 모드에 불변인 (Speaking-mode-invariant) 의미 표현을 학습합니다.
  • 얻어진 임베딩은 FSQ(Finite Scalar Quantization) 를 통해 이산적인 의미 토큰으로 양자화됩니다.

• Stage 2: 공유 흐름 매칭 음향 모델 (Shared Flow-Matching Acoustic Model)

  • 이산적인 의미 토큰에서 멜 스펙트로그램을 생성하는 조건부 Flow-Matching Transformer 를 학습합니다.
  • W2N 과 N2W 작업은 동일한 아키텍처와 보코더를 공유하며, 변환 방향 (d) 만을 지시하는 플래그로 구분합니다.
  • CosyVoice2 를 기반으로 하며, 마스킹된 멜 스펙트로그램을 입력받아 최적 수송 경로 (Optimal-transport path) 를 따라 속도장을 예측합니다.

• Stage 3: 통합 토크나이저 학습 및 확장 가능한 데이터 생성

  • N2W 모델 학습: 실제 병렬 데이터를 사용하여 일반 음성을 귀속음으로 변환하는 모델을 먼저 학습합니다.
  • 가짜 병렬 데이터 생성 (Zero-shot): 학습된 N2W 모델을 활용하여 방대한 양의 일반 음성 데이터에서 고품질 가짜 귀속음을 생성합니다. 이를 통해 추가 녹음 없이 대규모 병렬 데이터 세트를 확보합니다.
  • W2N 모델 학습: 실제 병렬 데이터와 생성된 대규모 가짜 병렬 데이터를 결합하여 W2N 모델을 학습시킵니다.

3. 주요 기여 (Key Contributions)

1. WhispEar 프레임워크 제안: 통합된 의미 표현을 기반으로 한 최초의 양방향 귀속음 변환 프레임워크를 제시했습니다.
2. 제로샷 가짜 병렬 데이터 생성 전략: N2W 모델을 통해 풍부한 일반 음성 데이터에서 고품질 가짜 귀속음을 생성하여, 추가 녹음 없이 대규모 데이터 확장을 가능하게 했습니다.
3. 데이터 중심 확장성 (Scalability) 검증: 생성된 가짜 병렬 데이터의 양을 점진적으로 증가시키며 실험을 수행, 데이터 양 증가가 성능 향상에 일관된 기여를 함을 입증했습니다.
4. wEar 데이터셋 공개: 현재까지 가장 큰 규모의 이중 언어 (중국어 - 영어) 병렬 귀속음 - 일반 음성 코퍼스 (실제 녹음 + 생성 데이터 포함) 를 공개했습니다.

4. 실험 결과 (Results)

• 성능 비교: WhispEar 는 WESPER, DistillW2N, CosyVoice2 등 기존 최첨단 모델 (SOTA) 보다 우월한 성능을 보였습니다. 특히 화자 유사도 (Speaker Similarity) 와 억양 복원 (Prosody Recovery) 측면에서 크게 개선되었습니다.
• 확장 효과:
  • 약 80 시간의 데이터로 학습된 기본 WhispEar 모델만으로도 SOTA 모델과 경쟁 가능한 성능을 보였습니다.
  • 약 3,000 시간의 가짜 병렬 데이터를 추가한 WhispEar-Scaled 모델은 유사도, 가독성, 자연스러움, 억양 등 모든 지표에서 가장 우수한 성능을 기록했습니다.
• 데이터 구성 전략: 원시 데이터 (RAW) 나 전통적인 DSP 기반 데이터보다, 정렬된 실제 데이터와 모델 기반 가짜 데이터 (A+P) 를 결합했을 때 성능이 가장 뛰어났습니다.
• 확장 실험: 가짜 데이터로 사전 학습 (Pretraining) 한 후, 소량의 실제 정렬 데이터로 미세 조정 (SFT) 하는 방식이 가장 효과적이었으며, 데이터 양이 증가할수록 미세 조정 후 성능이 지속적으로 향상되었습니다.

5. 의의 및 결론 (Significance)

• 데이터 희소성 해결: 귀속음 변환 분야에서 가장 큰 병목 현상이었던 병렬 데이터 부족 문제를, 생성된 가짜 데이터를 통해 효과적으로 해결했습니다.
• 실용적 가치: 사생활 보호 통신 및 음성 복원 등 다양한 응용 분야에서 고품질의 귀속음 변환 기술 제공이 가능해졌습니다.
• 연구 기반 마련: 공개된 wEar 데이터셋과 WhispEar 프레임워크는 향후 귀속음 처리 연구의 새로운 벤치마크로 작용할 것입니다.

이 논문은 생성형 AI 와 데이터 증강 기법을 결합하여 음성 변환의 한계를 극복하고, 데이터 양의 확장이 모델 성능에 미치는 긍정적 영향을 체계적으로 입증했다는 점에서 의의가 큽니다.