StuPASE: Towards Low-Hallucination Studio-Quality Generative Speech Enhancement

이 논문은 PASE 를 기반으로 한 StuPASE 를 제안하여, 건식 목표 신호 미세 조정과 플로우 매칭 모듈 도입을 통해 저할루시네이션 특성을 유지하면서도 어드버설 환경에서도 스튜디오급 음질을 구현하는 generative speech enhancement 방법을 제시합니다.

핵심

🎙️ '스튜디오급' 목소리를 만드는 마법: StuPASE 설명

이 논문은 **"거친 소리를 스튜디오처럼 깨끗하게 다듬으면서도, 원래 말의 의미를 왜곡하지 않는 새로운 기술 (StuPASE)"**을 소개합니다.

생각해 보세요. 비가 내리는 날, 창문 소리와 바람 소리가 섞여 친구의 목소리가 들리지 않는다고 가정해 봅시다. 우리는 그 친구의 목소리만 깨끗하게 듣고 싶지만, 기존 기술들은 소리를 정리하다 보니 친구가 말한 내용이 엉뚱하게 변해버리거나 (할루시네이션), 여전히 잡음이 남아있는 경우가 많았습니다.

이 논문은 이 두 가지 문제를 동시에 해결한 **'StuPASE'**라는 새로운 기술을 제안합니다.

---

1. 기존 기술의 문제점: "너무 완벽하게 지우려다 망친다"

기존의 'PASE'라는 기술은 소리를 정리할 때 아주 신중했습니다. 잡음을 지우되, 원래 말의 내용 (의미) 을 절대 바꾸지 않으려 노력했죠. 덕분에 친구가 말한 내용은 정확했지만, 소리의 질 (음질) 은 여전히 '방음 없는 방' 수준이라서 듣기엔 조금 거칠었습니다.

반면, 최신 AI 기술들은 소리를 아주 예쁘게 만들어주지만, 가끔은 "아무도 말하지 않은 말을 만들어내거나 (할루시네이션), 친구의 목소리를 다른 사람 목소리로 바꿔버리는" 위험이 있었습니다.

비유하자면:

• 기존 PASE: 친구의 사진을 흐릿하게 찍은 건데, 얼굴 특징은 정확히 유지한 상태. (내용은 맞는데 화질은 낮음)
• 다른 생성형 AI: 화질은 4K 로 아주 선명하지만, 친구가 아닌 다른 사람 얼굴이 합성된 상태. (화질은 좋지만 내용이 틀림)

---

2. StuPASE 의 해결책: 두 가지 마법

StuPASE 는 이 두 가지 문제를 해결하기 위해 두 가지 핵심 전략을 사용했습니다.

🧹 전략 1: "진짜 깨끗한 소리를 목표로 삼다" (Dry-Target Finetuning)

기존 기술들은 소리를 정리할 때, "약간의 잔향 (메아리) 이 섞인 소리"를 정답으로 가르쳤습니다. 마치 "비 오는 날의 소리를 정리해라"라고 가르치는 것과 비슷하죠.

하지만 연구팀은 **"아니야, 진짜 비가 오지 않는 맑은 날의 소리 (Dry Target) 를 정답으로 가르쳐야 해"**라고 생각했습니다.

• 비유: 요리사가 "비 오는 날의 습한 쌀"로 밥을 짓는 법을 배우는 대신, "아주 건조하고 좋은 쌀"로 밥 짓는 법을 다시 배운 것입니다.
• 결과: 이렇게 가르치니, 메아리가 심한 환경에서도 소리가 훨씬 선명해졌습니다.

🎨 전략 2: "화려한 그림을 그리는 새로운 붓" (Flow-Matching)

기존 기술은 소리를 만드는 데 'GAN'이라는 도구를 썼는데, 이는 마치 스케치북에 연필로 그림을 그리는 것과 비슷합니다. 빠르지만, 아주 정교하고 고음질 (스튜디오급) 그림을 그리기엔 한계가 있습니다.

StuPASE 는 이를 **'Flow-Matching (유동 매칭)'**이라는 새로운 도구로 바꿨습니다. 이는 마치 고급 유화 물감으로 캔버스에 그림을 칠하는 것과 같습니다.

• 비유: 흐릿한 스케치를 바탕으로, AI 가 "이 소리가 원래 어떻게 들렸을지"를 수학적으로 계산해가며 아주 정교하고 자연스러운 소리를 만들어냅니다.
• 결과: 비가 세차게 내리는 환경 (심한 잡음) 에서도 마치 스튜디오에서 녹음한 것처럼 깨끗한 소리를 만들어냅니다.

---

3. StuPASE 가 만든 결과

이 기술을 적용한 결과, 다음과 같은 놀라운 성과가 나왔습니다.

1. 할루시네이션 제로: 친구가 말한 내용을 AI 가 임의로 바꾸지 않습니다. (의미 정확도 유지)
2. 스튜디오급 음질: 비나 바람 소리가 심한 환경에서도 마치 무대 위에서 노래하는 것처럼 선명하고 자연스러운 소리가 나옵니다.
3. 다른 기술보다 낫다: 기존에 가장 잘한다고 알려진 기술들보다 소리의 질이 더 좋고, 내용도 더 정확하게 복원했습니다.

🎯 한 줄 요약

"StuPASE 는 잡음이 심한 환경에서도 친구의 목소리를 '내용은 그대로, 화질은 4K'로 만들어주는, 소리를 위한 최고의 디지털 보정사입니다."

이 기술은 앞으로 화상 회의, 음성 비서, 혹은 청각 장애인을 위한 보청기 등 다양한 분야에서 소리를 더 명확하고 자연스럽게 만들어줄 것으로 기대됩니다.

기술 요약

StuPASE: 저할루시네이션 스튜디오 품질 생성형 음성 향상

1. 문제 정의 (Problem)

생성형 음성 향상 (Generative Speech Enhancement, SE) 은 판별형 (discriminative) 방법론보다 우수한 지각적 품질을 제공할 수 있지만, 여전히 할루시네이션 (hallucination) 문제가 주요한 과제입니다. 할루시네이션은 원본 음성의 언어적 내용이나 화자 특성과 일치하지 않는 잘못된 정보를 생성하는 현상으로, 이는 언어적 무결성을 해칩니다.

기존의 대표적인 방법인 PASE는 할루시네이션에 강건하지만, 강한 반사음 (reverberation) 이나 첨가 잡음이 있는 열악한 환경에서는 지각적 품질이 제한적입니다. 특히 PASE 의 생성 모듈로 사용된 GAN 기반 구조는 노이즈와 잔향 제거에 한계가 있으며, 과도한 억제나 아티팩트 (artifacts) 를 유발하여 '스튜디오 품질 (배경 노이즈와 잔향이 없으며 자연스러운)'의 음성을 생성하기 어렵습니다.

2. 방법론 (Methodology)

저자들은 PASE 를 기반으로 저할루시네이션 특성을 유지하면서 스튜디오 수준의 품질을 달성하기 위해 StuPASE를 제안합니다. 주요 기술적 개선 사항은 다음과 같습니다.

• 건조한 목표 (Dry-Target) 를 이용한 파인튜닝:

  • 기존 PASE 는 훈련 시 인위적으로 추가된 초기 반사음 (early reflections) 을 포함하는 목표를 사용했습니다. 하지만 이는 지각적으로 잔향이 남거나 스펙트럼 디테일이 흐려지는 원인이 되었습니다.
  • StuPASE 는 **건조한 녹음 (dry recordings, 추가 반사음 없음)**을 훈련 목표로 사용하여 PASE 를 파인튜닝합니다. 이를 통해 DeWavLM-R(의미 향상 모듈) 과 DualVocoder-R(음향 향상 모듈) 을 개선하여, 심한 반사음 환경에서도 더 나은 탈반사 (dereverberation) 성능을 확보합니다.

• GAN 기반 모듈에서 Flow-Matching 기반 모듈로 교체:

  • PASE 의 GAN 기반 생성 모듈을 더 표현력이 풍부한 Flow-Matching 모듈로 대체합니다.
  • 구조:
    1. 의미 향상: DeWavLM-R 을 통해 노이즈가 섞인 파형에서 정제된 음소 표현 (phonetic representations) 을 추출합니다.
    2. 조건부 생성: 추출된 음소 표현과 노이즈가 섞인 Mel 스펙트로그램을 결합하여 조건 신호를 생성합니다.
    3. Flow-Matching: DiT(Diffusion Transformer) 기반의 Flow-Matching 모듈이 이 조건 신호를 바탕으로 스튜디오 품질의 깨끗한 Mel 스펙트로그램을 생성합니다.
    4. 음성 합성: 생성된 Mel 스펙트로그램을 Mel vocoder 를 통해 최종 음성 파형으로 변환합니다.
  • 훈련 전략: 'Speech-infilling' 훈련 패러다임을 적용하여, 주변 문맥과 정제된 음소 표현을 활용하여 마스킹된 청크를 채우도록 학습시킵니다. 이는 저수준의 노이즈 단서 의존도를 줄이고 언어적 충실도를 높입니다.

3. 주요 기여 (Key Contributions)

1. 건조한 목표 훈련의 효과 규명: PASE 를 건조한 목표 (dry targets) 로 파인튜닝할 경우 탈반사 성능이 획기적으로 향상됨을 입증했습니다.
2. StuPASE 프레임워크 제안: GAN 기반 모듈을 Flow-Matching 모듈로 교체하여 열악한 조건에서도 스튜디오 수준의 음성 생성이 가능하도록 했습니다.
3. 최고 수준의 성능 달성: 기존 최첨단 (SOTA) 음성 향상 방법론들을 능가하며, 낮은 할루시네이션과 높은 지각적 품질을 동시에 달성했습니다.

4. 실험 결과 (Results)

• 데이터셋: LibriVox, LibriTTS, VCTK, Common Voice 등에서 약 2,000 시간의 데이터를 학습에 사용했으며, Flow-Matching 모듈 훈련에는 약 1,000 시간의 스튜디오 품질 데이터를 정제하여 사용했습니다.
• 객관적 지표 (DNS1 및 시뮬레이션 테스트 세트):
  • 지각적 품질: UTMOS 점수에서 StuPASE 가 4.01 (반사음 환경) 및 4.08 (시뮬레이션 환경) 을 기록하여 TF-GridNet, FlowSE, SenSE, Adobe Enhance Speech V2 등 모든 베이스라인을 상회했습니다.
  • 할루시네이션 (언어적 무결성): 단어 오류율 (dWER) 이 7.89% 로 가장 낮았으며, 이는 다른 생성형 모델들 (FlowSE: 15.58%, SenSE: 11.30%) 보다 훨씬 낮은 할루시네이션 수준을 의미합니다.
  • 화자 충실도: SpkSim 점수에서도 경쟁력 있는 성능을 보였습니다.
• 주관적 평가: 청취 테스트 (Q-MOS, S-MOS) 에서 StuPASE 가 가장 높은 점수 (Q-MOS 4.19, S-MOS 3.98) 를 받아 2 위인 SenSE 를 크게 앞섰습니다. 특히 객관적 화자 유사도 점수와 무관하게 인간 청취자에게 더 자연스러운 화자 일관성을 제공함을 확인했습니다.

5. 의의 (Significance)

StuPASE 는 생성형 음성 향상 분야에서 할루시네이션과 고품질 생성 간의 트레이드오프 (trade-off) 문제를 해결한 중요한 사례입니다.

• 기존 생성형 모델들이 언어적 내용을 왜곡하거나 과도한 아티팩트를 생성하는 한계를 극복하고, 실제 스튜디오에서 녹음된 것과 같은 자연스러운 음성을 열악한 환경에서도 생성할 수 있음을 증명했습니다.
• 복잡한 언어 모델 (LM) 을 사용하지 않고도, 효율적인 파인튜닝 전략과 Flow-Matching 기법을 통해 높은 성능을 달성함으로써 실용적이고 효율적인 생성형 SE 시스템의 새로운 방향성을 제시했습니다.

이 연구는 음성 향상 기술이 단순한 노이즈 제거를 넘어, 인간이 인지하기에 자연스럽고 언어적으로 정확한 '고품질 오디오'를 생성하는 단계로 발전하고 있음을 보여줍니다.