PASE: Leveraging the Phonological Prior of WavLM for Low-Hallucination Generative Speech Enhancement

기술 요약: PASE - 저(低) 환각 생성형 음성 향상을 위한 WavLM의 음운론적 사전 지식 활용

1. 문제 정의

생성 모델은 최근 전통적인 판별 모델의 대안으로서 음성 향상(Speech Enhancement, SE) 분야에서 주목받는 강력한 대안으로 부상하며 우수한 지각 품질을 제공하고 있습니다. 그러나 이러한 생성 모델은 **환각(hallucination)**이라는 치명적인 결함을 가지고 있습니다. 심각한 노이즈 조건 하에서 생성 모델은 일관되지 않은 언어적 내용(언어적 환각)이나 변형된 화자 특성(음향적 환각)을 출력하는 경우가 빈번합니다.

저자들은 기존의 평가 방식이 이러한 문제를 간과하는 경향이 있다고 주장합니다. 표준적인 비참조(non-intrusive) 지표(예: DNSMOS, UTMOS)는 내용 왜곡을 감지할 수 없기 때문입니다. 최근 연구들이 단어 오류율(WER)과 화자 유사도(SpkSim)를 포함하기 시작했으나, 이러한 평가는 모델이 안정적으로 작동하는 고(高) SNR 조건에서 주로 수행됩니다. 저(低) SNR 시나리오에서는 환각 현상이 심각해져, 이러한 시스템의 실질적인 유용성을 저해하게 됩니다.

본 논문은 현재의 생성적 접근 방식에서 발생하는 실패의 두 가지 근본 원인을 다음과 같이 식별합니다:

1. 언어적 환각(Linguistic Hallucinations): 유효한 음운 구조를 제약하는 데 실패함에서 기인합니다. 기존의 언어 모델(LM) 기반 접근 방식은 노이즈로 오염된 입력 표현으로부터 이러한 사전 지식을 학습하려고 시도하며, 이 과정에서 "오염된" 지식을 갖게 됩니다.
2. 음향적 환각(Acoustic Hallucinations): 음성을 토큰으로 이산화(discretization)하거나 불충분한 음향 조건화로 인해 미세한 음향 세부 정보(피치, 음색)가 손실되어 발생합니다.

2. 방법론: PASE 프레임워크

저자들은 자가 지도 학습 모델인 WavLM에 내재된 견고한 음운론적 사전 지식을 활용하여 두 가지 유형의 환각을 완화하도록 설계된 생성형 프레임워크인 **PASE(Phonologically Anchored Speech Enhancer)**를 제안합니다.

핵심 구성 요소

프레임워크는 두 가지 주요 단계로 구성됩니다.

A. 표현 증류(Representation Distillation)를 통한 디노이징 WavLM (DeWavLM)

PASE는 음운론적 사전 지식을 처음부터 학습하거나 오염된 입력으로부터 학습하는 대신, 사전 학습된 WavLM을 디노이징 전문가로 적응시킵니다.

• 디노이징 표현 증류 (DRD): 저자들은 특징 수준의 지식 증류(Knowledge Distillation, KD) 전략을 채택했습니다. "교사(Teacher)" WavLM(동결됨)은 깨끗한 음성을 처리하고, "학생(Student)" WavLM(학습 가능)은 노이즈가 섞인 음성을 처리합니다. 학생 모델은 자신의 최종 레이어 출력과 교사 모델의 출력 사이의 평균 제곱 오차(MSE)를 최소화하도록 학습됩니다.
• 사전 지식의 보존: 이 과정은 WavLM의 고유한 음운론적 사전 지식에 의해 유도됩니다. 결정적으로, 저자들은 단순한 증류 목적 함수(KD)를 사용하는 것이 마스크 예측 손실(masked prediction loss)을 포함한 결합 목적 함수보다 우수하다는 것을 발견했습니다. 이는 모델이 디노이징을 위해 정교화되는 동시에 사전 학습된 사전 지식의 파괴적 망각(catistic forgetting)을 효과적으로 방지하기 때문입니다.
• 연속 공간(Continuous Space): 음성을 토큰으로 이산화하는 이산 언어 모델링(DLM) 방식과 달리, PASE는 전적으로 연속적인 표현 공간에서 작동하여 이산화와 관련된 정보 손실을 피합니다.

B. 이중 스트림 음향 조건부 재구성

음향적 환각을 해결하고 화자 정체성 보존을 보장하기 위해, PASE는 신경 보코더(Vocos)를 위한 이중 스트림 조건화 메커니즘을 사용합니다.

• 음성 스트림(Phonetic Stream): DeWavLM의 최종 트랜스포머 레이어(Layer 24) 출력을 사용합니다. 이 레이어는 고수준의 추상적인 음성 내용을 인코딩하여 언어적 무결성을 보장합니다.
• 음향 스트림(Acoustic Stream): 첫 번째 트랜스포머 레이어(Layer 1)의 출력을 사용합니다. 이 레이어는 미세한 음향 세부 정보와 화자 특성을 유지합니다.
• 융합(Fusion): 이 두 스트림은 선형 투영(linear projection)을 통해 정렬되며, 보코더에 입력되기 전 요소별 덧셈(element-wise addition)을 통해 융합됩니다. 이 설계는 합성된 파형이 언어적으로 정확하면서도 원래 화자의 정체성에 충실하도록 보장합니다.

3. 주요 기여

본 논문은 세 가지 주요 기여를 명시합니다:

1. 환각의 새로운 개념화: 저자들은 SE에서의 환각을 언어적(내용 왜곡) 및 음향적(화자 특성 왜곡) 유형으로 공식적으로 분류하고, 이를 각각의 근본 원인(음운 구조 제약 실패 vs 음향 단서의 손실)과 연결 지었습니다.
2. 새로운 사전 지식 활용 패러다임: PASE는 잠재적으로 결함이 있는 사전 지식을 노이즈 데이터로부터 학습하는 것에서, 자가 지도 학습 모델의 견고하고 기존에 존재하는 사전 지식을 활용하는 것으로 패러다임을 전환합니다. 또한, 음운론적 앵커링(via phonological anchoring)을 통해 언어적 환각을 완화하고, 저수준 음향 조건화(via low-level acoustic conditioning)를 통해 음향적 환각을 동시에 완화하는 이중 스트림 설계를 도입했습니다.
3. 최첨단 성능(SOTA): 광범한 실험을 통해 PASE가 기존의 생성 및 판별 모델들을 크게 능가하며, 두 유형의 환각을 줄이는 동시에 우수한 지각 품질과 낮은 계산 복잡도를 달성함을 입증했습니다.

4. 실험 결과

저자들은 시뮬레이션된 LibriTTS 테스트 세트와 (잔향 조건을 포함한) DNS1 테스트 세트에서 PASE를 평가하였으며, 판별 모델(TF-GridNet), 확산/플로우 매칭 모델(StoRM, FlowSE), LM 기반 모델(LLaSE-G1), 그리고 상용 솔루션(Adobe Enhance Speech V2)과 비교하였습니다.

• 언어적 무결성: PASE는 모든 생성 모델 중 **가장 낮은 단어 오류율(WER)**을 기록했습니다 (LLaSE-G1의 36.58%, AES-V2의 21.32% 대비 7.49%). 이는 언어적 환각에 대한 탁월한 저항성을 보여줍니다.
• 화자 충실도: PASE는 화자 유사도(SpkSim) 0.80을 달려, 판별 모델 베이스라인인 TF-GridNet(0.80)과 일치하는 성능을 보였으며, LLaSE-G1(0.42) 및 AES-V2(0.60)와 같은 다른 생성 모델들을 크게 앞질렀습니다. 'Clean' 참조 베이스라인(1.00)보다는 낮지만, PASE는 테스트된 향상 방법들 중 가장 높은 충실도를 보여 음향적 환각을 효과적으로 완화했습니다.
• 지각 품질: PASE는 높은 지각 품질 점수(UTMOS: 3.09)를 유지하여 다른 생성 모델들과 대등하거나 이를 능가했으며, 판별 모델인 TF-GridNet(UTMOS: 2.62)보다는 유의미하게 높은 성능을 보였습니다.
• 효율성: PASE는 다른 생성형 베이스라인인 StoRM 및 FlowSE와 비교하여 더 낮은 계산 복잡도(MACs)를 나타냈습니다.

절제 연구(Ablation) 통찰:

• 사전 지식의 출처: 실험 결과, 음운론적 사전 지식은 단순히 데이터 규모의 함수가 아니라, 근본적으로 사전 학습의 **마스크 예측 목적 함수(masked prediction objective)**에 뿌리를 두고 있음을 밝혀냈습니다. 처음부터 학습된 모델은 데이터 크기에 관계없이 필요한 맥락적 추론 능력을 학습하는 데 실패했습니다.
• 증류 전략: 지식 증류(KD) 손실만을 사용하는 것이 표현 충실도(RFS)와 맥락적 추론 능력(MRS)을 가장 잘 보존하여 최상의 성능을 냈습니다.
• 이중 스트림 설계: 보코더를 첫 번째 레이어의 음향 표현으로 조건화하는 것은 언어적 지표에 미치는 영향은 최소화하면서 SpkSim을 0.57에서 0.80으로 크게 향상시켰으며, 이는 저수준 음향 단서의 필요성을 입증합니다.

5. 의의 및 주장

본 논문은 PASE가 생성형 음성 향상을 실제 환경에서 신뢰할 수 있게 만드는 중요한 진전임을 주장합니다. WavLM의 견고한 음운론적 사전 지식에 향상 과정을 고정함으로써, PASE는 높은 지각 품질과 내용 정확성 사이의 간극을 메웁니다.

저자들은 PASE가 오염된 입력으로부터 학습하는 근본적인 결함을 해결한다고 강조합니다. 노이즈를 "학습하지 않거나" 노이즈로부터 새로운 사전 지식을 배우는 대신, PASE는 자가 지도 학습 모델에 이미 인코딩된 "깨끗한" 지식을 활용합니다. 그 결과, 이 시스템은 지각적으로 즐거울 뿐만 아니라, 심각한 노이즈와 잔향 조건에서도 원래의 음성 내용과 화자의 정체성에 **충실(faithful)**합니다. 이 연구는 생성형 SE가 실용적이 되기 위해서는 단순한 지각적 최적화를 넘어, 견고하고 기존에 존재하는 언어적 및 음향적 사전 지식을 사용하여 생성 과정을 명시적으로 제약해야 함을 시사합니다.