기술 요약: 지각적 보상을 활용한 음성 향상 언어 모델의 사후 학습(Post-Training)

문제 정의

이산적 오디오 토큰을 사용하는 자기회귀(Autoregressive) 음성 향상(Speech Enhancement, SE) 언어 모델은 대규모 사전 학습과 지도 미세 조정(SFT)을 활용하여 최첨단 성능을 달술했습니다. 그러나 심각한 "학습-평가 간극(train-eval gap)"이 여전히 존재합니다. 이러한 모델들은 토큰 수준의 크로스 엔트로피 손실(cross-entropy loss)을 사용하여 최적화되는 반면, 성능 평가는 DNSMOS(전반적인 품질), WER(명료도), UTMOS(자연스러움)와 같은 미분 불가능한 지각적 지표를 통해 이루어집니다. 낮은 크로스 엔트로피가 반드시 높은 지각적 점수를 보장하는 것은 아닙니다.

이 간극을 메우려는 이전의 시도들은 학습된 대리 모델(예: MetricGAN)이나 오프라인 선호도 쌍(예: GSEPF)에 의존해 왔습니다. 이러한 방식들은 근사 오류, 학습 불안정성 또는 복잡한 데이터 구축의 필요성이라는 문제를 안고 있습니다. 또한, 단일 지표만을 위해 최적화하는 것은 모델이 특정 점수를 높이기 위해 아티팩트(artifact)를 악용하여 다른 품질 차원을 저하시키는 "보상 해킹(reward hacking)" 현상을 초래할 수 있습니다.

방법론

저자들은 **GSPO(Group Sequence Policy Optimization)**를 도입하여 SE 모델을 위한 표준 NLP 학습 파이프라인(사전 학습 $\rightarrow$ SFT $\rightarrow$ 사후 학습)을 완성하는 방법을 제안합니다.

1. 베이스 모델

이 방법은 두 가지 기존 자기회귀 SE 모델에 적용되었습니다:

• UniSE: 16 kHz에서 신경 오디오 코덱 토큰을 사용하는 디코더 전용 모델.
• GenSE: 단일 양자화기(single-quantizer) 코덱을 사용하는 계층적 2단계 생성 모델(시맨틱 토큰 후 어쿠스틱 토큰 생성).

2. GSPO 프레임워크

토큰 수준의 강화 학습 방법(예: GRPO)과 달리, GSPO는 시퀀스 수준에서 작동합니다:

• 샘플링(Sampling): 각 노이즈가 섞인 입력 $x$에 대해, 정책 $\pi_\theta$는 $G$개의 완전한 출력 시퀀스 $\{y_1, \dots, y_G\}$를 생성합니다.
• 보상 계산(Reward Calculation): 각 완전한 시퀀스는 파형(waveform)으로 디코딩된 후 보상 함수 $R(x, y)$에 의해 점수가 매겨집니다.
• 이점 추정(Advantage Estimation): 그룹 내에서 보상을 정규화하여 그룹 상대적 이점을 계산합니다:
  $$A_i^j = \frac{R(x_i, y_i^j) - \mu_i}{\sigma_i}$$
  여기서 $\mu_i$와 $\sigma_i$는 해당 그룹의 보상 평균과 표준 편차입니다.
• 목적 함수(Objective): 손실 함수는 중요도 비율 $\rho = \pi_\theta(y|x) / \pi_{old}(y|x)$에 대해 시퀀스 수준 클리핑을 적용합니다:
  $$L = \mathbb{E} [\min (\rho \cdot A, \text{clip}(\rho, 1-\epsilon, 1+\epsilon) \cdot A)] - \beta D_{KL}(\pi_\theta \parallel \pi_{ref})$$
  이 공식은 학습된 크리틱(critic) 네트워크의 필요성을 제거하여 메모리 요구량을 줄이고 안정성을 높입니다.

3. 복합 보상 설계 (Composite Reward Design)

보상 해킹을 방지하기 위해, 저자들은 세 가지 미분 불가능한 지표를 결합한 복합 보상을 설계했습니다:
$$R(x, y) = \text{DNSMOS} + (1 - \text{WER}) + \text{UTMOS}$$

• DNSMOS: 전반적인 음성 품질을 예측합니다.
• WER: 콘텐츠 보존을 보장하기 위해 Whisper-Large-V3를 통해 측정됩니다 (높을수록 좋도록 역전됨).
• UTMOS: 자연스러움을 예측합니다.
  각 지표는 동일한 가중치를 가집니다. 이 다중 지표 접근 방식은 지각적 품질, 명료도 및 자연스러움을 동시에 균형 있게 맞추는 것을 목표로 합니다.

주요 기여

1. 파이프라인 완성: 본 논문은 NLP에서 확립된 3단계 파이프라인과 일치하도록 GSPO를 사용하여 자기회귀 SE 모델을 위한 최초의 사후 학습 단계를 도입했습니다.
2. 직접적인 지표 최적화: 학습된 대리 모델이나 오프라인 선호도 쌍 구축 없이, 온라인 보상 신호로서 미분 불가능한 평가 지표(DNSMOS, WER, UTMOS)를 직접 최적화합니다.
3. 다중 지표 보상의 검증: 인간 평가 절제 실험을 통해, 복합 보상이 단일 지표 변형 모델보다 엄격하게 선호됨을 입증하여 다중 보상 최적화가 보상 해킹을 방지함을 확인했습니다.
4. 최첨단 성능 달성: UniSE와 GenSE에 적용했을 때 DNS2020 및 DNS5 벤치마크에서 새로운 SOTA(State-of-the-Art) 결과를 달성했습니다.

실험 결과

DNS2020 벤치마크

DNS2020 블라인드 테스트 세트(잔향 유/무가 포함된 합성 데이터 및 실제 녹음 데이터)에서, GSPO 사후 학습은 두 베이스 모델 모두에 대해 모든 DNSMOS 지표(SIG, BAK, OVRL)를 일관되게 개선했습니다:

• GenSE + GSPO: 합성 조건(예: 잔향 시 OVRL 3.53, 잔향 없을 시 3.55)에서 최고의 결과를 달성했습니다.
• UniSE + GSPO: 실제 녹음 데이터(OVRL 3.37)에서 최고의 결과를 달성했습니다.
• 두 향상된 모델 모두 전통적인 SE 모델, 확산 기반(diffusion-based) 모델 및 기타 LM 기반 접근 방식(예: AnyEnhance, LLaSE-G1)을 능가했습니다.

DNS5 벤치마크

개인화된 DNSMOS(pDNSMOS)를 사용하는 DNS5 블라인드 테스트 세트에서:

• GenSE + GSPO는 상당한 이득을 보여주었으며, Track 1에서 +1.04, Track 2에서 +1.40의 pOVRL 개선을 달성하여 모든 베이스라인을 큰 차이로 앞질렀습니다.
• UniSE + GSPO는 Track 1에서 최고의 종합 점수(pOVRL 4.63)를 기록했습니다.
• 결과는 GSPO가 보상 함수에 명시적으로 포함되지 않은 개인화된 지표에도 잘 일반화됨을 나타냅니다.

인간 평가 절제 실험 (Human Evaluation Ablation)

21명의 평가자가 참여한 쌍체 선호도 테스트(pairwise preference test)에서 SFT 베이스라인과 단일 지표(DNSMOS, UTMOS, WER) 및 복합 보상을 사용한 GSPO 변형 모델을 비교했습니다:

• 복합 보상: Elo 레이팅 1571과 베이스라인 대비 71.4%의 승률을 기록하며 1위를 차지했습니다.
• 단일 지표의 실패: DNSMOS 전용 최적화는 가장 낮은 Elo(1335)와 복합 모델 대비 0%의 승률, 베이스라인 대비 33.3%의 승률을 기록했습니다. 이는 단일 지표 최적화가 지각적 품질을 감독된 베이스라인 아래로 저하시킬 수 있음(보상 해킹)을 확인시켜 줍니다.
• 비대칭성: UTMOS 전용 모델은 베이스라인과 거의 대등한 수준을 유지한 반면, DNSMOS 전용 모델은 품질을 능동적으로 저하시켰습니다. 이는 DNSMOS가 표면적인 착취(exploitation)에 더 취약함을 시사합니다.

의의 및 주장

본 논문은 다중 지표 지각적 보상을 통한 사후 학습이 아키텍처 설계 및 데이터 스케일링을 보완하는, SE 언어 모델 개선을 위한 핵심적인 세 번째 축이라고 주장합니다. GSPO를 통해 미분 불가능한 지표를 직접 최적화함으로써, 이 방법은 학습된 대리 모델의 불안정성 없이 학습-평가 간극을 메웁니다. 저자들은 하나의 지표가 다른 지표의 전반적인 음성 품질을 희생시키지 않도록 다중 보상 최적화가 필수적임을 강조하며, 이 연구가 인간의 지각적 선호도와 직접적으로 일치하는 SE 모델 학습의 새로운 표준을 세웠다고 밝힙니다.