Modeling strategies for speech enhancement in the latent space of a neural audio codec

이 논문은 신경 오디오 코덱의 잠재 공간에서 연속 벡터 예측이 이산 토큰 예측보다 우수하며, 비자율적 모델이 효율성과 명료성 측면에서 실용적이며, 인코더 미세 조정이 전체 성능을 극대화하지만 코덱 재구성은 저하시킨다는 세 가지 주요 발견을 통해 음성 향상 전략을 비교 분석합니다.

핵심

🎙️ 핵심 주제: 더러운 목소리를 깨끗하게 만드는 '최고의 비법' 찾기

목소리에 잡음이 섞여 있다면, 우리는 이를 깨끗하게 만들고 싶습니다. 연구자들은 이 작업을 위해 세 가지 주요 질문을 던졌습니다.

1. 목소리를 어떤 형태로 다룰까? (숫자 나열인 '이산 토큰' vs. 부드러운 '연속 벡터')
2. 어떻게 예측할까? (한 번에 다 만들기 vs. 하나씩 순서대로 만들기)
3. 기존 도구를 고쳐 쓸까? (새로운 요리사 고용 vs. 기존 요리사 훈련)

---

🧩 1. 목소리의 형태: "레고 블록" vs "부드러운 점토"

목소리를 컴퓨터가 이해할 수 있게 바꾸는 두 가지 방식이 있습니다.

• 이산 토큰 (Discrete Tokens) = "레고 블록"

  • 목소리를 미리 정해진 작은 레고 블록 (숫자) 들로 쪼개는 방식입니다.
  • 마치 알파벳을 조합해 단어를 만들듯, 숫자 조합으로 소리를 만듭니다.
  • 장점: 데이터가 작고, 언어 처리 기술 (NLP) 을 그대로 쓸 수 있습니다.
  • 단점: 레고 블록은 딱딱해서 미세한 소리의 뉘앙스 (감정, 숨소리 등) 를 표현하기엔 부족할 수 있습니다.

• 연속 벡터 (Continuous Vectors) = "부드러운 점토"

  • 목소리를 매끄러운 점토처럼 연속적인 숫자 나열로 표현합니다.
  • 결과: 연구 결과, 점토 (연속 벡터) 로 만드는 것이 레고 (토큰) 보다 훨씬 자연스럽고 품질이 좋았습니다. 레고처럼 딱딱하게 쪼개면 소리의 섬세함이 깨지기 때문입니다.

⏱️ 2. 만드는 속도: "한 번에 다 찍어내기" vs "하나씩 조립하기"

목소리를 복원할 때 두 가지 전략이 있습니다.

• 자기회귀 (Autoregressive, AR) = "하나씩 조립하기"

  • "이 단어 다음에 무슨 단어가 올까?"라고 생각하며 하나씩 순서대로 만들어갑니다.
  • 장점: 소리의 흐름을 잘 파악해서 음질은 매우 좋습니다.
  • 단점: 시간이 너무 오래 걸리고, 앞의 실수가 뒤로 전달되어 말이 알아듣기 힘들어질 (지능 저하) 수 있습니다.

• 비자기회귀 (Non-Autoregressive, NAR) = "한 번에 다 찍어내기"

  • 전체 문장을 한 번에 동시에 만들어냅니다.
  • 장점: 속도가 매우 빠르고, 말의 흐름이 끊기지 않아 어떤 말인지 알아듣기 (가청성) 쉽습니다.
  • 결론: 실용적으로는 한 번에 다 찍어내는 방식 (NAR) 이 더 좋습니다.

🔧 3. 도구 업그레이드: "새 요리사" vs "기존 요리사 훈련"

• 새로운 모델 (Enhancement Model): 더러운 소리를 받아서 깨끗한 소리를 만들어내는 '새 요리사'를 고용합니다.
• 기존 도구 고치기 (Encoder Fine-tuning): 이미 소리를 압축하는 '기존 요리사 (코덱 인코더)'를 훈련시켜, 더러운 소리를 바로 깨끗한 소리로 바꾸게 합니다.

결과:

• **기존 요리사를 훈련시키는 것 (Fine-tuning)**이 가장 좋은 음질을 냈습니다.
• 하지만 단점: 이 요리사는 원래의 역할인 "소리를 압축했다가 다시 원래대로 복원하는 능력"을 잃어버릴 수 있습니다. 즉, 음성 향상은 잘 되지만, 원본 소리를 복원하는 능력은 떨어집니다.

---

🏆 최종 결론: 무엇이 가장 좋은가?

연구자들은 이 모든 요소를 섞어보며 다음과 같은 결론을 내렸습니다.

1. 가장 추천하는 조합: **"부드러운 점토 (연속 벡터)"**를 사용하면서, "한 번에 다 찍어내는 (비자기회귀)" 방식을 쓰는 것입니다.
   • 이유: 음질도 좋고, 속도도 빠르며, 말도 알아듣기 쉽습니다.
2. 최고의 성능을 원한다면: 여기에 **"기존 코덱을 함께 훈련 (Fine-tuning)"**하는 것을 더하면 됩니다.
   • 하지만 이 경우, 코덱이 원래 가진 '압축/복원' 기능이 조금 망가질 수 있으니, 순수하게 음성 향상만 필요할 때만 쓰는 것이 좋습니다.

💡 한 줄 요약

"더러운 목소리를 깨끗하게 만들려면, 딱딱한 레고 블록보다는 부드러운 점토로 만들고, 한 번에 뚝딱 만들어내는 방식이 가장 빠르고 자연스럽습니다. 만약 최고의 품질이 필요하다면 기존 도구를 함께 훈련시키면 되지만, 그 대가로 도구의 원래 기능은 조금 잃을 수 있습니다."

이 연구는 앞으로 우리가 전화 통화나 음성 녹음에서 잡음을 제거할 때, 어떤 기술을 써야 가장 효율적이고 자연스러운지 방향을 제시해 줍니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 음성 향상 (Speech Enhancement, SE) 은 잡음, 반향, 왜곡이 포함된 녹음에서 깨끗한 음성 신호를 추정하는 작업입니다. 최근 신경 오디오 코덱 (Neural Audio Codecs, NAC) 이 음성 처리 분야에서 널리 사용되며, 오디오를 압축된 연속 벡터 (continuous vectors) 또는 이산 토큰 (discrete tokens) 형태의 잠재 표현 (latent representation) 으로 변환합니다.
• 문제: 기존 연구들은 주로 파형 (waveform) 이나 시간 - 주파수 영역에서 SE 를 수행했으나, NAC 의 잠재 공간을 활용하는 SE 에 대한 체계적인 비교 연구는 부족합니다. 특히 다음과 같은 핵심 질문에 대한 명확한 답이 부족합니다:
  1. NAC 의 잠재 공간에서 이산 토큰을 예측하는 것과 연속 벡터를 예측하는 것 중 어떤 것이 더 효과적인가?
  2. 자기회귀 (Autoregressive, AR) 모델과 비자기회귀 (Non-Autoregressive, NAR) 모델 중 SE 에 더 적합한가?
  3. 별도의 SE 모델을 학습하는 것과 NAC 인코더 자체를 미세 조정 (fine-tuning) 하는 것 중 어떤 전략이 더 좋은가?

2. 제안된 방법론 (Methodology)

저자들은 NAC 의 잠재 공간에서 SE 를 수행하기 위해 세 가지 주요 축을 따라 다양한 모델 아키텍처를 설계하고 비교했습니다. 모든 모델은 사전 학습된 NAC (Descript Audio Codec, DAC) 을 사용하여 잡음/청소 음성을 잠재 표현으로 변환한 후, 깨끗한 잠재 표현을 예측하고 NAC 디코더를 통해 파형으로 복원합니다.

A. 표현 공간 (Representation Space)

1. 이산 토큰 (Discrete Tokens): RVQ(Residual Vector Quantization) 를 통해 생성된 토큰 시퀀스를 대상으로 합니다.
2. 연속 잠재 벡터 (Continuous Latent Vectors): RVQ 전의 연속적인 임베딩 벡터를 직접 대상으로 합니다.

B. 모델링 전략 (Modeling Strategies)

1. 자기회귀 (AR) 모델:
   • D-AR (Discrete-AR): 시간과 양자화 깊이 (quantization depth) 에 따라 토큰을 순차적으로 예측합니다. (RQ-Conformer 아키텍처 사용)
   • C-AR (Continuous-AR): 시간 축을 따라 연속 벡터를 순차적으로 예측합니다. (Causal Conformer 사용)
2. 비자기회귀 (NAR) 모델:
   • D-NAR (Discrete-NAR): 입력 잡음 토큰을 기반으로 모든 시간 단계의 토큰을 병렬로 예측합니다. (Bidirectional Conformer 사용)
   • C-NAR (Continuous-NAR): 입력 잡음 벡터를 기반으로 모든 시간 단계의 연속 벡터를 병렬로 예측합니다.
3. 베이스라인 (Fine-tuning):
   • D-FT / C-FT: 별도의 SE 모델 없이 NAC 인코더 자체를 잡음 입력에서 깨끗한 잠재 표현 (토큰 또는 벡터) 을 예측하도록 미세 조정합니다.

3. 실험 설정 (Experimental Setup)

• 데이터셋: Libri1Mix (LibriSpeech 기반의 잡음/청소 음성 쌍, SNR -6~3dB).
• NAC: Descript Audio Codec (DAC) 16kHz 버전 사용 (12 단계 RVQ, 코드북 크기 1024).
• 모델 아키텍처: Conformer 기반. 파라미터 수는 약 60~80M 수준으로 통일.
• 평가 지표:
  • 음질: DNSMOS (SIG, BAK, OVRL), UTMOS (자연스러움).
  • 화자 유사도: CosSim (WavLM 기반).
  • 가청성 (Intelligibility): dWER (Word Error Rate 차이).
  • 효율성: FLOPs (추론 시 연산량).
  • 코덱 재구성 품질: PESQ, ESTOI (미세 조정 후 코덱 성능 저하 확인).

4. 주요 결과 및 발견 (Key Results & Findings)

1) 연속 표현 vs. 이산 표현

• 연속 벡터 예측이 일관되게 우세함: 이산 토큰 예측 (D-AR, D-NAR) 보다 연속 벡터 예측 (C-AR, C-NAR) 이 모든 품질 지표 (UTMOS, SIG 등) 에서 더 높은 성능을 보였습니다.
• 이유: 이산 토큰 예측은 출력 공간과 손실 함수의 한계가 주요 병목 현상으로 작용하는 것으로 분석되었습니다. 입력이 이산 토큰인지 연속 벡터인지보다 출력 공간의 특성이 더 중요함을 시사합니다.

2) 자기회귀 (AR) vs. 비자기회귀 (NAR)

• 품질 vs. 효율성/가청성 트레이드오프:
  • AR 모델 (C-AR, D-AR) 은 일반적으로 더 높은 음질 (DNSMOS, UTMOS) 을 달성했습니다.
  • 그러나 AR 모델은 가청성 (dWER) 이 낮아지고, 화자 유사도가 떨어지며, 계산 비용 (FLOPs) 이 매우 높습니다. 이는 AR 과정에서 오차가 누적되기 때문입니다.
  • 실용적 결론: NAR 모델 (특히 C-NAR) 은 AR 모델에 비해 계산 효율성이 훨씬 높고 가청성을 유지하면서도 우수한 음질을 제공하므로, 실제 응용에 더 매력적입니다.

3) 인코더 미세 조정 (Encoder Fine-tuning)

• 최고의 성능: NAC 인코더를 미세 조정하는 전략 (C-FT, C-NAR-FT) 은 전체적으로 가장 강력한 향상 지표 (음질, 가청성) 를 보여주었습니다.
• 대신 코덱 성능 저하: 인코더를 SE 목적으로 미세 조정하면, 원래 NAC 의 핵심 기능인 고충실도 재구성 (clean speech reconstruction) 능력이 저하됩니다.
  • C-FT: 재구성 품질이 가장 크게 떨어짐.
  • C-NAR-FT: 재구성 품질이 다소 저하되지만 SE 성능은 최상.
  • C-NAR (미세 조정 없음): 재구성 품질을 가장 잘 유지하며 SE 성능도 우수함.

4) STFT 기반 모델 비교

• NAC 잠재 공간에서 학습한 모델 (C-NAR 등) 이 전통적인 STFT 영역에서 마스크를 예측하는 모델 (STFT-NAR) 보다 모든 지표에서 월등히 우수함을 확인했습니다.

5. 결론 및 의의 (Conclusion & Significance)

• 핵심 기여: 이 논문은 NAC 잠재 공간 내에서의 SE 모델링 전략에 대한 체계적인 비교 연구를 수행했습니다.
• 주요 시사점:
  1. 연속 잠재 벡터를 직접 예측하는 것이 이산 토큰 예측보다 효과적입니다.
  2. 비자기회귀 (NAR) 모델은 AR 모델의 오차 누적 문제를 피하면서도 효율적이고 가청성이 높은 SE 를 가능하게 하므로 실용적입니다.
  3. 인코더 미세 조정은 SE 성능을 극대화하지만 코덱의 재구성 능력을 희생하므로, 응용 분야 (통신 vs. 순수 향상) 에 따라 전략을 선택해야 합니다.
• 한계 및 향후 과제: 연구는 약 156 시간의 데이터로 수행되었으며, Descript Audio Codec 에만 국한되었습니다. 더 큰 데이터셋이나 다른 NAC, 의미적 토큰 (semantic tokens) 사용 시 결과가 달라질 수 있음을 지적했습니다.

요약: 이 연구는 신경 오디오 코덱의 잠재 공간을 활용한 음성 향상을 위해 연속 벡터 예측과 비자기회귀 모델의 조합이 가장 균형 잡힌 성능을 제공하며, 인코더 미세 조정은 성능을 높이지만 코덱의 원래 기능을 훼손할 수 있음을 규명했습니다. 이는 차세대 음성 처리 시스템 설계에 중요한 지침을 제공합니다.