HybridCodec: Modeling Discrete and Continuous Representations for Efficient Speech Language Models

기술 요약: HybridCodec

문제 정의
이산적(Discrete) 오디오 표현은 대규모 언어 모델(LLM)에 오디오 역량을 통합하고 멀티모달 시스템을 구축하는 데 있어 표준이 되었습니다. 그러나 기존 문헌들은 근본적인 트레이드오프를 강조합니다. 즉, 이산 토큰은 안정적인 수렴과 원활한 LLM 통합을 용이하게 하지만, 양자화 과정에서 필연적으로 미세한 음향적 세부 사항을 손실시킨다는 점입니다. 이러한 "양자화 페널티(quantization penalty)"는 다운스트림 작업, 특히 저비트 레이트에서의 화자 정체성, 미세 운율(micro-prosody), 음향적 풍부함의 손실로 인해 성능 저하를 초래합니다. 현재의 솔루션들은 종종 확산 모델(diffusion)이나 마스크드 모델링(masked modeling)과 같은 태스크 특화된 적응 방식에 의존하며, 이는 이산 LLM이 제공하는 통합적이고 일반화 가능한 프레임워크를 희생시킵니다.

방법론
저자들은 이산적 효율성과 연속적 음향 충실도 사이의 간극을 메우는 새로운 프레임워크인 HybridCodec을 제안합니다. 이 접근 방식은 두 가지 주요 구성 요소로 이루어져 있습니다:

1. HybridCodec (인코더/디코더):

   • 아키텍처: FocalCodec 아키텍처의 확장형으로, 이중 경로 인코딩 전략을 채택합니다.
   • 이산 경로(Discrete Path): 이진 구형 양자화(Binary Spherical Quantization, BSQ)를 사용하여 기본 오디오 특징으로부터 시간적으로 압축된 이산 토큰($z_q$)을 추출합니다.
   • 연속 경로(Continuous Path): 원래의 특징과 양자화된 근사치 사이의 잔차 오차($x_{res}$)를 계산합니다. 이 잔차는 전용 포컬 인코더에 의해 차원이 축소된 연속 표현($\bar{x}_{res}$)으로 압축됩니다.
   • 디코딩: 디코더는 이산 토큰과 연속 잔차를 각각 업샘플링한 후, 이를 합산($\hat{x}_{base} = \hat{x}_{quant} + \hat{x}_{res}$)하여 Vocos 디코더로 전달함으로써 신호를 재구성합니다.
   • 시간 해상도: 시스템은 잔차 인코더의 다운샘플링 스트라이드(stride)를 조정함으로써 50 Hz에서 6.25 Hz까지 가변적인 프레임 레이트를 지원합니다.

2. HybridLM (언어 모델):

   • 아키텍처: 하이브리드 표현을 처리하도록 설계된 디코더 전용 트랜스포머(decoder-only Transformer)입니다.
   • 통합 디코딩: **적응형 레이어 정규화(Adaptive Layer Normalization, AdaLN)**를 사용하여 단일 네트워크 내에서 두 가지 동작 모드를 통합합니다:
     • 자기회귀(Autoregressive, AR) 단계: 의미적 구조를 구축하기 위해 이산 토큰을 생성합니다.
     • 비자기회귀(Non-Autoregressive, NAR) 단계: 고충실도 음향 세부 사항을 복구하기 위해 단일 순전파(forward pass)를 통해 연속 잔차를 예측합니다.
   • 추론 효율성: 낮은 프레임 레이트(예: 12.5 Hz)에서 이산 토큰을 생성하고 이를 단일 NAR 단계로 정교화함으로써, 전체 레이트의 이산 생성과 비교했을 때 필요한 총 자기회귀 단계를 획기적으로 줄입니다.

주요 기여

1. HybridCodec 프레임워크: 시간적으로 축소된 이산 토큰을 추출하고 남은 정보를 차원이 축소된 연속 잔차로 모델링하여, 레이트-왜곡(rate-distortion) 트레이드오프를 효과적으로 완화하는 신경 오디오 코덱입니다.
2. HybridLM 아키텍처: AdaLN을 활용하여 AR 토큰 생성과 NAR 잔차 예측을 다중화(multiplex)함으로써, 서로 다른 시간 척도를 가진 혼합 이산-연속 프롬프트를 처리할 수 있는 통합 트랜스포머 디코더입니다.
3. 통합된 다운스트림 성능: 주요 음성 작업(자동 음성 인식 및 텍스트 음성 변환)을 처리하면서 순수 이산 모델에서 손실되는 미세한 정보를 복원할 수 있는 단일 프레임워크입니다.

실험 결과
LibriTTS 데이터셋을 대상으로 평가한 결과, 본 접근 방식은 특히 초저 프레임 레이트에서 이산 전용 베이스라인 대비 유의미한 개선을 보여주었습니다:

• 재합성(Resynthesis): 12.5 Hz에서 HybridCodec은 7.94의 dWER을 기록한 이산 전용 FocalCodec 베이스라인에 비해, 1.47의 차분 단어 오류율(differential Word Error Rate, dWER)을 달성하여 상당한 개선을 보였습니다. 화자 유사도(SpkSim)는 12.5 Hz에서도 97.1로 높게 유지되었습니다.
• 텍스트 음성 변환(TTS): 12.5 Hz 제로샷 설정에서, 하이브리드 방식은 이산 전용 모델에 비해 UTMOS 점수를 두 배 이상 높였고(4.10 vs 1.99), dWER을 절반 이하로 줄였습니다(14.79 vs 32.97). 극단적인 6.25 Hz에서도 하이브리드 방식은 3.08의 UTMOS를 유지하며, 이산 베이스라인(1.44)을 크게 앞질렀습니다.
• 자동 음성 인식(ASR): 연속 잔차의 포함은 전사 정확도를 일관되게 향 향상시켰습니다. 50 Hz에서 단어 오류율(WER)은 28.11에서 23.36으로 감소했습니다. 이러한 개선은 높은 압축 수준(12.5 Hz 및 6.25 Hz)에서도 지속되었으며, 이는 연속적인 음향 단서가 의미적 표현을 방해하기보다 오히려 강화함을 확인시켜 줍니다.

의의
본 논문은 HybridCodec이 단일 트랜스포머 아키텍처 내에서 이산 및 연속 정교화를 통합한 첫 번째 접근 방식이라고 주장합니다. 이 프레임워크는 이산 토큰의 효율성을 사용하여 의미적 구조를 구축하고, 연속 잔차를 통해 음향적 충실도를 확보함으로써, 초저 프레임 레이트(최저 6.25 Hz)에서도 고충실도 음성 합성을 달 Ach성합니다. 이는 추론 시의 계산 비용(자기회귀 단계 감소)을 크게 줄이는 동시에, 순수 이산 표현에서 흔히 소실되는 화자의 특성과 운율적 뉘앙스를 복원합니다. 이 연구는 효율적이고 고품질인 엔드투엔드 멀티모달 음성 시스템을 향한 실행 가능한 경로를 제시합니다.