Improving X-Codec-2.0 for Multi-Lingual Speech: 25 Hz Latent Rate and 24 kHz Sampling

이 논문은 X-Codec-2.0 의 잠재 공간 레이트를 50Hz 에서 25Hz 로 낮추고 샘플링 주파수를 16kHz 에서 24kHz 로 높이는 간단한 구조 개선을 통해 다국어 음성 모델의 효율성과 음질 (MOS 점수 0.29 향상) 을 동시에 개선한 결과를 제시합니다.

핵심

이 논문은 **'X-Codec-2.0'**이라는 인공지능 오디오 기술의 성능을 더 좋게, 그리고 더 효율적으로 만든 방법에 대해 설명하고 있습니다. 어렵게 들릴 수 있는 기술 용어들을 일상적인 비유로 풀어서 설명해 드릴게요.

🎧 핵심 아이디어: "고화질로, 더 가볍게"

기존의 X-Codec-2.0 은 오디오를 압축할 때 **초당 50 개의 조각 (토큰)**으로 나누어 처리했습니다. 이는 마치 1 초 분량의 소리를 50 개의 작은 퍼즐 조각으로 잘게 쪼개는 것과 같습니다. 이 방식은 나쁘지 않았지만, 두 가지 문제가 있었습니다.

1. 소리가 약간 뭉개짐: 고음 (높은 주파수) 이 잘 살아나지 않아 소리가 약간 탁하게 들릴 수 있었습니다.
2. 데이터가 너무 많음: 1 초를 표현하는 데 50 개의 조각이 필요해서, AI 가 처리해야 할 퍼즐 조각이 너무 많았습니다.

저자는 이 문제를 해결하기 위해 **"조각을 더 크게 만들되, 소리는 더 선명하게"**라는 아이디어를 적용했습니다.

---

🛠️ 어떻게 고쳤을까요? (두 가지 간단한 변화)

저자는 AI 의 구조를 크게 바꾼 것이 아니라, 두 가지 작은 조정만 했습니다.

1. 퍼즐 조각을 두 배로 키우기 (Latent Rate 50Hz → 25Hz)

• 비유: 기존에는 1 초를 50 개의 작은 조각으로 나눴다면, 이제는 25 개의 더 큰 조각으로 나눴습니다.
• 효과: AI 가 처리해야 할 조각의 개수가 절반으로 줄어듭니다. 마치 100 개의 작은 퍼즐 대신 50 개의 큰 퍼즐을 맞추는 것처럼, AI 가 훨씬 더 가볍고 빠르게 일할 수 있게 됩니다.

2. 소리의 샘플링 속도 높이기 (16kHz → 24kHz)

• 비유: 기존에는 소리를 1 초에 16,000 번 찍어 (샘플링) 저장했다면, 이제는 24,000 번 찍어 저장합니다.
• 효과: 더 많은 디테일을 기록하게 되므로, 고음 부분의 소리가 훨씬 선명하고 생생해집니다. 마치 사진의 해상도를 낮게 잡은 것에서 고해상도로 바꾼 것과 같습니다.

3. 기존 지식을 살린 '이동' (Decoder Weight Interpolation)

• 비유: 새로 조각 크기를 바꿨는데, 기존에 훈련된 AI 의 지식 (가중치) 을 버리면 너무 아깝습니다. 그래서 저자는 기존 지식의 크기를 부드럽게 늘려서 (선형 보간) 새로운 조각 크기에 맞춰주었습니다.
• 효과: 처음부터 다시 배우지 않아도, 기존에 배운 지식을 새로운 방식에 바로 적용할 수 있어 학습 시간이 단축되고 성능이 안정적으로 나옵니다.

---

🏆 결과는 어땠나요?

이 간단한 변경을 통해 얻은 성과는 놀라웠습니다.

• 더 선명한 소리: 다양한 언어 (영어, 중국어, 말레이어 등 100 개 이상) 로 테스트한 결과, 소리의 자연스러움과 선명도가 기존보다 약 0.29 점이나 향상되었습니다. (사람들이 소리를 듣고 점수를 매기는 'MOS' 기준)
• 최고의 효율: 같은 속도로 (초당 25 조각) 작동하는 다른 모든 오디오 압축 기술들보다 가장 좋은 성능을 냈습니다.
• 저장 공간 절약: 조각 수가 절반이 되었기 때문에, 같은 소리를 저장하거나 전송할 때 필요한 데이터 양이 줄어듭니다.

🚧 아직 남은 과제와 미래

물론 완벽하지는 않습니다.

• 다양성 부족: 학습 데이터가 주로 깨끗한 목소리였기 때문에, 시끄러운 배경음이나 감정이 실린 목소리 (연기, 노래 등) 에는 아직 약할 수 있습니다.
• 검증 필요: 현재는 컴퓨터가 점수를 매긴 것 (UTMOSv2) 이라, 실제 사람이 듣고 평가한 결과가 더 필요할 수 있습니다.

💡 결론

이 연구는 **"무조건 복잡한 구조를 만드는 것이 답이 아니다"**를 보여줍니다.
기존의 훌륭한 AI 모델에 **조금 더 큰 퍼즐 조각 (25Hz)**을 사용하고, **더 선명한 렌즈 (24kHz)**를 끼워주기만 해도, AI 는 더 가볍고 더 좋은 소리를 만들어낼 수 있다는 것을 증명했습니다.

이는 앞으로 AI 가 우리 말소리를 더 자연스럽게 이해하고, 더 적은 데이터로 더 높은 품질의 음성을 만들어내는 데 큰 도움이 될 것입니다.

기술 요약

1. 문제 제기 (Problem)

기존의 X-Codec-2.0 모델은 50Hz 의 잠재적 레이트 (latent rate) 와 16kHz 샘플링 레이트에서 작동하며, HuBERT 기반의 시맨틱 인코더와 트랜스포머 코덱 아키텍처를 결합하여 다국어 음성 모델링과 신경 오디오 압축에서 뛰어난 성능을 보여왔습니다. 그러나 이 구성에는 다음과 같은 한계가 존재했습니다.

• 시간적 효율성 및 오디오 충실도 제한: 50Hz 레이트는 생성 모델에 대해 토큰 시퀀스를 길게 만들고, 16kHz 샘플링 레이트는 고주파수 대역의 충실도 (fidelity) 를 제한하여 음질이 약간 둔탁하게 들릴 수 있음.
• 다양한 음성 변형 포착 부족: 다국어 데이터셋이 확장됨에 따라 고정된 50Hz 해상도는 미세한 음성 변화 (fine-grained speech variation) 를 포착하는 데 한계가 있을 수 있음.

2. 방법론 (Methodology)

저자는 X-Codec-2.0 의 핵심 아키텍처를 변경하지 않으면서 효율성과 지각적 품질을 동시에 향상시키기 위해 간단하고 효과적인 수정을 제안했습니다.

• 시간적 풀링 및 홉 사이즈 (Hop Size) 조정:
  • 기존 320 샘플의 홉 사이즈를 960 샘플로 증가시켰습니다.
  • 양자화 (Quantization) 직전에 평균 풀링 레이어 (AvgPool1d, k=2, stride=2) 를 추가하여 특징 시퀀스를 2 배 압축했습니다.
  • 결과: 잠재적 레이트가 50Hz 에서 25Hz 로 감소 (초당 토큰 수 반감) 하였고, 동시에 출력 오디오 샘플링 레이트는 16kHz 에서 24kHz 로 증가되었습니다.
• 디코더 가중치 보간 (Decoder Weight Interpolation):
  • 홉 사이즈 변경으로 인해 디코더 출력 레이어의 차원이 변하게 되는데, 기존 프리트레인된 가중치를 버리는 대신 1 차 선형 보간 (1D linear interpolation) 을 적용하여 새로운 출력 차원에 맞췄습니다. 이를 통해 프리트레인된 스펙트럼 특성을 유지하면서 새로운 해상도에 적응하도록 했습니다.
• 파라미터 동결 및 미세 조정 (Freezing & Fine-tuning):
  • 시맨틱 인코더 (HuBERT) 와 코덱 인코더는 동결 (Frozen) 상태로 유지했습니다.
  • 새로운 시간적 구성 (25Hz, 24kHz) 에 적응하도록 디코더만 미세 조정 (Fine-tuning) 했습니다.

3. 주요 기여 (Key Contributions)

• 아키텍처 변경 없이 성능 향상: 추가 파라미터나 복잡한 구조 변경 없이 풀링과 홉 사이즈 조정만으로 효율성과 음질을 동시에 개선했습니다.
• 저 토큰 레이트 (Low Token Rate) 환경에서의 SOTA 달성: 25Hz 레이트로 작동하는 모든 코덱 중 가장 높은 성능을 기록했습니다.
• 다국어 지원 및 고음질: 24kHz 샘플링 레이트를 지원하여 고주파수 대역의 복원력을 높였으며, 100 개 이상의 언어를 지원하는 다국어 데이터셋에서 검증되었습니다.

4. 실험 결과 (Results)

• 평가 데이터셋: Common Voice 17 테스트 세트 (116 개 언어, 총 48,489 개 오디오 클립) 를 사용했습니다.
• 평가 지표: UTMOSv2 (신경 기반 평균 의견 점수 예측기) 를 사용했습니다.
• 성능 향상: 제안된 모델은 기존 X-Codec-2.0 베이스라인 대비 UTMOSv2 기준 0.29 점 향상을 기록했습니다.
• 비교 결과:
  • DAC, DistilCodec, Encodec, Mimi, Neucodec 등 최신 신경 오디오 코덱들과 비교했을 때, 25Hz 고정 레이트 조건에서 모든 언어에서 일관되게 가장 높은 점수를 받았습니다.
  • 특히 고주파수 복원력과 전반적인 지각적 명료도 (perceptual clarity) 가 개선된 것으로 확인되었습니다.

5. 의의 및 한계 (Significance & Limitations)

• 의의:
  • LLM 기반 음성 모델링에 적합한 간결성과 모듈성을 유지하면서 코덱 품질을 의미 있게 향상시켰습니다.
  • 낮은 토큰 레이트 (25Hz) 에서도 높은 오디오 품질을 달성함으로써, 스트리밍이나 저지연 시나리오에서의 효율성을 크게 높였습니다.
  • 소스 코드, 체크포인트, 생성 비교 데이터가 공개되어 재현성과 추가 연구에 기여합니다.
• 한계:
  • 데이터 다양성 부족: 학습 데이터가 주로 Common Voice 기반의 깨끗한 음성이라서, 배경 소음, 다양한 화자 스타일, 감정 표현이 풍부한 음성 (애니메이션, 노래 등) 에 대한 일반화 능력은 아직 검증되지 않았습니다.
  • 평가 지표 의존성: 주관적 평가를 대신하는 UTMOSv2 에 의존하고 있으며, 다국어 환경에서의 인간 평가와의 상관관계에 대한 추가 검증이 필요합니다.
  • 다운스트림 작업 미검토: 65,536 개의 어휘 크기와 25Hz 레이트가 LLM 기반의 텍스트 - 음성 (TTS) 생성 시 퍼플렉시티 (perplexity) 증가나 예측 난이도에 미치는 영향은 아직 연구되지 않았습니다.

결론

이 논문은 X-Codec-2.0 의 시간적 해상도를 조정하고 풀링을 도입함으로써, 토큰 효율성을 높이면서도 오디오 품질 (24kHz) 을 개선하는 성공적인 사례를 제시했습니다. 이는 다국어 음성 처리 및 생성 모델 분야에서 저지연 고품질 코덱 설계의 새로운 기준을 마련했다는 점에서 중요한 의의를 가집니다.