기술 요약: 기하학적 인식 오디오 코딩을 위한 2 차원 양자화 (Q2D2)

1. 문제 제기

최근 신경 오디오 코덱들은 잔여 벡터 양자화 (RVQ), 벡터 양자화 (VQ), 유한 스칼라 양자화 (FSQ) 와 같은 양자화 방법을 사용하여 높은 재구성 품질을 달성했습니다. 그러나 이러한 기존 기술들은 잠재 공간의 기하학적 구조와 관련하여 특정 한계에 직면해 있습니다:

• RVQ 및 VQ: 표현력이 뛰어나지만, 코드북 크기 증가에 따라 많은 코드워드가 사용되지 않는 코드북 미활용 (codebook underutilization) 에 자주 시달리며, 안정화를 위해 복잡한 학습 기법 (예: 커미트먼트 손실, 코드북 재초기화) 이 필요합니다. 또한 고차원 최적화 불안정성을 다시 도입하지 않고는 특징 차원 간의 상관관계를 효율적으로 포착하는 데 어려움을 겪습니다.
• FSQ: 이 방법은 각 잠재 채널을 고정된 스칼라 수준으로 독립적으로 양자화함으로써 높은 코드북 활용도와 안정성을 제공합니다. 그러나 엄격하게 1 차원적인 특성으로 인해 특징 차원 간의 상관관계를 포착하지 못해 표현 능력이 제한됩니다.

본 연구가 다루는 핵심 과제는 고차원 벡터 양자화의 불안정성 없이 이산 오디오 코드의 표현 능력을 풍부하게 하여 채널 간 상관관계를 포착하면서도 FSQ 의 단순성과 높은 활용도를 유지하는 방법입니다.

2. 방법론: Q2D2

저자들은 단순한 1 차원 스칼라 그리드를 넘어선 기하학적 인식 양자화 방식인 2 차원 양자화 (Q2D2) 를 제안합니다.

핵심 메커니즘

각 잠재 채널을 독립적으로 양자화하는 대신, Q2D2 는 잠재 특징 채널을 쌍 (pairs) 으로 그룹화하고 구조화된 2 차원 그리드에 매핑합니다.

1. 투영 및 경계 설정: 인코더의 출력은 잠재 차원 $d$ (여기서 $d$ 는 짝수) 로 투영됩니다. 쌍곡선 탄젠트 (hyperbolic tangent) 비선형성이 특징을 $[-1, 1]$ 로 경계 짓습니다.
2. 쌍 만들기: $d$ 차원은 $P = d/2$ 개의 쌍으로 재구성됩니다.
3. 그리드 양자화: 각 쌍은 고정된 2 차원 그리드 위의 가장 가까운 점으로 결합 양자화됩니다. 그리드는 다음 세 가지 타일링 형태 중 하나를 취할 수 있습니다:
   • 육각형 (Hexagonal)
   • 직사각형 (Rectangular)
   • 마름모꼴 (Rhombic)
4. 암시적 코드북: 전체 코드북은 모든 쌍별 그리드의 곱으로 암시적으로 정의됩니다. 크기는 $|C| = \prod_{j=1}^{P} (l_{2j-1} \cdot l_{2j})$이며, 여기서 $l_i$는 차원 $i$에 대한 양자화 수준의 수입니다.
5. 학습: 시스템은 그래디언트 전파를 위해 직통 추정기 (Straight-Through Estimators, STE) 를 사용합니다. FSQ 와 마찬가지로 학습된 코드북 임베딩 행렬을 사용하지 않지만, 양자화 공간으로 들어가고 나가는 경량 선형 투영을 사용합니다.

기하학적 이점

2 차원 타일링을 사용하여 Q2D2 는 특징 쌍 간의 상관관계를 포착하는 기하학적 구조를 도입합니다. 저자들은 제거 연구 (ablation studies) 에서 특히 마름모꼴 그리드를 강조했는데, 이는 직사각형 또는 육각형 그리드에 비해 더 높은 패킹 효율성 (2 차원 임베딩 공간의 더 조밀한 타일링) 을 제공하여 더 균일한 잠재 공간 커버리지와 낮은 양자화 오차를 초래한다고 지적합니다.

3. 주요 기여

본 논문은 세 가지 주요 기여를 제시합니다:

1. 개념적: 채널을 쌍으로 그룹화하고 육각형, 마름모꼴, 직사각형과 같은 복잡한 기하학적 구조를 사용하여 결합 양자화하는 최초의 양자화 방법인 Q2D2 의 도입. 이는 코덱의 의미 정보를 향상시키고 고차원 VQ 의 불안정성 없이 특징 상관관계를 포착합니다.
2. 방법론적: 다양한 타일링 기하학을 테스트하는 2 차원 단일 양자자 공간의 설계. 저자들은 그리드 모양, 해상도 수준, 투영된 차원 크기가 성능과 코드북 활용도에 미치는 영향을 분석합니다.
3. 실험적: Q2D2 가 음성, 오디오, 음악 도메인 전반에 걸쳐 최첨단 (SOTA) 모델 (예: WavTokenizer, DAC, Encodec) 과 비교하여 경쟁력 있거나 우수한 음성 재구성 성능을 달성함을 입증. 특히 커미트먼트 손실이나 코드북 재시딩과 같은 보조 기법에 의존하지 않고 낮은 토큰율(예: 초당 53, 166, 333 토큰) 과 높은 코드북 활용도로 이를 달성합니다.

4. 실험 결과

저자들은 LibriTTS, LibriSpeech, LJSpeech, AudioSet, Jamendo 를 포함한 광범위한 데이터셋에서 Q2D2 를 평가했습니다.

• 재구성 품질:
  • 3.3 kbps(초당 166 토큰) 에서, 마름모꼴 그리드를 사용한 Q2D2 는 인간 지각과 높은 상관관계가 있는 지표인 UTMOS, PESQ, STOI 에서 0.5–9 kbps 범위 내의 모든 SOTA 모델을 능가했습니다.
  • 1 kbps(초당 75 토큰) 에서, Q2D2 는 깨끗하고 잡음이 섞인 테스트 세트에서 대부분의 지표에 걸쳐 DAC(100 토큰) 와 WavTokenizer(75 토큰) 를 능가했습니다.
  • 15 만 시간의 다국어 음성 (Emilia/MLS) 으로 학습된 모델들과의 비교에서, Q2D2(333 토큰, 1 개 양자자) 는 150 토큰을 초과하는 모델을 사용한 모델들 중 가장 높은 UTMOS 및 STOI 점수를 달성했습니다.
• 코드북 활용도: 죽은 코드워드로 고생하는 VQ 기반 방법과 달리, Q2D2 는 보조 안정화 손실 없이 다양한 비트레이트에서 거의 100% 쌍 활용도와 높은 코드북 활용도 (예: 92–99%) 를 유지합니다.
• 하류 작업: 텍스트 음성 변환 (TTS) 생성 작업에서 Q2D2 토큰은 단일 양자자를 사용함에도 불구하고 WavTokenizer 및 DAC 와 비교 가능한 품질의 오디오를 생성했습니다.
• 의미 표현: 음성, 음악, 오디오 이벤트를 다루는 12 개 데이터셋으로 구성된 ARCH 벤치마크에서, 초당 53 토큰만 사용한 Q2D2 는 초당 100–900 토큰을 사용하는 DAC 및 Encodec 모델보다 음악 (MTT) 및 환경 오디오 (US8K) 를 포함한 여러 작업의 분류 정확도에서 더 높은 성능을 보였습니다.
• 제거 연구 (Ablation Studies):
  • 그리드 유형: 더 높은 패킹 효율성으로 인해 마름모꼴 그리드가 직사각형 및 육각형 그리드를 일관되게 능가했습니다.
  • 차원: 6 차원 구성이 컴팩트성과 표현 능력 사이의 최적의 균형을 제공했습니다.
  • 투영: 양자화 전에 tanh 비선형성으로 특징을 경계 짓는 것이 안정적인 학습에 중요하다는 것이 밝혀졌습니다.

5. 중요성 및 주장

본 논문은 Q2D2 가 기존 스칼라 (FSQ) 또는 벡터 (VQ/RVQ) 양자화에 대한 간단하면서도 강력한 대안을 나타낸다고 주장합니다. 그 중요성은 다음과 같습니다:

• 효율성: 학습된 코드북 임베딩이 없이 모델 파라미터 수를 크게 줄이고 훨씬 낮은 토큰율로 더 풍부한 이산 오디오 표현을 가능하게 합니다.
• 기하학적 인식: 구조화된 2 차원 그리드를 통해 특징 차원 간의 상관관계를 성공적으로 포착하여 FSQ 의 견고성과 다차원 그리드의 표현력 사이의 간극을 메웁니다.
• 확장성: 이 방법은 높은 재구성 품질과 활용도를 유지하면서 낮은 비트레이트 (1 kbps) 에서 더 높은 비트레이트까지 효과적으로 확장됩니다.

저자들은 Q2D2 가 극단적인 압축 하에서도 풍부한 의미 정보를 보존한다고 결론지으며, 이는 향후 오디오 기반 파운데이션 모델 및 멀티모달 시스템의 기본 구성 요소로 기능할 수 있음을 시사합니다. 향후 작업은 이러한 개념을 3 차원 기하학적 타일링으로 확장하는 것을 탐구할 것으로 언급됩니다.