기술 요약: EntangleCodec

문제 정의

오디오 언어 모델(ALM)은 연속적인 오디오 신호와 대규모 언어 모델 사이를 연결하는 이산적 인터페이스(discrete interface)를 필요로 합니다. 기존의 오디오 토크나이저들은 근본적인 트레이드오프에 직면해 있습니다:

1. 재구성 중심 코덱(예: EnCodec, DAC)은 미세한 음향적 충실도는 보존하지만 풍부한 의미론적 정보가 부족하여, 추론 및 이해 작업에서의 활용도가 제한됩니다.
2. 의미론적 인지 토크나이저(Semantic-aware tokenizers)는 종종 별도의 의미론적 스트림과 음향적 스트림에 의존합니다. 이러한 이중 스트림 방식은 중복성을 초래하고, 복잡한 후기 결합(late-fusion) 메커니즘을 요구하며, ASR 전사(transcript)에만 의미론적 감독을 국한시켜 화자 정체성, 감정, 운율, 음향 장면과 같은 비텍스트적 단서들을 무시하는 경우가 많습니다.

핵심 과제는 별도의 스트림이나 작업별 아키텍처 변경 없이도 고충실도 재구성과 풍부한 의미론적 이해를 동시에 지원하는 통합된 이산적 토크나이저를 개발하는 것입니다.

방법론

EntangleCodec은 양자화(quantization) 이전에 캡션과 정렬된 의미-음향 표현을 학습하는 통합 이산 오디오 토크나이저를 제안합니다. 이 아키텍처는 세 가지 핵심 구성 요소로 이루어져 있습니다:

1. 통합 인코더 (Unified Encoder)

이중 인코더 방식과 달리, EntangleCodec은 단일 공유 트랜스포머 기반 인코더를 사용합니다.

• 입력 처리: 입력 멜-스펙트로그램(Mel-spectrogram)은 시퀀스로 투영된 후 학습 가능한 [CLS] 토큰이 앞에 붙여집니다.
• 통합 표현: 인코더는 오디오를 직접 통합된 의미-음향 특징 시퀀스로 매핑하여, 명시적인 후기 결합 모듈을 피합니다.
• 의미론적 정렬: 단순히 ASR 전사에 맞추는 대신, 인코더는 대규모 언어 모델(LLM)이 생성한 풍부한 오디오 캡션과 정렬되도록 학습됩니다. 이 캡션은 화자의 속성, 감정, 운율, 음향 장면 및 사운드 이벤트를 설명합니다.
• 대조 학습 (Contrastive Learning): CLIP 스타일의 대조 손실(contrastive loss)은 전역 오디오 임베딩([CLS] 토큰으로부터 추출)을 풍부한 캡션의 텍스트 임베딩과 정렬시켜, 인코더가 단순한 언어적 내용을 넘어 다중 모달 의미론을 포착하도록 유도합니다.

2. 이산 양자화 (Discrete Quantization)

통합된 표현은 MLP를 통해 투영되고, L2 정규화된 후, **단일 코드북 벡터 양자화기(VQ)**를 사용하여 이산화됩니다. 이는 음향 및 의미 정보를 본질적으로 포함하는 압축된 토큰 스트림을 생성합니다.

3. 확산 기반 디코더 (Diffusion-Based Decoder)

이산 토큰으로부터 고품질 오디오를 재구성하기 위해 플로우 매칭(flow-matching) 확산 디코더를 사용합니다.

• 아키텍처: Llama 스타일의 트랜스포머 플로우 예측기로 구현되었습니다.
• 프로세스: 양자화된 토큰($Z_q$)을 컨디셔닝 접두사(conditioning prefix)로 받아, Rectified Flow를 사용하여 노이즈로부터 멜-스펙트로그램을 재구성하기 위한 속도장(velocity field)을 예측합니다.
• 유연성: 동일한 디코더는 아키텍처 수정 없이 재구성, 텍스트 음성 변환(TTS), 텍스트-오디오 생성(TTA)을 모두 지원합니다.

학습 전략

모델은 2단계 학습 과정을 거칩니다:

• 1단계 (결합 최적화): 인코더, 텍스트 인코더, 양자화기, 디코더를 공동으로 학습합니다. 목적 함수는 플로우 매칭 손실(재구성을 위함), 대조 손실(의미론적 정렬을 위함), 그리고 VQ 커밋먼트 손실을 결합합니다.
• 2단계 (디코더 정교화): 인코더와 양자화기를 동결합니다. 디코더는 학습된 의미-음향 표현을 유지하면서 지각적 재구성 품질을 정교화하기 위해 적대적 손실(adversarial loss)과 함께 추가 학습됩니다.

주요 기여

1. 통합 의미-음향 표현: EntangleCodec은 양자화 전 단계에서 단일 표현 내에 의미론적 단서와 음향적 단서를 통합함으로써, 이중 스트림 분리 및 후기 결합의 필요성을 제거했습니다.
2. 캡션 정렬 이산 학습: ASR 전사 대신 LLM이 생성한 풍부한 캡션을 사용하여 대조 정렬을 수행함으로써, 토크나이저는 화자 정체성, 감정, 운율 및 환경적 맥락을 포착하여 더욱 표현력이 풍부한 이산 토큰을 생성합니다.
3. 이해 및 생성을 위한 통합 프레임워크: 동일한 토크나이저가 단일 프레임워크 내에서 오디오 이해(질의응답, 추론)와 생성(TTS, TTA)을 모두 지원하며, 작업별 토크나이저를 요구하지 않습니다.

실험 결과

재구성 품질

EntangleCodec은 전문화된 코덱들과 경쟁할 만한 재구성 품질을 달성했습니다:

• 음성(Speech): XCodec2(4.02)와 유사한 3.96의 UTMOS를 달성하였으며, 다른 베이스라인인 EnCodec(1.57) 및 WavTokenizer(3.79)를 크게 상회합니다.
• 사운드 및 음악(Sound & Music): AudioBoxScore에서 두 영역 모두 2위를 차지했으며, (의미론적 정렬이 없는) XCodec에 이어 두 번째를 기록했습니다. 이는 음성, 사운드, 음악 전반에 걸쳐 일관되게 최상위권을 유지하는 유일한 토크나이저입니다.

오디오 이해

코드 제어 설정(동일한 Qwen3-0.6B 백본 사용) 하에서, EntangleCodec은 모든 이산 토크나이저 베이스라인을 유의미하게 능가했습니다:

• MMAR: 두 번째로 우수한 베이스라인 대비 +7.4% 향상.
• MMAU-mini: +1.5% 향상.
• MMAU: +2.5% 향상.
• 스케일링: 0.6B 파라미터의 EntangleCodec 기반 모델은 13B 이상의 파라미터를 가진 특화된 연속 표현 기반 LLM(예: SALMONN)보다 세 가지 벤치마크에서 더 뛰어난 성능을 보였으며, 이는 22배 적은 파라미터를 사용한 결과입니다. 8B 파라미터로 스케일링했을 때 MMAR에서 42.6%를 기록하며 새로운 SOTA(State-of-the-Art)를 수립했습니다.

오디오 생성

• TTS: WER 9.8%, UTMOS 3.89를 달성하여 모든 코드 제어 베이스라인을 능가했습니다.
• TTA: CLAP 점수 0.17을 달성하여, 두 번째로 우수한 베이스라인인 XY-Tokenizer보다 4배 이상 높은 성능을 보였으며, 이는 텍스트 조건부 생성에 대한 우수한 의미론적 정렬을 입증합니다.

의의 및 주장

본 논문은 표현의 품질이 모델 규모만큼 중요하다고 주장합니다. EntangleCodec은 잘 설계된 이산 코덱이 이산 토큰이 이해 작업에서 연속 표현보다 열등하다고 여겨졌던 전통적인 병목 현상을 극복할 수 있음을 보여줍니다.

풍부한 캡션 정렬을 통해 의미론적-음향적 학습을 통합함으로써, EntangleCodec은 소규모 모델(0.6B)이 훨씬 더 큰 규모의 특화된 모델들을 능가할 수 있음을 입증하였으며, 이는 토큰 인터페이스의 품질이 ALM 성능의 주요 동인임을 시사합니다. 이 연구는 의미론적-음향적 얽힘(entanglement)과 재구성 충실도가 서로 상충하는 것이 아니라 상호 보완적인 목표임을 강조합니다.

한계점

저자들은 다음과 같은 한계를 인정합니다:

• 의미론적 세밀함: 학습된 의미론의 풍부함은 생성된 캡션의 품질에 의해 제한됩니다. 미묘한 감정 변화나 복잡한 화성 같은 미세한 특징은 완전히 포착되지 않을 수 있습니다.
• 스케일링: 현재 계산 자원의 제약으로 인해 실험이 8B 파라미터 수준에 머물러 있습니다. 더 큰 규모(예: 30B 또는 70B)에서 재구성과 이해 작업 사이의 최적의 균형점에 대한 탐구는 아직 남아 있습니다.