기술 요약: F3-Tokenizer

문제 정의

오디오 표현 학습은 **이해(understanding)**와 생성(generation) 사이의 근본적인 불일치 문제에 직면해 있습니다. 연속형 오디오 오토인코더는 파형을 재구성하고 음향적 세부 사항을 보존하는 데는 뛰어나지만, 종종 의미론적 구조가 약한 잠재 변수(latents)를 생성하여 오디오 이해 작업에는 최적화되지 못하는 경우가 많습니다. 반대로, 자기지도 학습 기반의 오디오 인코더는 인식 및 분류에 유용한 강력한 의미론적 정보를 포착하지만, 이를 고충실도 파형으로 다시 디코딩하도록 설계되지 않았습니다.

기존의 솔루션들은 별도의 인코더, 외부 교사 모델, 또는 이산 코드북(예: 양자화를 위해 의미론적 경로와 음향적 경로를 결합)을 도입하여 이 간극을 메우려 시도합니다. 그러나 이러한 접근 방식은 복잡성을 초래하거나, 표현 형식의 불일치, 또는 특정 속성(예: ASR)에 대한 편향을 유발할 수 있습니다. 핵심 과제는 다음 세 가지를 동시에 지원하는 단일 오디오 토크나이저를 설계하는 것입니다:

1. 재구성(Reconstruction): 고충실도 파형 복구.
2. 이해(Understanding): 풍부하고 고차원적인 의미론적 표현.
3. 생성(Generation): 자기회귀 모델링을 위한 예측 가능한 타겟.

방법론

저자들은 F3-Tokenizer라는 프레임워크를 제안하며, 이는 연속형 오토인코더 잠재 변수를 "음향 앵커(acoustic anchor)"로 활용하면서 그 위에 표현 인코더를 계층적으로 쌓는 방식입니다. 이 시스템은 SpectroStream 스타일의 STFT 도메인 오토인코더 백본을 기반으로 구축되었으나, 구체적인 구조적 및 훈련 혁신을 도입했습니다.

1. 정규화된 오토인코더 (음향 앵커)

KL-다이버전스 목적 함수를 사용하는 VAE(Variational Autoencoder) 대신, 저자들은 병목 구간을 정규화되고 노이즈가 규제된 연속형 잠재 변수로 대체했습니다.

• 정규화(Normalization): 각 타임 스텝은 채널 차원을 가로질러 정규화됩니다 ($\mu_c, \sigma_c$).
• 확률적 섭동(Stochastic Perturbation): 훈련 중에는 제어된 노이즈가 추가됩니다 ($\tilde{z} = z_n + \alpha\epsilon$), 여기서 $\alpha$는 균등 분포에서 샘플링됩니다.
• 목적 함수: 디코더는 스펙트럼 및 적대적 손실(adversarial losses)을 사용하여 섭동된 잠재 변수로부터 파형을 재구성합니다.
• 결과: 이를 통해 변동성 붕괴(variance collapse) 문제를 피하면서도, 자기회귀적 연속 모델링에서 흔히 발생하는 문제 없이 재구성이 가능하고 안정적인 스케일 제어형 연속 잠재 변수를 얻을 수 있습니다. 이는 VAE 방식의 사후 확률(variational posterior)을 사용할 필요를 없애줍니다.

2. 잠재 측 표현 인코더 (Latent-Side Representation Encoder)

동결된(frozen) 오토인코더 잠재 변수($z$) 위에 구축된 인과적 표현 인코더($R_\eta$)는 고차원 표현($u$)을 생성합니다.

• RQ-MTP (Random-Quantized Multi-Token Prediction): 인코더는 NEST-RQ에서 영감을 받은 무작위 양자화 다중 토큰 예측을 사용하여 자기지도 학습 방식으로 훈련됩니다. 이는 이산 코드북을 요구하지 않으면서도 이해에 유용한 시간적 구조를 촉진합니다.
• 동결된 LLM 감독(Frozen-LLM Supervision): 쌍을 이루는 텍스트가 가용할 때, 표현은 다운샘플링되어 동결된 대규모 언어 모델(LLM)로 투영됩니다. LLM의 가중치는 고정된 상태로 유지되며, 표현 인코더는 오디오 표현을 텍스트 의미론에 정렬하기 위해 텍스트 교차 엔트로피 손실을 통해 업데이트됩니다.
• 재구성 제약(Reconstruction Constraint): 디코더 차원으로 다시 투영하는 과정을 통해 표현 인코더가 파형 재구성에 필요한 음향 정보를 누락하지 않도록 보장합니다.

3. 생성을 위한 패치 단위 플로우 헤드 (Patch-Wise Flow Head)

생성을 가능하게 하기 위해, 시스템은 연속형 오토인코더 잠재 변수를 패치 단위로 모델링합니다.

• 패치 단위 플로우 헤드 (Flow Matching 기반)는 동결된 LLM의 은닉 상태(오디오 패치에 정렬됨)와 이전 음향 이력을 조건으로 하여 다음 연속형 오토인코더 잠재 패치($a_t$)를 예측하도록 훈련됩니다.
• 이를 통해 생성기는 연속형 타겟 $z$를 직접 예측할 수 있으며, 오토인코더를 최종 디코딩 타겟으로 유지할 수 있습니다.

훈련 파이프라인

훈련은 단계별 레시피를 따릅니다:

• 단계 0: 파형 재구성을 위한 정규화된 오토인코더 훈련.
• 단계 1: 오토인코더와 LLM을 동결합니다. 표현 인코더(RQ-MTP 및 LLM 감독 사용)와 패치 단위 플로우 헤드(flow-matching 손실 사용)를 훈련합니다.
• 단계 2: 토크나이저를 ASR, TTS, TTA와 같은 하위 작업에서 평가합니다. 이때 토크나이저는 고정된 상태로 유지되며 작업별 모델이 훈련됩니다.

주요 기여

본 논문은 다음과 같은 기여를 주장합니다:

• 음향 앵커 공식화: 오디오 오토인코더 잠재 변수를 재구성과 생성을 위한 디코더 가능한 타겟으로 공식화하는 동시에, 상호 보완적인 고차원 출력을 노출합니다.
• 정규화된 연속형 병목(Normalized Continuous Bottleneck): 각 토큰별 채널 정규화와 균등 강도 섭동을 갖는 병목 구조를 도입합니다. 이는 VAE 방식의 KL 목적 함수를 피하면서 잠재 공간의 견고함을 개선합니다.
• 하이브리드 표현 인코더: RQ-MTP와 동결된 LLM 감독을 통해 훈련된 표현 인코더를 부착하여, 동결된 오토인코더 잠재 변수 위에서 고차원 표현을 생성합니다.
• 생성 측 플로우 감독: 동결된 LLM 상태를 연속형 오토인코더 잠재 패치로 매핑하는 패치 수준의 플로우 헤드를 공동 훈련하여, 타겟 공간이 생성 가능하도록 만듭니다.

실험 결과

저자들은 세 가지 차원에서 F3-Tokenizer를 평가했습니다:

1. 재구성 품질

VibeVoice 스타일의 $\sigma$-VAE 토크나이저와 비교했을 때, F3-Tokenizer(정규화 및 노이즈 포함)는 음성, 음악 및 일반 오디오 전반에서 우수한 재구성 지표를 보여주었습니다.

• 음성: AISHELL-3 및 LibriTTS에서 더 낮은 MCD와 더 높은 PESQ/STOI를 기록했습니다.
• 음악/사운드: MUSDB18-HQ 및 AudioCaps에서 유의미한 ViSQOL 개선과 더 낮은 특징 거리(KLPaSST, FDOpenL3)를 보였습니다.
• 절제 연구(Ablation): 정규화 또는 노이즈 주입을 제거하면 성능이 저하되어, 제안된 병목 구조의 효능을 확인했습니다.

2. 오디오 이해 (프로빙)

음성, 사운드, 음악 작업에 대한 동결된 특징 프로빙 프로토콜을 사용하여:

• 성능: F3-Tokenizer는 베이스라인(Whisper 및 MingTok-Audio 포함)과 절제된 버전(RQ-MTP 또는 LLM 감독이 없는 경우)을 크게 능가했습니다.
• 주요 발견: RQ-MTP를 제거하면 모든 도메인에서 폭넓은 성능 저하가 발생하며, 이는 오디오 전용 자기지도 학습에서 RQ-MTP의 중요성을 나타냅니다. 동결된 LLM 감독을 제거하면 특히 음성-언어 작업(예: FSC, Speech Commands)에서 성능이 저하되어, 텍스트 정렬의 가치를 입증했습니다.

3. 오디오 생성

• 텍-투-스피치 (TTS): 자기회귀 TTS 생성기의 토크나이저로 사용될 때, F3-Tokenizer는 재구성 전용 베이스라인에 비해 훈련 초기 단계부터 명료한 음성이 나타나도록 합니다. Seed-zh 및 Seed-en 데이터셋에서 경쟁력 있는 WER 및 CER을 달성했습니다.
• 텍-투-오디오 (TTA): AudioCaps 데이터셋에서, 이 토크나이저는 강력한 CLAP 점수와 낮은 특징 거리를 가지며 효과적인 생성을 지원합니다.
• 수렴: 그림 2는 표현 유도형 오디오 토큰이 다운스트림 TTS 최적화를 가속화하여, 동일한 훈련 예산 하에서 WER을 더 빠르게 감소시킴을 보여줍니다.

의의 및 주장

본 논문은 F3-Tokenizer를 **음향적 충실도(acoustic fidelity)**와 **의미론적 구조(semantic structure)**라는 상충하는 요구사항을 분리하는 모듈형 솔루션으로 포지셔닝합니다.

• 통합된 타겟: 연속형 오토인코더 잠재 변수를 "음향 앵커"로 유지함으로써, 시스템은 이산 토큰이나 별도의 의미론적 인코더를 사용할 때 발생하는 불일치를 피하고, 생성 타겟이 디코더 가능하며 안정적이도록 보장합니다.
• 상호 보완적 제약 조건: 재구성, RQ-MTP, LLM 감독 및 플로우 매칭이라는 훈련 목적 함수들이 함께 작동하여, 생성에 견고하면서도 이해에 풍부한 표현을 생성합니다.
• 모듈성: 저자들은 자신들의 범위가 토크나이저 설계이지, 완전한 통합 오디오-언어 모델이 아님을 강조합니다. 이 프레임워크는 기존의 작업별 시스템(ASR, TTS, TTA)에 플러그인하여, 전체 아키텍처를 변경하지 않고도 성능을 향상시키도록 설계되었습니다.

저자들은 추가적인 목적 함수와 교사 의존성(동결된 LLM)에 의존한다는 점을 언급하며 한계를 인정하였으며, 현재 설계가 음향 잠재 변수($z$)와 표현($u$)을 별개의 공간으로 유지하고 있다고 밝혔습니다. 이들은 향-후 연구에서 디코더 가능하면서도 자기회귀 모델링에 친화적인 통합된 고차원 표현을 탐구할 수 있을 것이라고 제안했습니다.