기술 요약: HoliTok

문제 정의

통합 음성 기초 모델은 공유 파라미터 공간 내에서 음성 이해 (예: 인식) 와 생성 (예: 합성) 을 모두 수행하는 것을 목표로 합니다. 그러나 기존 음성 토크나이저 방법은 언어 모델이 학습 가능하고, 고충실도 파형으로 디코딩 가능하며, 의미 이해에 유익한 정보성을 동시에 만족시키는 상충되는 요구사항을 충족시키지 못합니다.

• 전통적인 음향 특징 (예: 멜-스펙트로그램) 은 신호 구조를 보존하지만, 하위 모델이 학습하기 어려운 밀집되고 중복된 시퀀스를 생성합니다.
• 자기지도 표현 은 풍부한 의미 정보를 제공하지만, 종종 고품질 파형으로 자연스럽게 디코딩되지 않습니다.
• 이산 토크나이저 (코드북 기반) 는 언어 친화적인 심볼로 음성을 압축하지만, 양자화 아티팩트와 모델링 복잡성을 도입합니다.
• 기존 연속 토크나이저 는 종종 재구성이나 합성을 개별적으로 최적화하며, 복잡한 작업별 아키텍처 조정 없이 통합 생성 - 이해 아키텍처를 지원하는 공유 표현 공간이 부족합니다.

결과적으로, 통합의 부담은 표현 자체에서 다중 스트림 토크나이저나 분리된 모듈과 같은 점점 더 복잡한 모델 설계로 이동합니다.

방법론

저자들은 생성과 이해를 위한 통합 인터페이스로 설계된 연속적 전체 음성 토크나이저 모델인 HoliTok을 제안합니다.

아키텍처

HoliTok 은 저지연 변분 오토인코더 (VAE) 백본을 기반으로 구축됩니다:

• 인코더: 2 프레임 룩어포워드를 가진 인과적 합성곱 네트워크로, 48 kHz 오디오를 128 차원 연속 잠재 시퀀스로 25 Hz 로 다운샘플링합니다.
• 시간적 변분 병목: 재파라미터화 트릭을 통해 확률성을 도입하고, 표현력을 향상시키기 위해 정규화 흐름으로 정규화된 LSTM 기반 병목 레이어입니다.
• 디코더: 잠재 시퀀스에서 48 kHz 파형을 재구성하는 BigVGAN 스타일의 생성기입니다.
• 지도 네트워크: 훈련 중 의미 및 작업별 정보를 주입하기 위해 사용되는 하위 작업 인식 구성 요소 (0.6B Transformer 인코더 + Qwen2.5-0.5B 디코더) 입니다.

점진적 훈련 전략

HoliTok 은 충실도, 학습 가능성, 의미 풍부함의 균형을 맞추기 위해 세 단계의 점진적 훈련 레시피를 사용합니다:

1. 1 단계 (고충실도 자동인코딩): 다중 스케일 스펙트럼, 적대적, 특징 매칭 손실을 사용하여 신뢰할 수 있는 재구성 매니폴드를 확립하기 위해 결정론적 자동인코더를 훈련합니다. 이는 확률성을 도입하기 전에 디코더가 파형을 충실히 재구성할 수 있도록 보장합니다.
2. 2 단계 (암시적 충실도 전이): 인코더와 디코더는 고정됩니다. 오직 시간적 변분 병목만 약한 KL 정규화로 훈련됩니다. 이는 결정론적 공간을 확률적 공간으로 전이시키면서 잠재 샘플이 고충실도 디코딩 영역에 가깝게 유지되도록 하여 음향 세부 정보의 손실을 방지합니다.
3. 3 단계 (하위 작업 인식 풍부화): 전체 모델 (인코더 및 병목) 을 강한 KL 가중치로 공동 최적화합니다. 이 단계는 다음을 통해 잠재 공간을 풍부하게 합니다:
   • 다중 세분화 증류: 프레임 수준 컨텍스트를 위한 WavLM, 화자 식별을 위한 x-vector 등 고정된 교사 표현과 잠재 정렬.
   • 다중 작업 지도: 잠재 표현을 조건으로 하여 작업 목표 (ASR, 감정, 캡션 등) 를 예측하는 언어 모델링 목적을 사용합니다. 이는 잠재 공간이 파형 재구성에 반드시 필요하지 않더라도 이해에 중요한 정보를 유지하도록 강제합니다.

하위 작업 통합 모델링

토크나이저를 평가하기 위해 저자들은 통합 AR+DiT(자기회귀 + 확산 트랜스포머) 모델을 구축합니다:

• 이해: LLM 이 혼합된 텍스트와 오디오 잠재 패치를 처리하여 다음 텍스트 토큰 (ASR) 을 예측합니다.
• 생성: LLM 이 의미 숨겨진 상태를 예측하고, 이는 다음 잠재 패치 (TTS) 를 예측하기 위해 DiT 기반 흐름 매칭 헤드를 조건부로 사용합니다.
• 평가: 동일한 잠재 시퀀스가 추가 아키텍처 트릭 없이 두 작업을 모두 강력하게 지원할 수 있는지 시스템이 테스트합니다.

주요 기여

1. HoliTok 토크나이저: 48 kHz 음성을 컴팩트한 25 Hz, 128 차원 잠재 시퀀스로 인코딩하는 연속 음성 토크나이저입니다.
2. 점진적 훈련 레시피: 충실도를 순차적으로 확립하고, 변분 규칙성을 도입하며, 의미를 풍부하게 하는 새로운 3 단계 전략으로, 잠재 공간이 디코딩 가능하고 학습 가능하도록 보장합니다.
3. 통합 인터페이스: 단일 연속 표현이 작업별 인코더나 다중 토큰 스트림 없이 고품질 합성과 정확한 인식을 모두 지원하는 AR+DiT 아키텍처의 공유 인터페이스로 효과적으로 기능할 수 있음을 입증했습니다.

실험 결과

저자들은 Semantic-VAE 및 MingTok-Audio 와 같은 베이스라인에 대해 재구성, 음성 합성, 통합 모델링 작업에서 HoliTok 을 평가했습니다.

• 재구성: HoliTok 은 높은 압축 비율 (7.5 배) 과 낮은 지연 시간 (25 TPS) 으로 경쟁력 있는 신호 충실도 (PESQ, STOI) 를 달성합니다. 화자 및 감정 유사성 (SPKSIM, EMOSIM) 보존에서 베이스라인을 능가합니다.
• 음성 합성: 제로샷 및 제어 가능한 TTS 설정에서 HoliTok 은 높은 학습 가능성을 보여주며, 표현 및 비언어적 차원에서 최고의 승률을 달성하고 제어 가능한 합성 (낮은 WER, 높은 CLSP 점수) 에서 강력한 성능을 보입니다.
• 통합 생성 - 이해:
  • HoliTok-Base(VAE 잠재만 사용) 는 ASR 성능을 유지하면서 TTS 가독성에서 베이스라인을 이미 능가합니다.
  • HoliTok-Unite(3 단계의 인과적 의미 인코더 통합) 는 TTS 와 ASR 모두를 더욱 개선하여 HoliTok-Base 및 베이스라인 대비 두 작업 모두에서 WER 을 크게 감소시킵니다.
  • 반면, Semantic-VAE 와 같은 베이스라인은 통합 설정에서 TTS 가 급격히 저하되고, MingTok-Audio 는 생성보다 이해에 치우친 불균형을 보입니다.

중요성 및 주장

이 논문은 HoliTok 이 통합 구어 언어 모델링을 위한 효과적인 음성 토크나이저이자 기초 표현 인터페이스라고 주장합니다.

• 강건성: 기존 표현은 작업을 통합하기 위해 복잡한 아키텍처 수정이나 점진적 훈련 설계가 필요한 반면, HoliTok 은 추가 최적화 트릭 없이 통합 AR+DiT 아키텍처에서 강건하게 작동합니다.
• 격차 해소: 의미 추상화, 음향 충실도, 모델 학습 가능성 사이의 격차를 성공적으로 해소하여, 단일 연속 공간이 생성 (음향 보존) 과 이해 (의미 접근성) 의 공동 요구사항을 충족시킬 수 있음을 시사합니다.
• 적당한 범위: 저자들은 현재 평가가 음성 중심 작업 (재구성, TTS, ASR) 에 초점을 맞추고 있음을 인정합니다. 이 작업 내에서 더 넓은 오디오 도메인 (예: 음악, 환경음) 이나 다른 생성 아키텍처 (예: 순수 DiT) 로의 일반화를 주장하지 않으며, 이를 향후 연구 방향으로 명시합니다.

코드는 다음에서 이용할 수 있습니다: https://github.com/bovod-sjtu/HoliTok.