기술 요약: 저프레임 레이트 고차원 연속 토큰을 이용한 안정적인 자기회귀 음성 생성

1. 문제 정의

본 논문은 자기회귀(Autoregressive, AR) 음성 및 오디오 생성에서 **표현 용량(Representational Capacity)**과 장기적 안정성(Long-horizon Stability) 사이의 근본적인 긴장 관계를 다룹니다.

• 트레이드오프: 고대역폭, 고차원 표현은 신호의 세부 사항을 보존하고 고충실도 재구성을 지원하지만 예측하기 어렵습니다. AR 시스템에서 작은 국소적 예측 오차는 시간이 지남에 따라 누적되어 분포 드리프트(예: 음량, 음색 또는 스펙트럼 품질의 변화)를 유발하고 결국 생성 붕괴로 이어집니다. 반대로, 저비트레이트 또는 고도로 압축된 표현은 AR 모델링을 단순화하지만 중요한 정보를 버리게 되어 재구성 충실도를 제한합니다.
• 공백: 기존 방식은 종종 의미론적 공간을 정의하기 위해 외부에서 사전 학습된 자기지도 학습(SSL) 또는 자동 음성 인식(ASR) 모델에 의존하거나, 모델 복잡성을 증가시키는 이산적 토큰 계층(예: RVQ)을 사용합니다. 저자들은 저프레임 레이트, 고차원, 연속 토큰 공식이 외부 사전 학습 모델이나 사후 학습 단계 없이도 견고한 고충실도 재구성, 강력한 단일 토큰 예측 가능성, 그리고 안정적인 장문 합성을 달erd할 수 있도록 스트리밍 생성 프레임워크와 공동 설계될 수 있는지 질문합니다.

2. 방법론

제안된 솔루션은 두 가지 결합된 구성 요소인 Locodec(잠재 공간 기하학을 형성하는 토크나이저)과 MP-ELD(오차 누적을 완화하도록 설계된 생성 프레임워크)로 구성됩니다.

2.1 Locodec: 국소 인코딩 코덱 (Locally Encoded Codec)

Locodec은 식별 가능성을 위한 에너지 계층 구조를 유지하면서, 저차원의 보간 가능한 코어 매니폴드를 중심으로 조직된 고차원 구형 토큰 공간을 생성하도록 설계되었습니다.

• 구형 토큰 공간 (Spherical Token Space): 토큰은 고차원 구($S^{D-1}$) 내로 제한됩니다. 이는 예측 작업에서 반경 방향의 자유도를 제거하여, 생성 모델이 각도 차이에 집중할 수 있도록 합니다.
• 저차원 코어 매니폴드 (Low-Dimensional Core Manifold): 학습 가능한 직교 투영(Orthogonal Projection)을 통해 고차원 토큰을 저차원 코어 매니폴드($d_{core} \ll D$)로 매핑합니다. 양방향 커밋먼트 손실(Bidirectional Commitment Loss)은 고차원 토큰을 이 코어 매니폴드와 정렬시킵니다. 코어 매니폴드는 훈련 중에 강한 구형 부패(Spherical Corruption, 무작위 회전)를 겪도록 하여, 모델이 재구성에 가장 결정적인 정보를 인코딩하도록 강제하고 강력한 보간 가능성을 유도합니다.
• Postfix Dimension Dropout (PDD): **식별성(Identifiability)**을 유도하기 위해, 토크나이저는 PDD 메커니즘을 채택합니다. 훈련 중 특정 확률로 토큰 벡터의 끝부분 차원을 드롭합니다. 이는 낮은 인덱스의 차원이 더 자주 유지되는 가용성 편향(Availability Bias)을 생성합니다. 결과적으로 모델은 이 "접두사(Prefix)" 차원에 더 높은 에너지를 할당하도록 학습하며, 이는 코어 콘텐츠를 부패에 더 견고하고 예측하기 쉽게 만드는 에너지 계층을 형성합니다.
• 아키텍처: 토크나이저는 MDCT 계수를 기반으로 하며, 교차 토큰 상호작용이 없는 완전 로컬 인코더와 적층된 인과적(Causal) ConvNeXt1D 디코더를 사용합니다. 모노 및 스테레오 오디오를 모두 지원하기 위해 Mid/Side 형식을 사용합니다.

2.2 MP-ELD: 멀티 패스 인코더-LM-디코더 (Multi-Path Encoder-LM-Decoder)

MP-ELD는 분류기 없는 가이드(Classifier-Free Guidance, CFG) 하에서의 일관되지 않은 가이드로 인한 오차 누적을 완화하기 위해 설계된 단일 토큰 AR flow-matching 프레임워크입니다.

• 멀티 패스 정보 라우팅 (Multi-Path Information Routing): 단일 조건 신호 대신, MP-ELD는 세 가지 뚜렷한 조건 경로를 구축합니다:
  1. 국소 연속성 ($c_{lc}$): 단거리 음향적 연속성을 강제하기 위해 현재 토큰에서 유도됩니다.
  2. 자기 일관성 ($c_{sc}$): 장기적 안정성과 내부 속성(예: 음색)의 일관성을 유지하기 위해 토큰 이력에서 유도됩니다.
  3. 정렬 일관성 ($c_{ac}$): 프롬프트와 생성을 정렬하기 위해 외부 제어 신호(예: 텍스트)에서 유도됩니다.
• 직교 잔차 조건화 (Orthogonal Residual Conditioning): 이러한 경로들은 잔차 정보를 인코딩하도록 그람-슈미트(Gram-Schmidt) 변환을 통해 직교화됩니다.
• 멀티 패스 잔차 CFG (Multi-Path Residual CFG): 추론 시, 모델은 각 경로에 대한 속도장(Velocity Fields)을 생성하기 위해 세 개의 별도 순방향 패스(또는 그 조합)를 실행합니다:
  $$v_\tau = v_L + \lambda_{sc}(v_{LS} - v_L) + \lambda_{ac}(v_{LSA} - v_{LS})$$
  이를 통해 음향적 일관성($\lambda_{sc}$)과 콘텐츠 정렬($\lambda_{ac}$)을 독립적으로 제어할 수 있습니다.
• 시간 의존적 가이드 (Time-Dependent Guidance): 초기 단계의 불안정성을 방-지하기 위해, 자기 일관성 가이드 가중치 $\lambda_{sc}$는 브리지 시간 $\tau$에 따라 점진적으로 증가하도록 스케줄링되어, 신호가 매우 노이즈가 심할 때 공격적인 외삽(Extrapolation)이 발생하는 것을 방지합니다.
• 유연한 크기를 가진 방향 전용 모델링 (Direction-Only Modeling with Flexible Magnitude): 모델은 탄젠트 방향을 정의하기 위해 구형 종점(Endpoint)을 예측합니다. 결정적으로, 결합된 속도의 크기는 CFG 이후에 고정된 SFM 한계로 재정규화되지 않습니다. 방향은 종점에서 유도되지만, 크기는 CFG 잔차에 따라 변할 수 있도록 허용됩니다. 이러한 유연성은 가이드된 궤적이 표준 측지선(Geodesic)과 다른 경로 길이를 가질 수 있게 하여, 학습된 벡터장 하에서 원하는 종점에 도달하기 위해 필요한 곡선 경로를 수용할 수 있게 합니다(고정된 스텝 사이즈을 강제하여 발생하는 언더스텝 또는 목표 도달 실패를 방지함).

3. 주요 기여

1. Locodec 토크나이저: 외부 SSL/ASR 감독 없이 고차원 연속 토큰 공간을 형성하는 새로운 토크나이저입니다. 이는 구형 정규화, 저차원 코어 매니폴드 제약, PDD 전략을 결합하여 보간 가능성과 식별성을 모두 향상시킵니다.
2. MP-ELD 프레임워크: 정보 경로(국소, 자기 일관성, 정렬)를 명시적으로 분리하고 멀티 패스 잔차 CFG를 사용하여 AR 오차 누적 및 분포 드리프트를 완화하는 flow-matching 생성 모델입니다.
3. 공동 설계 원칙 (Joint Design Principle): 본 논문은 AR 안정성과 재구성 충실도의 균형을 맞추기 위해서는 단순히 모델 규모를 키우거나 외부 프라이어를 사용하는 것이 아니라, 표현 공간의 기하학과 생성 프레임워크를 공동 설계해야 함을 보여줍니다.
4. 토큰 프레임 레이트에 관한 실험적 발견: 연구는 저프레임 레이트(예: 8 Hz)가 "의미-음향 해상도 조절 노브" 역할을 하여, 콘텐츠를 더 긴 구간에 걸쳐 자연스럽게 집계함으로써 WER과 안정성에는 도움을 주지만, 미세한 음향적 세부 사항에 대한 민감도는 잠재적으로 낮출 수 있음을 시사합니다.

4. 실험 결과

실험은 Seed-TTS-eval 데이터셋(중국어 및 영어)과 내부 장문 테스트 세트에서 수행되었습니다. 모델은 사전 학습된 텍amp LM, SSL, 또는 ASR 없이 처음부터 훈련되었습니다.

• 재구성 품질: 저차원 코어 매니폴드와 PDD를 적용해도 전체 차원 재구성 품질은 저하되지 않았습니다. PDD는 좌표별 에너지 계층 구조를 성공적으로 유도하여, 접두사 차원이 접미사 차원보다 훨씬 더 많은 에너지를 운반하게 했습니다.
• 예측 가능성: 중간 정도의 코어 차원($d_{core}=32$)과 PDD를 가진 토큰으로 훈련된 생성 모델이 가장 낮은 훈련 손실과 빠른 수렴을 달{\text{성하여, 이 토큰들이 가장 예측 가능하다는 것을 입증했습니다.
• 생성 성능 (단문): Seed-TTS-eval에서 최적의 구성(32/✓)은 중국어 0.95%, 영어 **1.87%**의 단어 오류율(WER)을 달성하여 최신 SOTA AR 시스템들과 경쟁할 만한 수준을 보여주었습니다.
• 장문 안정성:
  • CFG 민감도: 연구 결과, 정렬 일관성 가이드($\lambda_{ac}$)는 주로 콘텐츠 정렬(WER)을 제어하는 반면, 자기 일관성 가이드($\lambda_{sc}$)는 음향적 안정성(Speaker Similarity)을 제어함을 밝혀냈습니다.
  • 드리프트 완화: $\lambda_{sc}$의 시간 의전적 스케줄링은 장문 합성에서 매우 중요했습니다. 일정한 높은 가이드는 장문 합성 시 심각한 드리프트를 초래했습니다(예: 세그먼트별 Speaker Similarity가 0.74에서 0.40으로 급락). 지연된 스케줄($\gamma > 0$)은 장기적 안정성을 크게 개선했습니다.
  • PDD의 영향: PDD는 장기적 안정성을 일관되게 향상시켰습니다. 예를 들어, 32/×에서 32/✓로 전환하면 장문 WER이 20.80%에서 9.73%로 감소하고, 5번째 세그먼트의 Speaker Similarity가 0.419에서 0.578로 개선되었습니다.
• 비교: 제안된 시스템은 외부 모델 없이도 경쟁력 있는 WER을 달 achieves 합니다. 그러나 명시적인 의미-음향 분해 또는 높은 프레임 레이트를 사용하는 시스템에 비해 Speaker Similarity(SIM)는 다소 낮게 나타났는데, 이는 저프레임 레이트 토큰이 미세한 음향적 세부 사항보다는 콘텐츠 집계에 유리하다는 가설을 뒷받침합니다.

5. 의의 및 주장

본 논문은 저프레임 레이트, 고차원 연속 토큰이 표현 공간과 생성 프레임워크가 공동 최적화될 경우 안정적인 AR 음성 생성을 위한 유효한 타겟이 될 수 있다고 주장합니다.

• 겸손한 주장: 저자들은 자신들의 설계가 데이터/모델 규모를 압도하거나 보편적인 스케일링 법칙을 제시한다고 주장하지 않습니다. 대신 토큰 공간 형성 및 정보 라우팅의 효과를 분리하여 입증하는 데 집중합니다.
• 핵심 통찰: 이 연구는 토큰 공간을 형성하기 위해 외부 SSL/ASR 감독이 반드시 필요하다는 통념에 도전하며, 기하학적 제약이 있는 재구성 우선 방식의 토크나이저가 유사한 안정성 이점을 얻을 수 있음을 보여줍니다.
• 한계점: 저자들은 시스템이 강력한 콘텐츠 정렬(낮은 WER)과 안정성을 달성하지만, 현재로서는 명시적 의미-음향 분해 또는 높은 프레임 레이트를 사용하는 기존 시스템보다 Speaker Similarity가 뒤처진다는 점을 인정합니다. 이는 저프레임 레이트 토큰에 내재된 "의미-음향 트레이드오프" 때문이라고 설명합니다.
• 향ye 방향: 향후 연구에서는 외부 감독 없이 의미-음향 분해를 저율 연속 공간에 도입하고, 디코더 구성 요소를 확장하며, 생성 길이에 따라 적응하는 동적 CFG 스케줄을 개발하는 방향을 제시합니다.