기술 요약: RobustSpeechFlow

1. 문제 제기

흐름 매칭 (flow-matching) 기반의 텍스트 음성 변환 (TTS) 시스템은 제로샷 화자 유사성과 자연스러움 측면에서 상당한 성과를 거두었으나, 불완전한 텍스트 - 음성 정합으로 인해 발생하는 콘텐츠 충실도 문제, 특히 생략 및 반복 오류에 여전히 취약합니다. 이러한 오류는 단순한 미세한 결함이 아닙니다. 이는 시스템의 신뢰성을 실질적으로 저하시키며, 생산 환경에서 안전 위험을 초래합니다.

기존의 완화 전략들은 여러 한계를 안고 있습니다:

• 아키텍처 수정(예: 명시적 지속 시간 모델링 또는 음소 조건부) 은 파이프라인을 복잡하게 만들거나 오류를 완전히 제거하지 못합니다.
• 선호도 기반 접근법(예: 직접 선호도 최적화) 은 비용이 많이 드는 전용 가독성 데이터셋과 사후 학습 목표를 요구합니다.
• 보조 감독(예: 자동 음성 인식 (ASR) 에서 유도된 손실) 은 추가 모델과 학습 복잡성을 도입하여 경량 배포에 바람직하지 않습니다.
• 용량 제약: 정합 오류는 모델 용량이 제한되거나 추론 중 함수 평가 횟수 (NFE) 가 감소할수록 악화되는 경향이 있습니다.

핵심적인 과제는 외부 정합기, 선호도 데이터, 또는 모델 복잡성 증가에 의존하지 않고 정합의 견고성을 향상시키는 것입니다.

2. 방법론: RobustSpeechFlow

저자들은 Contrastive Flow Matching (CFM) 을 길이 보존 잠재적 증강 (length-preserving latent augmentations) 으로 확장하여 정합 견고성을 강화하는 학습 전략인 RobustSpeechFlow를 제안합니다. 이 방법은 흐름 매칭 TTS 파이프라인의 잠재 공간 내에서 직접 작동합니다.

핵심 메커니즘

이 접근법은 일반적인 TTS 실패 모드 (생략 및 반복) 를 잠재 공간 내의 하드 네거티브 (hard negatives) 로 변환합니다. 조건부 텍스트와 의미적으로 관련이 없을 수 있는 무작위 네거티브 샘플을 사용하는 대신, 모델은 동일한 발화의 현실적인 정합 실패를 시뮬레이션하는 "손상된" 버전과 올바른 잠재 궤적을 구별하도록 학습됩니다.

잠재적 증강 전략

이 방법은 전체 시퀀스 길이를 엄격하게 보존하면서 기준 잠재 시퀀스 ($x$) 를 변형하여 네거티브 목표 ($x^-$) 를 생성합니다. 이는 고정 길이 잠재 파이프라인의 안정성을 유지하는 데 중요합니다. 두 가지 증강 모드가 동일한 확률로 사용됩니다:

1. 반복 증강 (Repeat Augmentation):

   • 소스 구간 $[s, s+\ell)$을 선택하여 다른 타겟 구간 $[k, k+\ell)$을 덮어씁니다.
   • 효과: 이 연산은 소스 내용을 덮어쓰는 과정에서 타겟 위치에서 본질적으로 동시 생략 오류를 유발하면서 소스 내용을 반복함으로써, 실제로 복합적인 반복 및 생략 실패를 시뮬레이션합니다.
   • 제약: 길이는 추가가 아닌 덮어쓰기를 통해 보존됩니다.

2. 생략 증강 (Skip Augmentation):

   • 생략 영역 $[s_1, s_1+\ell)$을 식별합니다.
   • 후속 잠재 시퀀스를 앞으로 이동시켜 생략된 영역을 덮어씁니다.
   • 꼬리에 남은 프레임은 사전 계산된 침묵 잠재 ($x_{sil}$) 로 채웁니다.
   • 효과: 이는 미래 컨텍스트가 이동하면서 전역 지속 시간은 보존되는 현실적인 생략 오류를 시뮬레이션합니다.

학습 목표

총 손실 함수는 표준 양의 흐름 매칭 손실과 무작위 및 증강된 네거티브에 대한 대비 정규화 항을 결합합니다:

$$\mathcal{L} = \mathcal{L}_{pos} - \lambda_{rand} \mathcal{L}_{rand} - \lambda_{aug} \mathcal{L}_{aug}$$

• $\mathcal{L}_{pos}$: 예측 벡터장을 양의 목표와 정합시키는 표준 흐름 매칭 손실.
• $\mathcal{L}_{rand}$: 무작위 배치 내 네거티브를 사용하는 대비 항 (표준 CFM).
• $\mathcal{L}_{aug}$: 증강 기반 하드 네거티브를 사용하는 대비 항 (새로운 기여).
• 음의 항은 모델이 양의 궤적과 정합되도록 장려하면서 손상된 궤적은 밀어내도록 하기 위해 뺍니다.

3. 주요 기여

1. RobustSpeechFlow: 단순하고 길이 보존적인 잠재 공간 증강을 통해 생략/반복 실패를 대상으로 하는 음성 전용 대비 흐름 매칭 전략.
2. 제로 의존성 설계: 이 방법은 선호도 데이터셋, 외부 정합기, 또는 ASR 모델을 요구하지 않습니다. 최소한의 오버헤드로 기존 흐름 매칭 TTS (FM-TTS) 파이프라인에 원활하게 통합됩니다.
3. 입증된 견고성: 이 접근법은 일반적으로 정합이 가장 취약한 저 NFE 추론 조건에서 특히 두드러지는, 공개 제로샷 벤치마크와 새로운 다국어 벤치마크 (ZERO500) 모두에서 일관된 개선을 보여줍니다.

4. 실험 결과

이 방법은 내부 코퍼스 (영어 및 한국어, 약 10k 시간) 를 사용하여 0.06B 파라미터의 컴팩트한 흐름 매칭 모델인 SupertonicTTS에서 평가되었습니다.

Seed-TTS-eval 벤치마크

• 성능: RobustSpeechFlow 는 단어 오류율 (WER) 을 1.44% (베이스라인) 에서 1.38% 로 감소시켰습니다.
• 비교: 이는 벤치마크에서 보고된 최저 WER 으로, 0.06B 파라미터만 사용함에도 불구하고 훨씬 더 큰 모델들 (예: 0.5B–1.5B 파라미터) 보다 우수한 성과를 거두었습니다.
• 화자 유사성: 화자 유사성 (SIM) 점수는 모든 변형에서 0.60 으로 안정적으로 유지되었으며, 이는 WER 개선이 화자 조건부 변화가 아닌 더 나은 정합에서 비롯되었음을 나타냅니다.

ZERO500 벤치마크 (커스텀 다국어 벤치마크)

다양한 화자 및 억양 조건 (50 개 목소리, 각각 10 개 프롬프트, 영어 및 한국어) 하에서 정합을 스트레스 테스트하도록 설계되었습니다.

• 영어 (NFE=24): 문자 오류율 (CER) 이 0.48% 에서 0.35% 로 개선되었고, WER 은 1.18% 에서 1.03% 로 개선되었습니다.
• 한국어 (NFE=24): CER 이 0.81% 에서 0.57% 로 개선되었고, WER 은 8.40% 에서 7.45% 로 개선되었습니다.
• 저 NFE 안정성: 이 방법은 정합 오류가 일반적으로 더 심각한 NFE=12 에서 우수한 안정성을 입증하여, 한국어 CER 을 0.93% 에서 0.57% 로 감소시켰습니다.

학습 역학

최대 50 만 단계의 학습 단계 분석 결과, 표준 ContrastiveFM 은 초기 경쟁력을 보였으나 RobustSpeechFlow 는 특히 한국어와 NFE=24 조건에서 더 일관된 최적화 경로를 수립하여 결국 모든 베이스라인을 능가했습니다. 저자들은 생략/반복 오류와 관련된 잠재 영역을 명시적으로 패널티 부과함으로써 후속 학습 단계에서 크로스 어텐션 정합 지형을 안정화한다고 가정합니다.

5. 중요성과 주장

본 논문은 RobustSpeechFlow가 생성형 TTS 의 지속적인 콘텐츠 충실도 문제에 대한 실용적이고 경량화된 솔루션을 제공한다고 주장합니다. 일반적인 실패 모드를 잠재 공간 내의 하드 네거티브로 재구성함으로써, 이 방법은 실제 세계 신뢰성을 저하시키는 특정 오류와 대비 신호를 직접 정합시킵니다.

주요 시사점:

• 효율성: 모델 크기 증가나 외부 감독 없이 가독성에서 상당한 향상을 달성했습니다.
• 견고성: 이 방법은 표준 모델이 어려움을 겪는 제한된 추론 환경 (저 NFE) 과 다양한 억양 조건에서 특히 효과적입니다.
• 한계: 저자들은 공개 벤치마크에서의 화자 유사성이 개선되지 않았음 (0.60 유지) 을 지적하며, 이는 목표 자체라기보다는 컴팩트한 베이스라인 아키텍처의 표현적 한계 때문이라고 가정합니다. 코덱과 백본을 확장하면 이를 완화할 수 있다고 제안합니다.
• 향후 작업: 저자들은 실패 모드 네거티브의 분류를 확장하고 더 큰 흐름 매칭 및 자기회귀 확산 프레임워크 전반의 일반화 가능성을 조사할 것을 제안합니다.