기술 요약: ASR 자기 검증 및 증류를 통한 신뢰할 수 있는 뉴럴 코덱 텍스트 음성 변환(TTS)

1. 문제 정의

뉴럴 코덱으로 디코딩되는 이산적 음향 토큰에 대해 자기회귀적 언어 모델을 사용하는 뉴럴 코덱 텍스트 음성 변환(TTS) 모델은 지배적인 오픈 패러다임이 되었습니다. 그러나 이 모델들은 확률적 치명적 실패(stochastic catastrophic failures) 문제를 겪습니다. 이 모델들은 대부분의 문장을 깔끔하게 렌더링하지만, 다음과 같은 현상으로 인해 의미 있는 비율의 발화에서 예측 불가능하게 실패합니다:

• 드롭아웃(Dropping out): 침묵을 출력하거나 조기에 종료함 (음성 토큰 수 < 25).
• 붕괴(Collapsing): 반복적인 루프를 생성하거나 환각된 내용을 생성함.

이러한 실패 모드는 배포를 불가능하게 만드는 요소입니다. 이전 연구들은 이러한 실패 모드를 규명해 왔으나, 서로 다른 모델과 코덱에 적용 가능한 일반적이고 저비용인 해결책은 여전히 찾아내지 못했습니다. 본 논문은 표준 단어 오류율(WER)이 특히 숫자나 날짜의 경우, 숫자 대 단어 정규화(canonicalization) 노이즈로 인해 이 맥락에서의 견고성을 측정하기에 불충분하다는 점을 식별했습니다.

2. 방법론

A. 지표: ASR 왕복 검증(Round-Trip Verification)

저자들은 ASR 왕복 검증에 기반한 포맷 강건한 지표를 제안합니다. 참조 텍스트 $x$에 대한 생성물 $g$가 다음 중 하나에 해당하면 치명적 실패로 간flag합니다:

1. 드롭아웃: 디코딩된 음성 토큰 수 $n(g) < 25$ 이거나 ASR 전사 단어 수 $|h(g)| \le 1$ 인 경우.
2. 붕괴/잘못된 내용: 단어 오류율 $WER(h(g), x) > 0.5$ 인 경우.

이 지표는 표준 WER을 괴롭히는 숫자/날짜 포맷팅의 혼란스러운 아티팩트를 피합니다.

B. 테스트 타임 솔루션: Best-of-N 자기 검증

주요 개입은 단일 프롬프트에 대해 $N$개의 후보를 샘플링하는 테스트 타임 절차입니다. 각 후보는 ASR을 통해 전사되며, 가장 낮은 WER을 가진 후보(드롭아웃이 아닌 것)가 선택됩니다.

• 프롬프트는 모든 $N$개의 후보가 실패할 때만 "실패"로 간주됩니다.
• 이는 오라클 선택 메커니즘 역할을 하여, $N$이 증가함에 따라 치명적 실패율(CFR)을 낮춥니다.

C. 추론 타임 솔루션: 증류(Distillation)

Best-of-N의 $N \times$ 추론 비용을 제거하기 위해, 저자들은 검증된 동작을 모델로 다시 증류합니다:

• 지도 미세 조정(Supervised Fine-Tuning, SFT): 각 훈련 프롬프트에 대한 단일 최적의 자기 검증 샘플을 사용하여 모델을 미세 조정합니다(LoRA 사용).
• 선호도 최적화(Preference Optimization): 저자들은 SFT를 오프라인 직접 선호도 최적화(DPO), 반복적 선호도 최적화(IPO), 그리고 거부된 샘플이 구체적으로 드롭아웃/붕괴인 실패 타겟 페어링(FTPO)과 비교합니다.
• 온라인 반복 변형(Online Iterative Variant): 모델이 라운드별로 재샘플링, 재점수 산정, 재학습을 수행하는 온-폴리시(on-policy) 접근 방식입니다.

3. 실험 설정

• 모델: 네 가지 오픈 시스템이 테스트되었습니다: Llasa-1B, Llasa-3B, Orpheus-3B, CSM-1B.
• 코덱: 세 가지 별도의 뉴럴 코덱이 활용되었습니다: XCodec2, SN액(SNAC), Mimi.
• 데이터셋:
  • Hard Set: 정상, 긴 문장, 발음하기 어려운 문장(tongue-twisters)을 포함하여 견고성을 스트레스 테스트하도록 설계된 26개의 수기 프롬프트 (156개 생성물).
  • Standard Corpus: LibriSpeech test-clean 전사본 중 홀드아웃된 120개 (360개 생성물).
• 베이스라인: 단일 샷(Best-of-1) 치명적 실패율은 모델과 입력 난이도에 따라 약 0.008에서 0.36 사이였습니다.

4. 주요 결과

A. Best-of-N은 실패를 거의 제로로 몰아넣음

자기 검증 메커니즘은 다양한 아키텍처에서 치명적 실패를 효과적으로 제거합니다:

• LibriSpeech (Standard): Llasa-1B, Orpheus-3B, CSM-1B의 경우, $N=2$에서 실패율이 0 관측된 실패(95% 상한 $\approx 0.008$)로 떨어졌습니다.
• Hard Set: Llasa-1B의 경우, 단일 샷 대비 실패율이 $N=4$에서 0 관측된 실패로 감소했습니다.
• 일반화: 이 감소는 세 가지 다른 코덱(XCodec2, SNAC, Mimi)과 네 가지 모델에서 재현되었으며, 이는 이 수정 사항이 특정 모델의 아티팩트가 아니라 코덱-TTS의 일반적인 속성임을 시사합니다.
• 한계: Llasa-3B는 제로 바닥에 도달하지 못했으며(0.033에서 정체), 저자들은 이를 근본적인 스케일 제한이라기보다 3B 실행 중에 사용된 더 타이트한 생성 예산 때문이라고 설명합니다.

B. 증류는 수정을 "무료"로 만듦

검증된 동작을 모델로 증류함으로써 단일 샷 디코딩에서 견고성을 회복합니다:

• Hard Inputs: Hard set에서 단일 샷 실패율은 베이스 모델의 0.199에서 증류 후 0.083–0.096으로 감소하여, 실패 질량의 **~52–58%**를 닫았습니다.
• Easy Inputs: 이미 신뢰할 수 있는(0.058) 표준 LibriSpeech 산문의 경우, 증류는 감지 가능한 변화를 보이지 않았으며, 이는 이득이 필요한 곳에 집중되었음을 확인시켜 줍니다.
• 비용: 증류된 모델은 테스트 타임 비용 없이(단일 샷 추론) 이러한 이득을 달성합니다.

C. 선호도 최적화 vs. 지도 증류

• 오프라인 방법: 오프라인 DPO, IPO, FTPO는 일반적인 지도 증류(SFT)보다 우수한 성능을 보이지 못했습니다. 그 차이는 통계적으로 구별할 수 없었습니다(구간이 심하게 겹침).
• 온라인 반복: 온-폴리시 반복 변형이 가장 낮은 실패율(0.013–0.026)을 보였으나, 더 작은 서브셋에서 평가되었습니다. 저자들은 이것이 유망한 방향이지만 현재의 평가 규모에서는 단일 패스 증류와 통계적으로 분리될 수 없다고 언급합니다.

D. 능력의 천장(Capability Ceilings)

연구는 자기 증류가 극복할 수 없는 두 가지 한계를 식별합니다:

1. 희귀 단어: 희귀 단어(예: otorhinolaryngologist)를 포함하는 프롬프트의 경우, 베이스 모델은 $N=3$을 사용하더라도 충실한 샘플을 생성할 능력이 부족한 경우가 많습니다. 증류는 베이스 모델이 보유하지 않은 능력을 만들어낼 수 없습니다.
2. 숫자/날짜 견고성: 이러한 입력에 대한 지표는 음향적 실패보다는 토큰화/정규화 아티팩트에 의해 지배되는데, 이는 해결 가능한 견고성 문제가 아니라 측정상의 한계입니다.

5. 의의 및 주장

본 논문은 뉴럴 코덱 TTS의 치명적 실패가 패러다임의 본질적인 대가가 아니라 해결 가능한 신뢰성 문제라고 주장합니다.

• 일반적 해결책: Best-of-N 검증과 증류의 결직은 특정 시스템의 특이점이 아니라 여러 모델과 코덱에 작동하는 일반적인 해결책입니다.
• 비용 효율성: 이 "수정"은 테스트 타임에는 샘플링을 통해 저렴하게 구현할 수 있으며, 증류를 통해 추론 시에는 무료로 만들 수 있습니다.
• 타겟팅된 개선: 이 방법은 이미 신뢰할 수 있는 입력의 성능을 저하시키지 않으면서 "실패 예산"(어려운 입력)을 구체적으로 타겟팅합니다.
• 정직한 한계 명시: 저자들은 자신의 방법이 희귀 단어 능력 격차를 해결하지 못한다는 점을 명시적으로 밝히며, 온라인 반복 변형이 유망하지만 대규모 검증이 필요함을 인정합니다. 또한, 증류의 이득이 현재는 교차 체제 비교(hard vs. easy sets)를 통해 추론된 것이며, 메커니즘을 완전히 격리하려면 동일 코퍼스 내의 난이도 스윕이 필요함을 인정합니다.

결론적으로, 본 논문은 단순한 참조 인식 검증 루프가 치명적 실패율을 거의 제로로 몰아넣을 수 있으며, 이러한 견고성이 단일 샷 추론으로 성공적으로 전달될 수 있음을 입증함으로써 뉴럴 코덱 TTS를 실제 배포에 훨씬 더 적합하게 만듭니다.