Hierarchical Decoding for Discrete Speech Synthesis with Multi-Resolution Spoof Detection

본 논문은 신경 코덱 언어 모델의 추론 과정에서 발생하는 토큰 수준의 아티팩트와 분포 이탈을 해결하기 위해, 다중 해상도 스푸핑 탐지를 계층적 디코딩 전략에 통합하여 모델 재학습 없이 제로샷 음성 합성의 견고성과 품질을 향상시키는 'MSpoof-TTS' 프레임워크를 제안합니다.

핵심

이 논문은 **"인공지능이 목소리를 만들 때, 가끔 나오는 '부자연스러운 순간'을 실시간으로 잡아내어 고쳐주는 새로운 방법"**을 소개합니다.

기존의 AI 목소리 생성 기술은 매우 훌륭하지만, 마치 연필로 글을 쓸 때 한 글자 한 글자 쓰다 보면 문맥이 어색해지거나 오타가 생기는 것처럼, 소리를 만들 때도 미세한 ' glitches(오작동)'가 쌓여 전체적으로 어색한 소리가 나올 수 있습니다.

이 문제를 해결하기 위해 제안된 MSpoof-TTS라는 방법을 쉽게 설명해 드리겠습니다.

---

🎤 핵심 비유: "현명한 편집자"와 "다양한 눈금의 자"

이 기술은 AI 가 목소리를 만드는 과정에 **세심한 '편집자'**를 하나 더 앉혀놓는 것과 같습니다.

1. 문제: AI 가 목소리를 만들 때 생기는 '미세한 균열'

AI 가 목소리를 만들 때는 소리를 작은 조각 (토큰) 으로 잘게 나누어 하나씩 이어 붙입니다. 이때 AI 는 다음 조각을 고를 때 확률에 의존합니다.

• 기존 방식: AI 가 "아, 이 조각이 가장 자연스러울 것 같아!"라고 생각해서 바로 이어 붙입니다.
• 문제점: 하지만 이 과정이 반복되면, 처음에는 괜찮아 보였던 조각들이 모여서 **"어? 이 부분 소리가 좀 이상한데?"**라는 부자연스러운 구간이 생길 수 있습니다. 마치 퍼즐 조각을 맞출 때, 한두 개가 살짝 어긋나면 전체 그림이 뒤틀리는 것과 같습니다.

2. 해결책: "MSpoof-TTS" (미세한 이상을 잡아내는 편집자)

저자들은 AI 를 다시 가르치거나 (재학습) 복잡한 설정을 바꾸지 않고, AI 가 소리를 만들어가는 '과정'을 실시간으로 감시하는 편집자를 도입했습니다.

이 편집자는 **세 가지 다른 눈금의 자 (다중 해상도)**를 가지고 있습니다.

• 짧은 자 (10 조각 단위): "이 작은 구간에서 소리가 갑자기 튀지 않았나?"라고 세밀하게 봅니다.
• 중간 자 (25 조각 단위): "이 정도 구간에서 흐름이 매끄러운가?"라고 적당한 범위로 봅니다.
• 긴 자 (50 조각 단위): "이 전체 문장이 자연스러운가?"라고 넓게 봅니다.

이 편집자는 AI 가 "다음 조각을 고를까?"라고 고민할 때마다, 여러 개의 자로 그 조각을 재봅니다. 만약 **"어, 이 조각은 자연스럽지 않아 (가짜야)"**라고 판단되면, 그 조각은 버리고 더 자연스러운 다른 조각을 선택하게 도와줍니다.

3. 작동 원리: "점진적인 정제 과정"

이 과정은 마치 금광에서 금을 채굴하는 과정과 같습니다.

1. 먼저 많이 캐기: AI 가 일단 여러 가지 후보 (조각) 를 많이 만들어냅니다.
2. 1 단계 거르기 (짧은 자): 가장 작은 이상한 부분부터 걸러냅니다. (나쁜 조각 제거)
3. 2 단계 거르기 (중간 자): 남은 조각들을 다시 중간 크기로 재서, 흐름이 어색한 것을 또 걸러냅니다.
4. 3 단계 거르기 (긴 자): 마지막으로 큰 틀에서 전체적인 자연스러움을 확인하고, 가장 좋은 조각 하나만 최종 선택합니다.

이렇게 여러 단계로 걸러내면서 (Hierarchical) 최종 목소리를 완성하기 때문에, AI 가 처음부터 완벽할 필요는 없고, 만들어가는 과정에서 자연스럽게 '최고의 결과물'로 수렴하게 됩니다.

---

🌟 이 기술의 장점 (왜 중요한가?)

1. 재학습 불필요 (Training-Free):
   • 기존에는 AI 모델을 다시 가르치거나 (재학습) 복잡한 데이터를 준비해야 했지만, 이 방법은 기존에 만들어진 AI 모델을 그대로 쓰면서 외부에서 '편집자'만 붙이면 됩니다. 비용과 시간이 훨씬 절약됩니다.
2. 자연스러움 극대화:
   • 실험 결과, 이 방법을 쓰면 AI 목소리가 사람이 말하는 것처럼 훨씬 더 자연스럽고 매끄러워졌습니다. 특히 어려운 발음이나 반복적인 소리에서도 어색함이 줄어들었습니다.
3. 의미와 목소리 유지:
   • 소리가 자연스러워진다고 해서 AI 가 말하는 내용 (단어) 이 바뀌거나, 원래 목소리 톤이 사라지는 일은 없습니다. 오히려 의미는 정확하면서 소리만 더 깔끔해집니다.

📝 한 줄 요약

"AI 가 목소리를 만들 때, 여러 가지 크기의 '자'로 실시간으로 이상한 부분을 찾아내어 버리고, 가장 자연스러운 조각만 골라내어 완벽한 목소리를 만들어주는 똑똑한 '편집자' 시스템을 개발했습니다."

이 기술은 앞으로 우리가 AI 와 대화할 때, 로봇 같은 어색함이 사라지고 훨씬 더 생생하고 자연스러운 목소리를 들을 수 있게 해줄 것입니다.

기술 요약

1. 문제 정의 (Problem Statement)

신경 코덱 언어 모델 (Neural Codec Language Models) 은 제로샷 (zero-shot) 음성 합성에서 높은 품질을 보여주지만, 추론 (inference) 단계에서 다음과 같은 취약점을 가지고 있습니다:

• 토큰 수준의 결함: 자기회귀 (autoregressive) 디코딩 과정에서 토큰 수준의 작은 불일치가 누적되어 청각적 인공물 (artifacts) 이나 비자연스러운 전환을 유발합니다.
• 분포 드리프트 (Distributional Drift): 훈련 데이터 (Golden Tokens) 와 생성된 토큰 시퀀스 사이의 분포 차이가 발생하여, 시간이 지남에 따라 자연스러운 음성 특성을 잃어버리는 현상이 발생합니다.
• 기존 방법의 한계: 기존 해결책은 모델 재학습 (Preference Optimization 등) 이나 특정 실패 패턴에 대한 제한적인 디코딩 제어를 요구합니다. 이는 계산 비용이 높거나, 생성된 시퀀스의 전역적 일관성이나 국소적 자연스러움을 명시적으로 평가하지 못합니다.

2. 제안 방법론 (Methodology)

저자들은 모델 파라미터를 수정하거나 재학습하지 않고, 추론 단계에서 MSpoof-TTS라는 프레임워크를 제안합니다. 이는 '다중 해상도 토큰 기반 스푸핑 감지 (Multi-Resolution Token-based Spoof Detection)'를 디코딩 과정에 통합한 것입니다.

A. 다중 해상도 토큰 기반 스푸핑 감지 (Multi-Resolution Spoof Detection)

• 개념: 실제 음성 (Golden) 과 합성 음성 (Synthetic) 의 코덱 토큰 시퀀스 분포 차이를 탐지하기 위해 다양한 시간 해상도에서 토큰 세그먼트를 분석합니다.
• 해상도 전략:
  1. 시간적 크롭 (Temporal Cropping): 길이가 다른 연속된 서브시퀀스 (10, 25, 50 토큰) 를 추출하여 국소적 불일치와 전역적 구조적 일관성을 모두 포착합니다.
  2. 스킵 샘플링 (Skip Sampling): 다운샘플링 비율 (1, 2, 5) 을 적용하여 토큰 해상도를 변경함으로써, 원본 해상도에서는 보이지 않는 구조적 불규칙성을 탐지합니다.
• 모델 구조: 각 해상도 설정에 대해 별도의 판별기 (Discriminator) 를 훈련합니다. Conformer 아키텍처를 사용하여 토큰 임베딩을 처리하고, 적응형 풀링 (Adaptive Pooling) 을 거쳐 실제/가짜 확률을 예측합니다.

B. 계층적 스푸핑 유도 샘플링 (Hierarchical Spoof-Guided Sampling)

• 기반 알고리즘: 반복 인식 샘플링 (RAS) 의 한계를 보완한 **엔트로피 인식 샘플링 (EAS)**을 기본 디코딩 전략으로 사용합니다. EAS 는 최근 생성된 토큰의 순위와 나이를 기억하여 반복을 억제하면서도 확률 분포의 다양성을 유지합니다.
• 계층적 가지치기 (Hierarchical Pruning):
  1. 워밍업: 초기 디코딩 안정화를 위해 EAS 를 사용하여 일정 길이만큼 생성합니다.
  2. 단계별 확장 및 필터링:
     • 1 단계: 짧은 구간 (10 토큰) 까지 생성된 후보들을 M10 판별기로 평가하여 상위 후보만 남깁니다.
     • 2 단계: 남은 후보들을 중간 구간 (25 토큰) 까지 확장하고 M25 판별기로 다시 필터링합니다.
     • 3 단계: 최종 구간 (50 토큰) 까지 확장하고, M50 및 그 변형 모델들의 점수를 종합하여 최종 후보를 선택합니다.
• 랭크 집계 (Rank Aggregation): 단일 점수가 아닌, 다양한 해상도에서의 판별기 순위 (Rank) 를 가중 합산하여 가장 자연스러운 시퀀스를 선택합니다.

3. 주요 기여 (Key Contributions)

1. 토큰 레벨 스푸핑 감지 확장: 이산 코덱 시퀀스에 맞춘 다중 해상도 진위성 모델링 접근법을 도입하여, 스푸핑 감지를 단순한 분류가 아닌 생성 가이드 도구로 활용합니다.
2. 재학습 없는 추론 전략: 베이스 코덱 언어 모델을 변경하지 않고, 스푸핑 기반 점수를 활용한 후보 가지치기 및 재순위화 (Reranking) 를 통해 추론 시 품질을 개선합니다.
3. 강건한 성능 입증: 다양한 디코딩 설정과 도전적인 데이터셋 (혀 꼬임 문장 등) 에서 지각적 품질과 강건성이 일관되게 향상됨을 실험적으로 증명했습니다.

4. 실험 결과 (Results)

• 데이터셋: LibriTTS, LibriSpeech, 그리고 복잡한 음운 패턴을 가진 TwistList 벤치마크.
• 객관적 평가:
  • 지각적 품질 (Perceptual Quality): 제안된 방법 (HierEAS) 은 NISQA 와 MOSNet 점수에서 기존 방법 (Original, RAS, EAS) 보다 일관되게 높은 점수를 기록했습니다. 이는 구조적 일관성이 향상되었음을 의미합니다.
  • 가독성 및 화자 유사성: WER(단어 오류율) 와 화자 유사도 (SIM) 는 기존 베이스라인과 유사하거나 경쟁력 있는 수준을 유지하며, 품질 향상 시 정보 전달이나 화자 정체성이 훼손되지 않음을 보였습니다.
  • TwistList 테스트: 혀 꼬임 문장과 같은 어려운 조건에서도 지각적 품질이 가장 높았으며, WER 증가폭이 적어 강건성이 입증되었습니다.
• 주관적 평가 (MOS): 자연스러움 (MOS-N) 과 전체 품질 (MOS-Q) 에서 계층적 방법이 비계층적 방법보다 유의미한 개선을 보였습니다. 화자 유사도 (SMOS) 도 높게 유지되었습니다.
• 판별기 분석: 긴 시퀀스 (L=50) 를 사용하는 모델이 가장 높은 성능을 보였으나, 짧은 시퀀스 (L=10, 25) 모델도 국소적 불일치를 탐지하는 데 유효하여 계층적 접근의 타당성을 뒷받침했습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 MSpoof-TTS를 통해 신경 코덱 기반 음성 합성의 추론 불안정성을 해결하는 새로운 패러다임을 제시합니다.

• 비용 효율성: 모델 재학습이나 복잡한 보상 최적화 없이, 별도의 경량 판별기를 활용하여 고품질 합성을 가능하게 합니다.
• 실용성: 생성된 음성의 자연스러움과 구조적 일관성을 실시간으로 평가하고 개선할 수 있어, 실제 응용 분야에서 신뢰할 수 있는 음성 생성 기술로 자리 잡을 수 있습니다.
• 향후 방향: 스푸핑 감지 기술을 생성 모델의 가이드 도구로 활용한다는 아이디어는 텍스트 생성 등 다른 생성형 AI 분야에도 확장 가능한 통찰을 제공합니다.

결론적으로, 이 연구는 모델 파라미터 수정 없이 다중 해상도 스푸핑 감지기를 통한 계층적 디코딩이 이산 음성 합성의 품질과 강건성을 획기적으로 향상시킬 수 있음을 입증했습니다.