Rethinking Discrete Speech Representation Tokens for Accent Generation

이 논문은 화음 정보와 화자 정보를 넘어 디스크리트 음성 표현 토큰 (DSRTs) 에 내재된 억양 정보를 체계적으로 분석하기 위한 새로운 평가 프레임워크를 제안하고, 계층 선택의 중요성, ASR 감독에 의한 억양 정보 감소, 그리고 코드북 크기 축소의 비효율성 등 주요 발견 사항을 제시합니다.

핵심

이 논문은 **"음성 AI 가 말하는 '사투리'나 '지역 방언'을 어떻게 기억하고 재현하는가?"**에 대한 흥미로운 연구입니다.

기존의 음성 생성 AI 는 목소리의 '톤'이나 '음색'은 잘 따라하지만, 특정한 지역 사투리 (예: 스코틀랜드 억양, 아일랜드 억양) 를 정확히 따라 하려면 애를 먹거나, 아예 엉뚱한 억양을 만들어내는 경우가 많았습니다. 이 연구는 그 원인을 AI 가 소리를 숫자 (토큰) 로 변환하는 과정에서 찾았습니다.

이 복잡한 내용을 쉽게 이해할 수 있도록 요리사와 레시피에 비유해서 설명해 드릴게요.

---

1. 배경: AI 요리사와 '디지털 레시피'

음성 AI 를 거대한 요리사라고 상상해 보세요. 이 요리사는 사람의 목소리를 듣고, 그것을 **디지털 레시피 (Discrete Speech Tokens, DSRT)**라는 숫자 나열로 변환한 뒤, 다시 소리로 요리해 냅니다.

• 기존의 문제: 요리사들이 레시피를 만들 때, '음성 (음절)'과 '목소리 (음색)'는 잘 구분해 두는데, '사투리 (억양)'는 어딘가 뭉개져 있거나 아예 사라져 버리는 것이 발견되었습니다. 그래서 AI 는 "미국식 영어를 말해달라"고 해도, 스코틀랜드 억양을 섞어 말하거나, 전혀 다른 억양을 만들어내는 '환각 (Hallucination)' 현상이 일어나는 것입니다.

2. 연구의 핵심: 레시피의 '층 (Layer)'을 살펴보다

연구팀은 이 디지털 레시피가 만들어지는 공정을 여러 단계 (Layer) 로 나누어 살펴봤습니다. 마치 다층 케이크를 생각하면 쉽습니다.

• 케이크의 아래층 (초기 단계): 소리의 물리적인 파동, 즉 '소리의 질감'이 가장 선명합니다.
• 케이크의 중간층: 소리가 어떤 '단어'인지, 어떤 '음절'인지가 명확해집니다.
• 케이크의 윗층 (후기 단계): 문법이나 의미, 혹은 특정 작업 (예: 글자로 변환하는 작업) 에 최적화된 정보가 담깁니다.

놀라운 발견:
연구팀은 **"사투리 정보는 케이크의 중간층 (Layer 6~9) 에 가장 풍부하게 숨어 있다"**는 사실을 찾아냈습니다.

• 기존의 실수: 많은 AI 모델이 소리를 숫자로 바꿀 때, 케이크의 가장 윗층을 주로 사용했습니다. 문제는 윗층으로 갈수록 '사투리'라는 정보가 사라지고, '의미'나 '작업 효율'만 남는다는 점입니다. 마치 레시피를 만들 때 '재료의 맛 (사투리)'을 다 버리고 '요리 이름 (단어)'만 적어둔 것과 같습니다.

3. 실험: 레시피를 줄인다고 해서 해결될까?

일부 연구자들은 "레시피 (코드북) 의 크기를 줄여서 불필요한 정보를 걸러내면, 사투리와 내용이 자연스럽게 분리될 거야"라고 주장했습니다.

• 비유: "요리 레시피의 분량을 반으로 줄이면, '맛 (사투리)'과 '재료 (내용)'가 저절로 분리될 거야!"라고 말하는 것과 같습니다.
• 결과: 하지만 연구팀은 **"아니요, 그건 안 됩니다"**라고 말했습니다. 레시피 크기를 줄이면 '사투리'만 사라지는 게 아니라, '음성'과 '목소리' 정보까지 함께 망가져 버렸습니다. 이는 레시피를 줄이는 것이 특정 정보를 걸러내는 필터가 아니라, 그냥 정보를 잃어버리는 과정일 뿐임을 보여줍니다.

4. 해결책: 올바른 레시피를 찾아서

연구팀은 이제 AI 가 사투리를 잘 따라 하려면 어떻게 해야 하는지 두 가지 새로운 레시피를 제안했습니다.

1. 사투리 보존 모드 (Accent-Preserving):

   • 목표: 원본 화자의 사투리를 그대로 유지하며 목소리만 바꾸고 싶을 때.
   • 방법: 사투리 정보가 가장 풍부한 **케이크의 중간층 (Layer 9)**에서 레시피를 가져옵니다.
   • 효과: AI 가 스코틀랜드 억양을 가진 사람의 목소리를 흉내 낼 때, 억양까지 완벽하게 따라 합니다.

2. 사투리 적응 모드 (Accent-Adaptive):

   • 목표: 원본의 사투리를 지우고, 새로운 화자의 사투리로 바꾸고 싶을 때.
   • 방법: 사투리 정보가 거의 없는 ASR(음성인식) 학습을 거친 레시피를 사용합니다.
   • 효과: AI 는 원본의 사투리를 잊어버리고, 새로운 화자의 사투리에 맞춰 말을 바꿉니다.

5. 결론: 왜 이 연구가 중요한가?

이 연구는 **"AI 가 사투리를 잘 하려면, 소리를 숫자로 바꿀 때 '어떤 단계'의 정보를 가져와야 하는지"**를 처음으로 체계적으로 증명했습니다.

• 기존의 오해: "단순히 레시피 크기를 줄이거나, 글자로 변환하는 훈련을 시키면 사투리가 잘 분리될 것이다."
• 새로운 진실: "아닙니다. 사투리는 소리의 중간 단계에 숨어 있습니다. 이 정보를 잘 건져내야 AI 가 다양한 억양을 자연스럽게 구사할 수 있습니다."

이제 AI 개발자들은 이 '레시피의 층'을 잘 조절하여, 전 세계의 다양한 사투리를 가진 사람들과 더 자연스럽게 대화할 수 있는 음성 AI 를 만들 수 있게 되었습니다. 마치 요리사가 재료의 본연의 맛을 살려 최고의 요리를 만들어내듯, AI 도 이제 억양의 맛을 잃지 않고 소리를 요리할 수 있게 된 것입니다.

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 이산 음성 표현 토큰 (Discrete Speech Representation Tokens, DSRTs) 은 텍스트 기반 대규모 언어 모델 (LLM) 의 토큰화 방식을 차용하여 음성 생성 (SpeechLM, Zero-Shot TTS 등) 의 핵심 구성 요소로 자리 잡았습니다.
• 문제점:
  • 기존 연구는 DSRT 가 인성 (Speaker) 정보와 음소 (Phonetic) 정보를 어떻게 인코딩하는지에 집중했으나, 화자의 억양 (Accent) 정보가 어떻게 표현되는지는 체계적으로 연구되지 않았습니다.
  • 현재 제로샷 TTS 시스템은 참조 화자의 억양과 다른 '할루시네이션된 억양'을 생성하는 경향이 있으며, 억양 제어에 대한 벤치마크나 평가 체계가 부족합니다.
  • 기존 주장들 (예: 코드북 크기 축소로 억양/스타일 분리, ASR 감독 학습을 통한 억양 제어 등) 은 체계적인 검증 없이 이루어졌습니다.
• 연구 질문:
  1. DSRT 의 설계 선택 (레이어 선택, ASR 감독, 코드북 크기 등) 이 억양 정보 인코딩에 어떤 영향을 미치는가?
  2. 이러한 통찰을 활용하여 음성 변환 (Voice Conversion, VC) 등에서 더 제어 가능한 억양 생성은 어떻게 가능할까?

2. 방법론 (Methodology)

저자들은 억양 정보를 평가하기 위해 **회복성 (Recoverability)**과 접근성 (Accessibility) 두 가지 관점을 통합한 새로운 평가 프레임워크를 제안했습니다.

가. 평가 프레임워크

1. 회복성 (Recoverability) 평가:
   • 교차 억양 음성 변환 (Cross-Accent VC): 소스 화자의 DSRT 와 타겟 화자의 화자 ID(서로 다른 억양) 를 입력으로 사용하여 합성 음성을 생성합니다.
   • 측정 지표: 생성된 음성이 소스 화자의 억양을 얼마나 잘 유지하는지 (Accent Similarity), 타겟 화자의 화자 특성을 얼마나 잘 반영하는지 (Speaker Similarity), 그리고 발음의 정확도 (Phonetic Similarity, PPG) 를 객관적 지표로 측정합니다.
2. 접근성 (Accessibility) 평가:
   • 새로운 Accent ABX 태스크: 기존 ABX (Audio-Phonetic-Phonetic) 평가를 억양에 적용합니다.
   • 구현: 동일한 단어이지만 서로 다른 억양으로 발음된 세 가지 샘플 (a, b, x) 을 구성하여, 모델이 억양 차이를 얼마나 잘 구별하는지 (Discriminability) 를 측정합니다. 억양이 가장 두드러지게 나타나는 단어들을 데이터 기반 (GenAID 모델 활용) 으로 선별하여 민감도를 높였습니다.

나. 실험 설정

• DSRT 추출: HuBERT, HuBERT-ASR(파인튜닝), Whisper 등 다양한 음성 표현 모델의 여러 레이어에서 추출.
• 양자화: RepCodec 을 사용하여 VQ(Vector Quantization) 적용.
• 데이터: VCTK 코퍼스 (다양한 영어 억양 포함) 및 LibriSpeech 사용.

3. 주요 기여 (Key Contributions)

1. DSRT 내 억양 정보에 대한 최초의 체계적 조사: 억양 정보가 DSRT 의 어떤 레이어와 설계 요소에 의해 인코딩되는지 규명했습니다.
2. 새로운 평가 프레임워크 제안: 억양 정보의 '접근성'을 측정하기 위한 Accent ABX와 '회복성'을 측정하기 위한 교차 억양 VC를 결합한 통합 평가 파이프라인을 구축했습니다.
3. 기존 주장에 대한 반증 및 새로운 설계 가이드라인 제시:
   • 단순한 코드북 크기 축소만으로는 억양과 음소/화자 정보를 효과적으로 분리할 수 없음을 증명했습니다.
   • ASR 감독 학습이 억양 정보를 크게 손실시킨다는 것을 밝혔습니다.
   • 억양 보존 (Accent-preserving) 과 억양 적응 (Accent-adaptive) 을 위한 최적의 DSRT 설계 (레이어 선택 및 토큰 타입) 를 제안했습니다.

4. 실험 결과 (Results)

가. 레이어 선택의 중요성

• HuBERT 모델에서:
  • 억양 정보: 중간~초반 레이어 (L6, L9) 에서 가장 잘 회복되고 접근 가능합니다. (화자 정보는 초기 레이어, 음소 정보는 중후반 레이어에서 우세함).
  • 발견: 억양 정보는 저수준의 아쿠스틱 처리 후 나타나지만, 고수준의 추상화 레이어로 갈수록 점차 소실됩니다.
• ASR 감독의 영향: ASR 로 파인튜닝된 HuBERT-ft 나 Whisper 는 비감독 HuBERT 에 비해 억양 정보의 회복성과 접근성이 전반적으로 낮습니다. 특히 깊은 레이어에서 억양 정보가 크게 손실됩니다.

나. 코드북 크기 축소의 한계

• Vevo 등의 주장 반박: 코드북 크기를 줄이는 것 (예: 8192 → 32) 은 억양, 화자, 내용 정보를 분리 (Disentanglement) 하는 데 효과적이지 않습니다.
• 결과: 코드북 크기를 줄이면 억양 정보뿐만 아니라 화자 정보와 음소 정보도 함께 감소합니다. 이는 VQ 병목 현상이 특정 기능의 필터가 아니라 모든 정보에 대한 손실 압축기로 작용함을 의미합니다.

다. 제안된 토큰의 성능

• Content-Accent Token (억양 보존용): HuBERT L9 레이어와 큰 코드북 (8192) 을 사용하여 억양 정보를 풍부하게 포함하도록 설계.
• Content Token (억양 적응용): HuBERT-ft L18 레이어와 작은 코드북 (256) 을 사용하여 억양 정보를 최소화하고 내용만 전달하도록 설계.
• 성능: 기존 Vevo 의 'Content-style' 토큰보다 객관적 지표 (Accent COS-SIM, WER 등) 와 주관적 평가 (MOS) 에서 모두 우수한 성능을 보였습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 이론적 통찰: 억양 정보는 화자 정보나 음소 정보와 달리 DSRT 의 특정 레이어 (중간~초반) 에 집중되어 있으며, ASR 감독 학습은 이를 제거한다는 사실을 규명했습니다.
• 실용적 기여:
  • ZS-TTS 시스템에서 발생하는 '억양 할루시네이션'의 원인을 설명 (억양 정보가 회복되지 않는 깊은/감독된 레이어를 사용함).
  • 제안된 설계: 억양을 보존해야 하는 경우 (Source accent 유지) 와 타겟 억양에 적응해야 하는 경우 (Target accent 적용) 에 따라 다른 레이어와 토큰 설정을 사용해야 함을 제시했습니다.
• 미래 방향: 억양과 화자 특성이 완전히 분리 (Disentangled) 되기 어렵다는 점을 인정하며, 명시적인 억양 분류 감독 학습 등의 추가 연구가 필요함을 강조했습니다.

이 논문은 음성 생성 모델이 다양한 억양을 정확하게 제어하고 생성하기 위해서는 단순히 토큰 크기를 조절하는 것이 아니라, 어떤 레이어의 표현을 사용하며, 어떤 목적 (억양 보존 vs 적응) 에 맞춰 설계해야 하는지에 대한 근본적인 재고를 요구합니다.