AccentBox: Towards High-Fidelity Zero-Shot Accent Generation

기술 요약: AccentBox: 고충실도 제로샷 악센트 생성을 향하여

1. 문제 정의

최근 제로샷 텍스트 음성 변환(Zero-Shot TTS, ZS-TTS)의 발전은 높은 자연스러움과 화자 유사성을 달로 성, 미학습된 화자의 목소리를 짧은 오디오 클립으로부터 합성할 수 있게 했습니다. 그러나 기존 시스템들은 대개 악센트의 변화를 간과하며, 명시적인 악센트 조건화 없이 편향된 데이터셋(예: 미국 영어)으로 학습되는 경우가 많습니다. 이는 낮은 악센트 충실도와 생성된 악센트에 대한 제어 능력의 부재로 이어집니다.

현재의 악센트 음성 생성 접근 방식은 세 가지 범주로 나뉘며, 각각은 다음과 같은 상당한 한계를 가집니다:

• 외국어 악센트 변환 (Foreign Accent Conversion, FAC): L2 악센트를 L1 악센트로 변환하지만, 임의의 텍_스트나 미학습된 악센트 쌍을 처리할 수 없습니다.
• 악센트 TTS (Accented TTS): 악센트가 있는 음성을 생성하지만, 이미 확인된 화자와 악센트로 제한됩니다.
• 표준 ZS-TTS (Standard ZS-TTS): 미학습된 화자의 음성을 생성하지만, 악센트를 제어하거나 정확하게 재현하는 데 실패하며, 종종 악센트 환각(hallucination)이나 불일치 현상이 발생합니다.

또한, **화자-악센트 엉킴(speaker-accent entanglement)**에 관한 중요한 연구 공백이 존재합니다. 악센트 식별(AID)과 ZS-TTS 모두에서, 모델은 종종 화자의 정체성과 악센트를 혼동하여 미학습 화자에게 일반화하지 못하거나 두 속성을 분리하는 데 실패합니다. 아울러, 기존 벤치마크는 데이터 누수(학습 및 테스트 세트 간의 화자 중복) 문제를 겪고 있어, AID 모델의 진정한 일반화 능력을 가리는 경우가 많습니다.

2. 방법론

저자들은 FAC, 악센트 TTS, 그리고 ZS-TTS를 단일 제로샷 악센트 생성(Zero-Shot Accent Generation) 작업으로 통합하는 새로운 2단계 파이프라인인 AccentBox를 제안합니다. 이 작업은 단일 오디오 클립으로부터 임의의 음성 내용(content)을 주어진 특정 목소리와 악센트로 생성하는 것을 목표로 합니다.

1단계: 일반화 가능한 악센트 식별 (GenAID)

첫 번째 단계는 화자에 의존하지 않는 연속적인 악센트 임베딩을 추출하는 데 집중합니다. 저자들은 화자-악센트 엉킴 문제를 극복하기 위해 XLSR 인코더를 기반으로 개선된 AID 모델인 GenAID를 제안합니다. 주요 수정 사항은 다음과 같습니다:

1. 미학습 화자에 대한 검증: 화자-악센트 매핑을 암기하는 것을 방지하기 위해, 학습 세트에 존재하지 않는 화자들만을 대상으로 모델을 검증합니다.
2. 가중치 샘플링: 악센트 레이블 분포의 불균형 문제를 해결하기 위해, 악센트 빈도에 반비례하는 확률로 샘 sampling을 수행합니다.
3. 데이터 증강: 녹음 환경에 대한 강건성을 높이기 위해 속도 및 노이즈 섭동(perturbation)을 적용합니다.
4. 정보 병목 (Information Bottleneck): 2계층 MLP를 사용하여 고차원 인코더 출력을 저차원(64차원) 임베딩으로 매핑함으로써 중복된 정보를 제거합니다.
5. 적대적 학습 (Adversarial Training): 모델이 균등 분포(uniform distribution)에 대해 평균 제곱 오차(MSE) 손실을 갖도록 학습시켜 화자 정체성에 대해 최대한 불확실하게 만듦으로써, 화자 정보와 악센트 특징을 효과적으로 분리합니다.

2단계: 제로샷 악센트 생성 (AccentBox)

두 번째 단계는 사전 학습된 GenAID 임베딩을 사용하여 ZS-TTS 시스템(YourTTS 기반)에 조건을 부여합니다.

• 아키텍처: 이 시스템은 표준 원-핫(one-hot) 언어 임베딩을 연속적인 GenAID 악센트 임베딩으로 대체합니다. 이 임베딩은 트랜스포머 텍스트 인코더(Transformer Text Encoder)와 확률적 지속 시간 예측기(Stochastic Duration Predictor) 모두에 조건을 부여합니다.
• 추론 시나리오: 시스템은 세 가지 모드를 지원합니다:
  • 내재적 생성 (Inherent Generation): 대상 화자의 자연스러운 악센트로 음성 생성.
  • 교차 악센트 생성 (Cross-Accent Generation): 지정된 다른 악센트를 가진 대상 화자의 목소리 생성.
  • 미학습 악센트 생성 (Unseen Accent Generation): 학습 중에 보지 못한 악센트로 음성 생성.

3. 주요 기여

본 논문은 다음과 같은 기여를 주장합니다:

• 작업 정의: FAC, 악센트 TTS, 표준 ZS-TTS의 능력을 하나로 통합하는 제로샷 악센트 생성 작업을 도입했습니다.
• 벤치마킹: 이 작업을 위한 첫 번째 벤치마크를 구축하였으며, 여기에는 AID 데이터/모델에서의 화자-악센트 엉킴 검증 및 정량화, 그리고 ZS-TTS에서의 악센트 불일치/환각 문제 식별이 포함됩니다.
• 새로운 분리 기술: 정보 병목과 적대적 학습을 사용하여 화자-악센트 분리를 구현함으로써, 화자에 의존하지 않는 악센트 임베딩을 달성했습니다.
• 시스템 성능: TTS 학습 데이터 내에 사전에 수집된 악센트 레이블에 의존하지 않고도 고충실도 제로샷 악센트 생성이 가능한 시스템을 입증했습니다.

4. 실험 결과

GenAID 성능

• 분류: 미학습 화자(13개 악센트 분류)에 대해, 최상의 GenAID 시스템은 F1 점수 0.56 및 정확도 0.56을 달성하여, 무작위 베이스라인(0.08) 및 이전 시스템들을 크게 상회했습니다.
• 일반화: 학습된 화자와 미학습 화자 사이의 정확도 격차가 베이스라인의 0.53에서 제안된 모델의 0.06으로 감소하였으며, 이는 우수한 일반화 능력을 나타냅니다.
• 분리(Disentanglement): 화자 클러스터에 대한 실루엣 계수(SCSC)가 0.236에서 0.079로 떨어졌으며, 이는 악센트 임베딩 내에 잔류하는 화자 정보가 감소했음을 확인해 줍니다.

AccentBox 성능

• 객관적 평가 (내재적 및 교차 악센트): 제안된 시스템은 VALL-E X 및 표준 YourTTS 베이스라인과 비교하여 가장 높은 악센트 코사인 유사도(AccCos) 점수(내재적 0.9336, 교차 악센트 0.9067)를 기록했습니다.
• 주관적 평가 (내재적):
  • 악센트 유사도: 제안된 시스템은 베이스라인(미국 영어 69.1%, 아일랜드 영어 61.3%) 및 Accent_ID 시스템(미국 영어 57.4%, 아일랜드 영어 65.7%)보다 선호되었습니다.
  • 화자 유사도: 선호도는 엇갈렸습니다. 시스템은 베이스라인보다는 선호되었으나, 객관적인 화자 코사인 유사도는 더 낮게 나타났는데, 이는 ASR 편향 또는 악센트와 정체성을 구분하는 청취자의 어려움 때문일 수 있습니다.
  • 자연스러움: 제안된 시스템은 미국 영어 악센트에 대해서는 베이스라인보다 뛰어난 성능을 보였으나, 아일랜드 영어에 대해서는 낮은 선호도를 보였습니다. 이는 아일랜드 영어의 제한된 학습 데이터와 운율(prosody)에 대한 민감도 때문인 것으로 분석됩니다.
• 주관적 평가 (교차 악센트): 제안된 시스템은 이산적인 원-핫 레이블에 의존하여 일관성이 부족한 Accent_ID 시스템보다 우수한 악센트 충실도(미국 영어 70.0%, 아일랜드 영어 61.7% 선호)를 보여주었습니다.

5. 의의 및 주장

본 논문은 AccentBox를 포용적인 음성 기술을 위한 중요한 진전으로 자리매김합니다. 화자-악센트 엉킴 문제를 해결함으로써, 저자들은 다음과 같은 시스템을 구축했다고 주장합니다:

1. 모국어 화자의 언어적 정체성을 보존하고, 비모국어 화자가 모국어 악센트에 순응해야 하는 압박을 완화합니다.
2. 개인화된 가상 비서, 영화 더빙, 컴퓨터 보조 발음 학습(CAPT) 등의 응용 분야를 가능하게 합니다.
3. 화자와 악센트를 별도로 제어할 수 있게 하여, TTS 학습 데이터 내에 사전에 수집된 악센트 레이블 없이도 미학습 악센트와 목소리를 생성할 수 있게 합니다.

저자들은 본 시스템이 유망한 결과를 보여주지만, L2 악센트 생성/변환을 실험하고 자연스러움의 차이를 더 잘 이해하기 위한 평가 방법을 개선하기 위해 향후 연구가 필요하다고 언급했습니다.