Controllable Accent Normalization via Discrete Diffusion

이 논문은 자기지도 학습 음성 토큰을 기반으로 한 마스킹 이산 확산 모델을 활용하여, 원본 발음 토큰의 재사용 비율을 조절함으로써 억양 강도를 제어할 수 있는 새로운 억양 정규화 시스템 DLM-AN 을 제안하고 있습니다.

핵심

🎨 1. 핵심 아이디어: "회색빛 사진의 색을 조절하는 마법"

상상해 보세요. 외국인이 영어를 말할 때의 억양은 회색빛이 섞인 사진과 같습니다.

• 완전한 억양 제거 (Normalization): 회색을 완전히 지우고 선명한 원색 (네이티브 억양) 으로 바꿉니다. 하지만 이때 원래 사진의 분위기 (화자의 목소리 특징) 가 사라질 수 있습니다.
• 기존 기술의 한계: 과거 기술은 "회색을 다 지우거나", "그냥 두거나"만 가능했습니다. "회색을 30% 만 지우자" 같은 세밀한 조절은 못 했습니다.

이 논문에서 제안한 DLM-AN은 **"회색 정도를 조절할 수 있는 필터"**를 개발한 것입니다.

• "조금만 영어 억양을 없애고, 한국인 특유의 말투는 살려줘"
• "거의 다 없애고, 목소리 톤만 비슷하게 해줘"
  이런 요청을 AI 가 정확히 들어줄 수 있게 된 것입니다.

🧩 2. 작동 원리: "레고 블록을 섞는 게임"

이 기술은 말을 **작은 레고 블록 (토큰)**으로 쪼개서 다룹니다.

1. 공통 블록 찾기 (Common Token Predictor):

   • 외국인이 "My name is..."라고 말할 때, "My"나 "is" 같은 단어는 네이티브 화자와 발음이 비슷할 수 있습니다. 하지만 "name"을 발음할 때 억양이 섞여 있을 수 있죠.
   • AI 는 **"이 블록은 원래 네이티브 발음과 비슷하니까 그대로 쓰자"**라고 판단하는 '스마트한 눈'을 가지고 있습니다. 이를 공통 블록 예측기라고 부릅니다.

2. 조절 가능한 재사용 (Controllable Reuse):

   • 억양을 많이 남기고 싶다면? → 네이티브 발음과 비슷한 블록들을 대부분 가져다 씁니다. (원래 말투가 많이 남음)
   • 억양을 완전히 없애고 싶다면? → 모든 블록을 버리고 처음부터 다시 짓습니다. (완전한 네이티브 억양)
   • 중간을 원한다면? → 비슷한 블록은 가져다 쓰고, 다른 블록은 새로 만듭니다.

이 과정은 마치 레고로 성을 다시 지을 때, 기존 성벽 중 튼튼한 벽돌은 그대로 두고, 망가진 벽돌만 갈아끼우는 작업과 같습니다. 사용자가 "몇 개의 벽돌을 갈아끼울지" 정하면 AI 가 알아서 해줍니다.

⏱️ 3. 리듬 조절: "템포 맞추기"

억양뿐만 아니라 **말하는 속도 (리듬)**도 중요합니다.

• 외국인이 영어를 말할 때는 네이티브보다 천천히 말하거나, 특정 단어를 길게 늘리는 경우가 많습니다.
• 이 시스템은 **"전체 길이를 얼마나 늘릴지/줄일지"**를 자동으로 계산하는 리듬 조절기도 함께 가지고 있습니다.
• 마치 음악 편집 프로그램에서 비트 (BPM) 를 조절하듯, 억양을 바꾸면서도 자연스러운 말의 흐름을 유지해줍니다.

🏆 4. 왜 이 기술이 특별한가요?

기존 기술들은 억양을 바꾸면 화자의 목소리 특징 (누구의 목소리인지) 이 사라지거나, 단어 발음이 틀려지는 (오인식) 문제가 있었습니다.

하지만 이 새로운 기술 (DLM-AN) 은:

1. 가장 정확한 발음: 다른 어떤 기술보다도 단어를 틀리지 않고 정확하게 인식합니다 (WER 최저).
2. 자연스러운 목소리: 억양을 바꾸더라도 원래 화자의 목소리 톤이 살아있습니다.
3. 완벽한 조절: "조금만", "반만", "완전히"처럼 억양을 남기는 정도를 연속적으로 조절할 수 있습니다.

💡 5. 실생활에서의 활용 예시

이 기술이 완성되면 어떤 일이 가능할까요?

• 언어 학습: "내 영어 발음이 너무 어색해서 네이티브처럼 고쳐줘"라고 하면, 완벽하게 고쳐주는 버전과 내 특색을 살려주면서 자연스럽게 고쳐주는 버전을 동시에 들을 수 있습니다.
• 영화 더빙: 외국 배우의 목소리를 한국어로 더빙할 때, 배우의 개성 (목소리 톤) 은 살리면서 한국인이 알아듣기 쉽게 억양만 다듬을 수 있습니다.
• 개인 비서: 내 목소리로 영어를 말하되, 상황에 따라 "격식 있는 네이티브 스타일"이나 "친근한 내 스타일"로 바꿔서 말할 수 있습니다.

📝 요약

이 논문은 "외국인의 억양을 완전히 지우는 것"에서 "사용자가 원하는 만큼 억양을 조절하는 것"으로 패러다임을 바꾼 기술입니다.

마치 사진 필터처럼 "얼마나 원본에 가깝게 할지" 슬라이더를 움직이면, AI 가 알아서 가장 자연스러운 억양을 만들어주는 마법 같은 도구라고 생각하시면 됩니다.

기술 요약

1. 문제 정의 (Problem)

기존의 억양 정규화 (Accent Normalization, AN) 기술은 비원어민 (L2) 억양을 원어민 (L1) 억양으로 변환하는 데 초점을 맞추고 있으나, 억양의 강도 (strength) 를 사용자가 조절할 수 있는 기능이 부재했습니다.

• 필요성: 언어 학습 (점진적인 억양 교정) 이나 더빙 (원래 화자의 정체성을 일부 유지하면서 억양만 수정) 등 다양한 응용 분야에서 억양을 완전히 제거하거나, 반대로 원본의 특징을 어느 정도 유지하면서 조절할 수 있는 유연성이 요구됩니다.
• 기존 방법의 한계:
  • 기존 방법들은 대부분 '완전한' 억양 변환만 지원하거나, 연속 확산 (continuous diffusion) 기반의 프레임 단위 접근법을 사용하여 리듬 조절이나 세밀한 억양 강도 제어에 한계가 있었습니다.
  • TTS 기반 타겟 생성은 음성 클로닝 및 지속 시간 모델링 오차로 인해 품질이 제한될 수 있습니다.

2. 제안 방법론 (Methodology: DLM-AN)

저자들은 **자가 지도 학습 (Self-Supervised) 음성 토큰을 기반으로 한 마스킹 이산 확산 (Masked Discrete Diffusion)**을 활용한 DLM-AN 시스템을 제안합니다. 이 시스템은 LLaDA(확산 언어 모델) 를 음성 처리에 확장한 것입니다.

핵심 구성 요소 및 프로세스

1. 자가 지도 학습 토큰화 (SSL Tokenization):

   • WavLM 을 사용하여 L2 억양 음성을 이산적인 (discrete) 토큰 시퀀스로 변환합니다.
   • CTC 기반의 토큰 인코더를 통해 음소 (phoneme) 정보를 포함한 연속적인 콘텐츠 표현 (content representations) 을 생성합니다.

2. 공통 토큰 예측기 (Common Token Predictor, CTP):

   • 핵심 아이디어: 동일한 발화라도 억양에 따라 발음되는 영역 (native regions) 과 억양이 영향을 미치는 영역 (accent-affected regions) 이 다릅니다.
   • CTP 는 소스 토큰이 원어민 타겟과 공유될 확률 (신뢰도 점수) 을 예측합니다.
   • 제어 메커니즘: 높은 신뢰도를 가진 소스 토큰을 재사용 (reuse) 하여 역확산 (reverse diffusion) 과정을 초기화합니다.
     • 재사용 토큰 많음: 원본 억양이 많이 유지됨 (Accent Retention).
     • 재사용 토큰 없음: 처음부터 모든 토큰을 생성 (Full Normalization).
   • 이를 통해 사용자는 임계값 (threshold) 을 조절하여 억양 강도를 부드럽고 해석 가능하게 제어할 수 있습니다.

3. 지속 시간 비율 예측기 (Duration Ratio Predictor, DP):

   • 유동 매칭 (Flow-matching) 기반의 예측기로, L2 발화의 리듬과 원어민 발화의 리듬 차이를 보정하기 위해 전체 지속 시간의 비율을 자동으로 예측하거나 사용자가 지정할 수 있게 합니다.

4. 확산 디코더 (DLM Decoder):

   • 마스킹된 토큰 시퀀스를 콘텐츠 표현과 조건부 (conditional) 로 학습된 bidirectional Transformer 를 통해 반복적으로 예측하여 완성합니다.
   • 분류기 없는 안내 (Classifier-Free Guidance, CFG) 를 사용하여 콘텐츠 보존 능력을 강화합니다.

5. 음성 합성 (Token-to-Speech):

   • 생성된 타겟 토큰 시퀀스를 유동 매칭 합성기와 HiFT 보코더를 통해 최종 파형으로 변환합니다.

3. 주요 기여 (Key Contributions)

1. 이산 확산 기반 최초의 억양 정규화 시스템: 음소 기반 콘텐츠 표현에 조건부로 반복적인 토큰 생성을 가능하게 하는 새로운 아키텍처를 제안했습니다.
2. 해석 가능한 억양 강도 제어: 공통 토큰 예측기 (CTP) 를 도입하여, 소스 토큰의 재사용 비율을 통해 억양 강도를 부드럽게 조절할 수 있는 메커니즘을 제공했습니다.
3. 최고의 성능 달성: 다중 억양 영어 데이터셋에서 비교된 모든 시스템 대비 **최저의 단어 오류율 (WER)**을 기록하면서도, 경쟁력 있는 자연스러움과 억양 감소 효과를 보여주었습니다. 또한, 지속 시간 조절에 대한 강건성을 입증했습니다.

4. 실험 결과 (Results)

• 데이터셋: Emilia-EN, LibriTTS-R, L2-ARCTIC 등 다양한 영어 억양 데이터 (아랍어, 중국어, 힌디어, 한국어, 스페인어, 베트남어 억양 포함).
• 주요 지표:
  • WER (Word Error Rate): DLM-AN 이 모든 비교 시스템 (TokAN, CosyAccent 등) 보다 가장 낮은 WER 을 기록하여 콘텐츠 보존 능력이 가장 뛰어났습니다.
  • 억양 감소 (Accent Reduction): 억양 강도 조절이 가능한 DLM-AN-2 (τ=1.0, 모든 토큰 재생성) 는 가장 낮은 ACT (Accentedness) 점수를 보이며 가장 효과적인 억양 제거를 달성했습니다.
  • 제어 가능성: CTP 임계값 (τ) 을 1.0 에서 0.0 으로 낮추면, 원본 토큰 재사용이 증가하여 ACT 점수가 점진적으로 상승하고 (억양 유지), 화자 유사도 (SIM) 도 향상되는 것을 확인했습니다. 이는 사용자가 억양 강도를 연속적으로 조절할 수 있음을 의미합니다.
  • 지속 시간 조절: DLM-AN 은 압축 (duration ratio < 1.0) 상황에서도 다른 시스템 (TokAN 등) 보다 WER 증가폭이 적어 지속 시간 조절에 더 강건함을 보였습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 억양 변환 기술에 '제어 가능성 (Controllability)'이라는 새로운 차원을 추가했습니다.

• 기술적 의의: 연속 확산 대신 이산 확산 (Discrete Diffusion) 을 음성 처리에 적용하여 토큰 수준의 정밀한 제어를 가능하게 했으며, CTP 를 통한 직관적인 억양 강도 조절 메커니즘을 제안했습니다.
• 실용적 가치: 언어 학습자가 단계적으로 발음을 교정하거나, 더빙 작업에서 화자의 개성을 유지하면서 억양만 자연스럽게 수정하는 등 다양한 응용 분야에서 유연하게 활용될 수 있습니다.
• 향후 과제: 현재 인식 기반 토큰 인코더의 오류 전파 문제, 마스킹 해제 과정에서의 반복 발음 현상, 그리고 L2 데이터 학습을 통한 모델 강건성 향상 등이 향후 연구 과제로 제시되었습니다.

요약하자면, DLM-AN은 억양을 단순히 '제거'하는 것을 넘어, 사용자가 원하는 수준까지 조절할 수 있는 차세대 억양 정규화 솔루션을 제시한 획기적인 연구입니다.