Lexical Tone is Hard to Quantize: Probing Discrete Speech Units in Mandarin and Yorùbá

이 논문은 자기지도학습 기반의 이산 음성 단위 (DSU) 가 양자화 과정에서 음소 구조는 잘 포착하지만 어조와 같은 초분절적 정보는 손실되는 한계를 드러냈으며, 이를 해결하기 위해 잔여 표현에 대한 추가 클러스터링과 같은 어조 인식형 양자화 기법의 필요성을 제시합니다.

핵심

이 논문은 **"음성 AI 가 말을 할 때, '말의 맛 (억양/성조)'을 잃어버리는 이유"**와 그 해결책에 대한 이야기입니다.

한마디로 요약하면: "AI 가 소리를 숫자 (코드) 로 바꿀 때, '어떤 소리인지 (자음/모음)'는 잘 기억해내지만, '어떻게 말했는지 (높낮이/성조)'는 잊어버리는 문제가 있습니다. 하지만 이 문제를 해결할 새로운 방법이 있습니다."

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 문제: "소리를 압축하다 보니 '맛'이 사라졌다"

우리가 말을 할 때, 두 가지 정보가 섞여 있습니다.

1. 단어 자체의 정보 (자음/모음): "사과"인지 "배"인지 구분하는 소리.
2. 억양/성조의 정보 (Suprasegmental): "사과?" (의문) 인지 "사과." (명령) 인지, 혹은 중국어/한국어처럼 높낮이로 뜻이 바뀌는 정보.

이 논문에서 연구자들은 AI 가 소리를 **이산적 음성 단위 (DSU)**라는 '숫자 코드'로 변환하는 과정을 다뤘습니다. 마치 고해상도 사진을 JPEG 로 압축하는 것과 비슷합니다.

• 현실: AI 는 사진을 압축할 때 '사과'라는 물체의 윤곽선 (자음/모음) 은 아주 잘 기억해냅니다. 하지만 사진의 '빛의 반사나 그림자 (성조/억양)' 같은 미세한 디테일은 압축 과정에서 사라지거나 흐려집니다.
• 결과: 중국어 (만다린) 나 요루바어 (나이지리아 언어) 처럼 높낮이 (성조) 로 뜻이 달라지는 언어에서 AI 가 만든 숫자 코드는 "무슨 단어인지"는 알 수 있어도, "정확히 어떤 뜻인지 (성조)"를 구별하기가 매우 어렵다는 것이 발견되었습니다.

비유: 마치 레시피를 적을 때는 "소금 1 큰술" (자음/모음) 은 정확히 적어주지만, "약간 짭조름하게" (성조/억양) 같은 미묘한 맛 조절은 압축 과정에서 "그냥 적당히"로 변해버리는 상황입니다.

2. 원인: 왜 성조는 잊어버릴까?

AI 가 소리를 분석할 때, **소리의 크기 (자음/모음 차이)**가 **높낮이 (성조 차이)**보다 훨씬 크고 뚜렷합니다.

• 비유: 거대한 **산 (자음/모음 정보)**과 그 위에 올라간 작은 **꽃 (성조 정보)**을 상상해 보세요.
• AI 가 이 풍경을 압축할 때, 거대한 산을 먼저 묘사하느라 바쁘고, 그 위에 핀 작은 꽃은 압축 과정에서 잘려나가거나 무시당하기 쉽습니다.
• 기존의 방식 (K-means 라는 알고리즘) 은 이 '산'과 '꽃'을 한 번에 다 담으려다 보니, 산을 잘 표현하느라 꽃의 디테일은 희생되는 것입니다.

3. 해결책: "두 번 나누어 담기 (Residual K-means)"

연구자들은 이 문제를 해결하기 위해 **"한 번에 다 담지 말고, 단계별로 나누어 담자"**는 아이디어를 제안했습니다.

• 기존 방식 (한 번에): 산과 꽃을 한 바구니에 모두 넣고 "이게 뭐야?"라고 묻습니다. AI 는 산만 보고 "아, 산이야!"라고 대답하고 꽃은 잊어버립니다.
• 새로운 방식 (두 번 나누기):
  1. 1 단계 (산 먼저 담기): 먼저 거대한 '산 (자음/모음)'만 골라내어 바구니에 담습니다. (이제 산은 다 담겼습니다.)
  2. 2 단계 (꽃 담기): 산을 빼고 남은 것 (잔여물, Residual) 을 살펴봅니다. 여기에는 이제 '꽃 (성조)'만 남았습니다. 이 꽃을 따로 또 바구니에 담습니다.

이렇게 자음/모음 정보와 성조 정보를 분리해서 압축하면, AI 는 두 번째 단계에서 성조 정보를 훨씬 더 정확하게 기억해낼 수 있게 됩니다.

비유: 옷장 정리를 할 때, "옷 (산)"과 "보석 (꽃)"을 섞어서 한 상자에 넣으면 보석이 묻히기 쉽습니다. 하지만 먼저 옷을 따로 정리한 뒤, 남은 공간에 보석을 깔끔하게 넣으면 보석이 훨씬 잘 보입니다.

4. 실험 결과: 언어마다 다른 성공 비결

연구진은 중국어 (만다린) 와 요루바어 두 가지 언어로 실험했습니다.

• 중국어 (만다린): 소리의 흐름이 복잡하고 길게 이어지는 '곡선형 성조'를 사용합니다. 이 언어에는 **여러 단계로 나누어 압축하는 방식 (RVQ)**이 가장 잘 통했습니다. (산과 꽃을 여러 층으로 나누어 정리하는 것)
• 요루바어: 소리가 짧고 명확한 '수평형 성조'를 사용합니다. 이 언어에는 **산과 꽃을 분리하는 방식 (Residual K-means)**이 가장 효과적이었습니다.

5. 결론: 왜 이 연구가 중요한가?

이 연구는 단순히 "성조가 잘 안 들린다"는 것을 지적하는 것을 넘어, 미래의 AI 음성 기술이 더 자연스러워지기 위한 방향을 제시합니다.

• 현재: AI 가 중국어나 아프리카 언어를 말할 때, 뜻은 맞는데 억양이 어색해서 "외국인이 한국어를 할 때처럼" 들리는 경우가 많습니다.
• 미래: 이 연구에서 제안한 **'성조 인지형 압축 기술'**을 적용하면, AI 가 더 자연스럽고 정확한 억양으로 말을 할 수 있게 됩니다.
• 의의: 이는 번역기나 음성 합성 (TTS) 기술이 언어의 장벽을 넘어, 더 많은 사람들이 자연스럽게 소통할 수 있게 만드는 핵심 열쇠가 될 것입니다.

한 줄 요약:

"AI 가 소리를 압축할 때 '큰 소리 (자음)'만 보고 '작은 소리 (성조)'를 잊어버리는 문제를, '큰 것부터 먼저 정리하고, 남은 작은 것 (성조) 을 따로 정리하는' 새로운 방식으로 해결할 수 있다는 것을 발견했습니다."

기술 요약

논문 요약: 어휘성조 (Lexical Tone) 의 양자화 난이도: 만다린과 요루바어에서의 이산 음성 단위 (DSU) 탐지

1. 문제 제기 (Problem)

• 배경: 자기지도 학습 (SSL) 모델을 통해 얻은 연속적인 잠재 표현 (latent representations) 을 이산 음성 단위 (Discrete Speech Units, DSU) 로 양자화 (quantisation) 하는 것은 텍스트 - 음성 합성 (TTS) 및 대화 시스템 등 다양한 다운스트림 작업에 필수적입니다.
• 핵심 문제: 기존 연구와 본 논문의 실험 결과에 따르면, DSU 로의 양자화 과정은 음소 (segmental) 정보는 잘 보존하지만, 성조 (suprasegmental) 정보는 크게 왜곡되거나 손실됩니다.
• 특정 언어: 만다린 (Mandarin, 곡선성조) 과 요루바어 (Yor`ub´a, 평탄성조) 와 같은 성조 언어에서 이 현상이 두드러지게 나타납니다.
• 가설: SSL 잠재 공간 내에서는 성조 정보가 잘 인코딩되어 있지만, K-means 와 같은 일반적인 양자화 방법은 음소적 구조를 우선시하여 성조 정보를 상대적으로 덜 중요하게 처리합니다.

2. 방법론 (Methodology)

• 데이터:
  • 만다린: AISHELL-1 데이터셋 (170 시간, 400 화자).
  • 요루바어: BibleTTS 데이터셋 (93 시간, 단일 화자).
  • 두 언어 모두 모음 (vowel) 중심의 성조 실현을 공유하므로, 음소 정렬 (phonetic alignment) 을 기반으로 모음 세그먼트를 추출하여 분석했습니다.
• SSL 모델:
  • 만다린: MandarinHuBERT.
  • 요루바어: AfriHuBERT (아프리카 1,226 개 언어로 학습된 mHuBERT-147 확장).
  • 이러한 모델들은 양자화 전까지 음소 및 성조 정보를 잘 인코딩하는 것으로 확인되었습니다.
• 실험 설계 (Probing):
  • 목표: 다양한 양자화 전략이 성조와 음소 정보를 얼마나 잘 보존하는지 평가.
  • 평가 지표: 성조 및 음소 식별을 위한 탐지기 (probing classifier, LSTM 또는 로지스틱 회귀) 의 Weighted F1 점수.
  • 변수: 양자화 방법 (데이터와 SSL 모델은 고정).
• 비교 대상 양자화 기법:
  1. Classic K-means: 프레임 단위의 잠재 벡터에 직접 적용 (기존 표준).
  2. Neural Vector Quantisation (VQ): RepCodec 아키텍처 기반의 재구성 목적 함수를 사용하는 신경망 양자화.
  3. Residual VQ (RVQ): 다중 레벨의 잔차 (residual) 클러스터링을 수행 (예: 250×2, 125×4).
  4. SVC (Segmentation-Variant Codebooks): 프레임 레벨과 세그먼트 레벨의 중심점을 평균화하여 융합.
  5. Residual K-means (제안):
     • 1 단계: 평균 풀링된 음소 세그먼트에 K-means 적용 (K=50, 음소 식별용).
     • 2 단계: 원본 잠재 벡터에서 1 단계 중심점을 뺀 **잔차 (residual)**에 대해 다시 K-means 적용 (K=450, 성조 정보 추출용).

3. 주요 결과 (Key Results)

• 양자화의 성조 손실:
  • 연속적인 SSL 잠재 표현은 성조 분류에서 매우 높은 F1 점수 (만다린 0.94, 요루바 0.92) 를 보였으나, **Classic K-means (K=500)**를 적용하면 성조 F1 점수가 급격히 하락했습니다 (만다린 0.70, 요루바 0.77). 반면 음소 분류 점수는 거의 유지되었습니다.
  • 코드북 크기 (K) 를 늘려도 (10,000 까지) 성조 정보의 회복은 미미했습니다.
• 양자화 기법별 성능 비교:
  • Neural VQ: K-means 보다 만다린에서는 약간 개선되었으나 (0.78), 요루바어에서는 오히려 성능이 떨어졌습니다.
  • Residual VQ (RVQ): 다중 레벨 구조가 성조 보존에 효과적이었습니다. 특히 깊은 구조 (125×4) 는 만다린 (0.82) 과 요루바 (0.76) 에서 모두 최상위 성능을 보였습니다.
  • Residual K-means (제안): 신경망 모델 없이도 뛰어난 성능을 보였습니다.
    • 만다린: 0.79 (RVQ 0.82 에 근접).
    • 요루바: 0.83 (RVQ 0.76 을 상회, 모든 기법 중 최고).
• 언어별 차이:
  • 만다린: 곡선성조와 성조변화 (tone sandhi) 로 인해 **다중 레벨 계층적 양자화 (Deep RVQ)**가 가장 효과적이었습니다.
  • 요루바어: 모음에 정렬된 안정적인 평탄성조 특성으로 인해 **세그먼트 기반 잔차 모델링 (Residual K-means)**이 가장 효과적이었습니다.

4. 주요 기여 (Key Contributions)

1. 성조 정보의 양자화 한계 입증: SSL 잠재 공간 내에서는 성조가 잘 인코딩되어 있음에도 불구하고, 현재의 표준 양자화 기법 (K-means 등) 은 음소 정보를 우선시하여 성조 정보를 체계적으로 왜곡함을 실험적으로 증명했습니다.
2. 성조 인식 양자화 전략 제안: 음소 정보와 성조 정보를 분리하여 처리하는 잔차 (Residual) 기반 접근법이 성조 보존에 효과적임을 보였습니다.
   • 첫 번째 클러스터링으로 음소 정보를 인코딩하고, 두 번째 클러스터링으로 잔차 (성조 정보) 를 인코딩하는 방식이 기존 단일 코드북 방식보다 우월합니다.
3. 언어 유형에 따른 최적화 방안 제시: 성조의 실현 방식 (곡선 vs 평탄) 에 따라 최적의 양자화 전략 (계층적 RVQ vs 세그먼트 잔차) 이 다를 수 있음을 발견했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• DSU 설계의 새로운 방향: 현재 DSU 양자화 전략은 초분절적 (suprasegmental) 특징 (성조, 억양, 리듬 등) 을 인코딩하는 데 한계가 있음을 지적합니다. 이는 성조 언어를 위한 TTS 및 음성 - 음성 번역 시스템에서 동음이의어 혼동 (homophone confusion) 을 유발하고 자연스러움을 떨어뜨릴 수 있습니다.
• 미래 과제: 단순한 음소 중심의 양자화를 넘어, 성조 인식 (tone-aware) 또는 억양 인식 (prosody-aware) 양자화 기법 개발이 시급합니다.
• 실용적 가치: 제안된 잔차 기반 접근법은 추가적인 어휘 크기 증가 없이도 성조 정보를 더 잘 보존하여, 저자원 성조 언어를 포함한 전 세계 언어 모델 및 음성 합성 시스템의 성능 향상에 기여할 수 있습니다.

이 논문은 성조 언어 처리를 위한 이산 음성 단위 (DSU) 의 설계가 단순한 음소 분리가 아닌, 성조와 같은 초분절적 특징을 고려한 새로운 양자화 전략의 필요성을 강력하게 주장합니다.