Closing the Quality Gap in Low-Resource Text-to-Speech: LoRA Fine-Tuning of VoxCPM2 for Khmer and Korean

기술 요약: LoRA 미세 조정을 통한 VoxCPM2의 저자원 텍스트 음성 변환(TTS) 품질 격차 해소

문제 정의
대규모 사전 학습된 텍스트 음성 변환(TTS) 모델은 자원이 풍부한 언어(예: 영어, 중국어)에서는 인간에 가까운 품질을 달나지만, 저자원 언어에서는 상당한 품질 격차를 보입니다. 이 격차는 오발음, 어색한 강세 및 억양, 그리고 눈에 띄는 합성 음성 특성으로 나타납니다. 이러한 문제는 특히 크메르어와 같이 사전 학습 데이터가 부족하고 고유한 표기법적 특징(예: 단어 간 공백 부재)을 가진 언어에서 더욱 심각합니다. 전통적인 전체 미세 조정(Full fine-tuning)은 계산 비용이 많이 들고, 각 언어마다 별도의 체크포인트를 요구하며, 파괴적 망각(Catastrophic forgetting)의 위험이 있습니다. 매개변수 효율적 미세 조정(PEFT), 특히 저차원 적응(LoRA)은 잠재적인 해결책을 제공하지만, 저자원 TTS에서 품질 격차를 메우는 데 대한 효능과 하나의 공유된 어댑터를 통해 여러 유형학적으로 구별되는 언어를 서비스할 수 있는지 여부는 여전히 미해결 과제로 남아 있습니다.

방법론
저자들은 2.4B 매개변수를 가진 토크나이저 프리(Tokenizer-free) TTS 모델인 VoxCPM2(MiniCPM-4 언어 모델 백본과 플로 매칭 디퓨전 디코더의 결합)를 사용하여 이러한 질문들을 조사합니다.

• 코퍼스 구축: 크메르어(3.96시간)와 한국어(22.21시간)를 포함하여 약 26시간의 오디오로 구성된 공유된 언어 태그 코퍼스를 생성했습니다. 크메르어 데이터는 캄보디아 디지털 연구 혁신 연구소에서 가져왔으며, 한국어 데이터는 KSS 코퍼스와 Common Voice/FLEURS에서 가져왔습니다. 데이터 부족 문제를 해결하기 위해 크메르어 훈련 클립을 업샘플링하여 훈련 혼합 비율의 40%를 차지하도록 했습니다.
• 모델 적응: 전체 미세 조정 대신, 동결된 VoxCPM2 백본에 단일 공유 LoRA 어댑터를 부착했습니다. 이 어댑터는 MiniCPM-4 언어 모델(베이스 및 잔차 레이어)과 플로 매칭 디퓨전 디코더 모두의 어텐션 메커니즘 내 쿼리(Query), 키(Key), 값(Value) 및 출력 투영(Output projection)에 적용되었습니다.
• 훈련 설정: 어댑터는 제로 초기화($\Delta W = 0$)되어, 훈련이 정확히 제로샷 베이스라인에서 시작되도록 보장했습니다. 연구에서는 0.19%에서 3.03%의 전체 매개변수를 나타내는 다섯 가지 랭크(rank) 구성($r \in \{8, 16, 32, 64, 128\}$)을 테스트했습니다. 훈련에는 단일 NVIDIA H200 GPU에서 혼합 정밀도를 사용한 AdamW 옵티마이저가 사용되었습니다.
• 평가: 성능은 다음을 통해 측정되었습니다:
  1. 자동 지표: 검증 플로 매칭 손실(Validation flow-matching loss) 및 스톱 토큰 손실(Stop-token loss).
  2. 인간 평가: 자연스러움, 운율(Prosody), 발음의 세 가지 축에 대해 5점 척도로 실시된 원어민 평균 의견 점수(MOS). 통계적 유의성은 대응 쌍 윌콕슨 부호 순위 검정(Wilcoxon signed-rank test)을 사용하여 평가되었습니다.

주요 결과
연구 결과는 두 언어에 대해 서로 다른 결과를 보여주었으며, 이는 베이스 모델의 초기 숙련도에 따른 적응 효능의 의존성을 강조합니다:

• 크메르어 (저자원): 어댑터는 품질 면에서 매우 유의미한 향상을 가져왔습니다. 전체 MOS는 랭크 64에서 3.85(제로샷)에서 4.23으로 증가했습니다($p < 0.001$). 가장 큰 폭의 개선은 운율에서 관찰되었는데(3.76에서 4.36으로 상승), 이는 베이스 모델의 주요 약점이 리듬과 억양이었음을 나타냅니다. 주목할 점은 가장 작은 어댑터(랭크 8)조차 대부분의 이득을 회복하여 3.91의 MOS를 달립했다는 것입니다.
• 한국어 (고자원): 베이스 모델은 이미 한국어를 잘 처리하고 있었으며, 어댑터는 유의미한 전체적 개선을 제공하지 못했습니다. 실제로 높은 랭크(특히 랭크 64)는 품질을 저하시켰으며(MOS가 3.48로 하락, $p = 0.02$), 이는 주로 자연스러움의 손실 때문이었습니다. 이는 모델이 이미 잘 알고 있는 언어의 경우, 추가적인 용량이 미세 조정 데이터셋에 대한 과적합(Overfitting)을 초래할 수 있음을 시사합니다.
• 손실과 지각 간의 불일치: 자동 손실과 인간의 지각 사이의 불일치는 중요한 발견입니다. 검증 손실은 랭크 128에서 가장 낮았으나(0.7094), 가장 높은 MOS는 랭크 64에서 발생했습니다. 랭크 128에서 손실은 계속 감소했지만 지각적 품질은 떨어졌으며, 이는 검증 손실이 추가 용량의 가치를 과대평가하고 있음을 시사합니다.

주요 기여

1. 공유 다국어 어댑터: 저자들은 크메르어를 위한 최초의 매개변수 효율적 파운데이션 TTS 적응 방식을 제시합니다. 단일한 작은 LoRA 어댑터(0.19–3.03%의 매개변수)가 별도의 모델 없이도 두 가지 유형학적으로 구별되는 언어(크메르어 및 한국어)를 동시에 효과적으로 서비스할 수 있음을 입증했습니다.
2. 타겟 적응 효능: 본 연구는 적응이 베이스 모델이 진정으로 취약한 부분에서만 유의미한 이득을 준다는 것을 경험적으로 검증합니다. "유용한" 어댑터 크기는 언어와 모델의 기존 지식 사이의 거리에 따라 달라집니다. 즉, 격차가 큰 경우(크메르어) 더 많은 용량을 흡수하는 반면, 격차가 작은 경우(한국어) 과적합을 겪습니다.
3. 랭크 선택 통찰: 이 논문은 TTS에서 하이퍼파라미터 선택을 위해 검증 손실에 의존하는 것에 이의를 제 제기합니다. 저자들은 지각적 품질을 위한 최적의 랭크(크메르어의 경우 랭크 64)가 반드시 가장 낮은 검증 손실(랭크 128)과 일치하지 않음을 보여주며, 랭크 선택을 위한 주요 지표로서 청취 테스트를 옹호합니다.
4. 진단적 유용성: 저자들은 제로 초기화된 어댑터가 제공하는 개선의 크기가 특정 언어에 대한 베이스 모델의 기존 지식을 탐색하는 프로브(Probe) 역할을 할 수 있다고 제안합니다.

의의 및 주장
본 논문은 베이스 모델이 대상 언어에 대한 충분한 사전 지식을 갖추지 못한 경우, 작은 LoRA 어댑터가 저자원 TTS의 품질 격차를 메우는 데 매우 효과적이고 자원 효율적인 메커니즘이라고 주장합니다. 연구는 "하나의 크기로 통일된(one-size-fits-all)" 글로벌 랭크는 부적절하며, 대신 랭크 선택은 언어별로 구별되어야 하고 자동 손실보다는 지각적 평가에 의해 유도되어야 함을 강조합니다.

저자들은 한계점도 겸허히 언급했습니다. 여기에는 풀 미세 조정 상한선(Upper bound)의 부재, 언어 커버리지와 데이터 소스 품질(프라이빗 vs 퍼블릭 코퍼스) 사이의 혼란 변수 가능성, 그리고 상대적으로 작은 MOS 평가 패널 등이 포함됩니다. 결론적으로 향-후 연구는 풀 미세 조정 베이스라인을 확립하고, 더 많은 저자원 언어 및 객관적 지표를 포함하여 평가를 확장하는 데 집중해야 한다고 밝혔습니다.