⚡ electrical engineering

One Voice, Many Tongues: Cross-Lingual Voice Cloning for Scientific Speech

본 논문은 아랍어, 중국어, 프랑스어 간 화자 정체성을 유지하면서 명료성을 향상시키기 위해 ACL 60/60 말뭉치에서 온니보이스(OmniVoice) 기반 모델과 다중 모델 앙상블 증류 기법을 활용하는 과학 연설을 위한 교차 언어 음성 복제 시스템을 제시합니다.

원저자: Amanuel Gizachew Abebe, Yasmin Moslem

게시일 2026-04-30

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Amanuel Gizachew Abebe, Yasmin Moslem

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

상상해 보세요. 완벽한 영어를 구사하는 천재 과학자가 있다고 가정해 봅시다. 하지만 이 과학자의 획기적인 연구를 아랍어, 중국어, 프랑스어를 사용하는 청중들과 공유하고 싶다면요? 문제는 바로 그 과학자가 다른 언어에서도 정확히 같은 말투로 말할 수 있는 통역사가 없다는 점입니다. 표준적인 로봇 목소리만 사용하면 완전히 다른 사람처럼 들리게 되어, 과학자만의 고유한 '지문'이 사라져 버립니다.

이 논문은 과학자의 목소리를 다른 언어로 말하게 하되, 여전히 그 과학자本人처럼 들리게 하는 특별한 도구를 개발하는 것에 관한 것입니다. 그들이 어떻게 이를 이루었는지 간단한 단계로 나누어 설명해 보겠습니다:

1. 문제: "누락된 사전"

연구자들은 컴퓨터에게 과학 강연을 위한 목소리 복제를 가르치고자 했습니다. 하지만 과학 강연은 복잡하고 전문적인 용어와 특정 말투로 가득 차 있어 까다롭습니다. 가장 큰 장애물은 컴퓨터를 가르칠 만한 아랍어, 중국어, 프랑스어로 말하는 과학자들의 고품질 녹음 데이터가 부족하다는 점이었습니다. 이는 교과서 없이 학생에게 새로운 언어를 가르치려는 것과 같습니다.

2. 해결책: "재능 스카우트" (앙상블 증류)

교과서 부족 문제를 해결하기 위해 팀은 앙상블 증류 (Ensemble Distillation) 라는 교묘한 기법을 고안해냈습니다.

세 명의 다른 전문가 성우 (선생님들) 가 있다고 상상해 보세요:

OmniVoice: 매우 똑똑하고 만능인 배우.
VoxCPM: 목소리를 즉시 모방하는 데 뛰어난 배우.
Chatterbox: 유럽과 중동 억양에 능한 배우.

팀원들은 한 명만 고르는 대신, 세 명 모두에게 같은 과학 문장을 녹음하도록 요청했습니다. 그런 다음 그들은 재능 스카우트 역할을 수행했습니다. 각 문장마다 세 녹음을 모두 듣고 다음 두 가지 규칙에 따라 가장 좋은 것을 선택했습니다:

명확성: AI 가 단어를 완벽하게 이해했는가? (학생이 단어를 올바르게 철자했는지 확인하는 것과 같음).
정체성: 원래 과학자처럼 들리는가? (학생이 선생님처럼 들리는지 확인하는 것과 같음).

이 과정을 통해 그들은 가능한 최상의 합성 녹음으로 구성된 "슈퍼 교과서"를 만들었습니다. 이로써 실제 데이터 부족 문제가 해결되었습니다.

3. 미세 조정: "전문 코치" (LoRA)

이제 훌륭한 "슈퍼 교과서"를 확보했지만, 메인 컴퓨터 모델 (OmniVoice) 이 이를 어떻게 활용할지 가르쳐야 했습니다.

메인 컴퓨터 모델을 여러 언어를 구사하지만 어느 하나에 특화되지 않은 일반 코치라고 생각해 보세요. 만약 이 일반 코치에게 아랍어, 중국어, 프랑스어를 한 번에 모두 배우라고 지시하면, 혼란을 겪고 원래 목소리인 영어를 잊어버릴 수 있습니다.

이를 방지하기 위해 팀은 LoRA(Low-Rank Adaptation, 저랭크 적응) 라는 기법을 사용했습니다. 일반 코치에게 세 가지 다른 전문 코치(아랍어용, 중국어용, 프랑스어용 각 하나씩) 를 부여한다고 상상해 보세요. 이 전문 코치들은 작고 가벼운 추가 모듈로, 일반 코치에게 각 언어의 고유한 '맛'과 '리듬'을 가르치면서도 원래 과학자처럼 들리는 핵심 능력을 덮어쓰지 않도록 합니다.

4. 결과: "완벽한 하이브리드"

시스템을 테스트했을 때 결과는 인상적이었습니다:

이해 가능성: 새로운 목소리는 과학 용어를 명확하게 발음하여 다른 최상위 시스템들보다 실수가 적었습니다.
정체성: 과학자가 한 번도 말해 본 적이 없는 언어를 말하더라도, 목소리는 여전히 원래 과학자本人처럼 들렸습니다.

요약하자면, 그들은 억양을 잃지 않는 보편적 통역사처럼 작동하는 시스템을 만들어냈습니다.

5. 한계와 경고

저자들은 한계를 솔직하게 인정합니다:

크기: 그들의 "슈퍼 교과서"는 여전히 상대적으로 작습니다 (약 1,400 문장). 따라서 개선의 여지가 있습니다.
안전성: 이 기술은 양날의 검이라고 경고합니다. 과학 공유에는 도움이 되지만, 목소리를 완벽하게 복제하는 능력은 '딥페이크'나 가짜 뉴스 제작에 악용될 수 있습니다. 따라서 이 기술을 사용하는 사람은 디지털 워터마크와 같은 안전 장치를 포함하여 목소리가 합성임을 증명해야 한다고 제안합니다.

핵심 결론:
이 논문은 컴퓨터에게 특정 인물의 목소리로 과학 언어를 말하게 하는 새롭고 효율적인 방법을 보여줍니다. 그들은 여러 AI 모델이 최고의 연습 데이터를 만들기 위해 경쟁하게 한 후, 원래 화자의 고유한 정체성을 잃지 않으면서 메인 모델을 가르치는 작고 전문적인 '코치'들을 활용하여 이를 성취했습니다.

"한 목소리, 여러 언어: 과학 연설을 위한 교차 언어 음성 복제" 논문의 상세한 기술적 요약입니다.

1. 문제 제기

이 논문은 과학 분야 내에서 특히 교차 언어 제로샷 음성 복제의 과제를 다룹니다. 최근의 기반 모델들이 언어 간 음성 복제를 가능하게 하지만, 다음과 같은 어려움에 직면해 있습니다:

도메인 특수성: 과학 연설은 복잡한 전문 용어, 코드 스위칭, 그리고 일반 모델이 정확하게 포착하지 못하는 고유한 운율 패턴을 포함합니다.
데이터 부족: 아랍어, 중국어, 프랑스어와 같은 다양한 언어의 학술 담화를 위한 고품질 쌍둥이 훈련 데이터 (텍스트 + 오디오) 가 부족합니다.
트레이드오프: 기존 모델들은 새로운 언어나 특수 도메인에 적응할 때 가독성 (전사 정확도) 이나 화자 유사성 (음성 정체성) 중 하나를 희생하는 경우가 많습니다.

저자들은 아랍어 (AR), 프랑스어 (FR), 중국어 (ZH) 를 대상으로 하는 IWSLT 2026 교차 언어 음성 복제 공유 작업을 위해 이를 해결하고자 합니다.

2. 방법론

제안된 시스템은 데이터 증강, 앙상블 선택, 그리고 파라미터 효율적 미세 조정을 결합한 3 단계 파이프라인을 사용합니다.

A. 앙상블 증류에 의한 데이터 증강

쌍둥이 과학 데이터의 부족을 극복하기 위해, 저자들은 ACL 60/60 코퍼스(기술 프레젠테이션) 를 활용하고 Best-of-N 앙상블 증류 전략을 적용합니다:

티처 모델: 소스 텍스트에서 오디오를 합성하기 위해 세 가지 최첨단 제로샷 음성 복제 모델을 "티처"로 사용합니다:
- OmniVoice: Qwen3 기반의 0.6B 파라미터 모델.
- VoxCPM: 제로샷 음색 전이에 최적화됨.
- Chatterbox: 유럽 및 셈어계 언어에서의 견고한 합성으로 유명함.
선택 기준: 각 발화에 대해 세 모델 모두 후보를 생성합니다. 결합 점수 ( $S_{comb}$ $S_{co mb}$ ) 를 기반으로 가장 좋은 후보를 선택합니다:
$S_{comb} = 0.5 \times (1 - \text{CER}) + 0.5 \times \text{SIM}$
- CER (문자 오류율): 가독성을 보장하기 위해 Whisper large-v3 를 사용하여 측정합니다.
- SIM (화자 유사성): ECAPA-TDNN 모델의 임베딩 코사인 거리를 사용하여 측정합니다.
결과: 이 과정을 통해 비주요 모델이 최종 데이터의 약 26% 를 기여하는 고품질 합성 데이터셋을 선별하여, 서로 다른 아키텍처의 강점을 활용합니다.

B. LoRA 를 통한 언어별 미세 조정

핵심 모델은 OmniVoice(Qwen3-0.6B 기반) 입니다. 단일 통합 어댑터 대신 저자들은 각 목표 언어 (AR, FR, ZH) 에 대해 전용 저랭크 적응 (LoRA) 모듈을 훈련시킵니다.

아키텍처: LoRA 는 자기 주의 블록, 피드포워드 네트워크, 오디오 프로젝션 레이어의 파라미터를 업데이트합니다.
전략: 이 접근법은 기본 모델의 일반적 능력을 "파괴적 망각" 없이 언어별 음소 분포를 포착합니다.
훈련: 모델들은 Rank-Stabilized LoRA(RSLoRA) 와 혼합 정밀도를 사용하여 NVIDIA A40 GPU 에서 400 스텝 동안 훈련됩니다.

C. 추론 파이프라인

추론 과정은 다음을 포함합니다:

참조 추출: 음성 활동 감지 (VAD) 를 사용하여 참조 오디오에서 20 초 구간을 분리합니다.
텍스트 청킹: 긴 과학 텍스트를 문장 경계에서 200 자 단위로 분할합니다.
합성: 온도 0.8 과 top-p 0.9 로 오디오를 생성한 후 세그먼트를 연결합니다.

3. 주요 기여

과학 데이터를 위한 앙상블 증류: 다중 모델 앙상블을 통한 데이터 합성과 가독성 및 유사성 지표를 기반으로 한 최선 출력 선택이 특수 도메인을 위한 고품질 미세 조정 데이터셋을 효과적으로 생성한다는 것을 입증했습니다.
언어별 LoRA 적응: 특정 언어를 위한 별도의 LoRA 어댑터를 훈련하는 것이 과학 연설의 음소 뉘앙스를 보존하는 데 특히 유리하여 통합 다국어 접근법보다 더 나은 결과를 산출함을 보였습니다.
최첨단 성능: 세 가지 유형학적으로 다양한 언어 (아랍어, 프랑스어, 중국어) 에서 경쟁력 있는 가독성을 유지하면서 최상의 화자 유사성을 달성했습니다.

4. 결과 및 평가

이 시스템은 XTTS-V2, Qwen3-TTS, VoxCPM2 와 같은 베이스라인에 대해 공식 IWSLT 2026 블라인드 테스트 세트 (AR 49 개, FR 99 개, ZH 112 개 세그먼트) 에서 평가되었습니다.

화자 유사성 (SIM): 미세 조정된 OmniVoice 모델은 모든 언어에서 최고의 화자 유사성을 달성했습니다:
- 프랑스어: 0.753 (Chatterbox 의 0.619 대비).
- 중국어: 0.719 (VoxCPM2 의 0.569 대비).
- 아랍어: 0.723 (Chatterbox 의 0.680 대비).
가독성 (WER/CER):
- 프랑스어: CER 0.026 을 달성하여 Qwen3-TTS(0.011) 와 유사하지만 훨씬 더 나은 음성 정체성을 보였습니다.
- 아랍어: 모든 테스트된 모델 중 가장 낮은 CER(0.071) 을 달성했습니다.
- 중국어: 베이스라인 모델이 작은 하위 집합에서 더 낮은 오류율을 보였지만, 미세 조정된 OmniVoice 는 전체 테스트 세트에서 높은 유사성과 낮은 오류 간의 최상의 균형을 유지했습니다.
미세 조정의 영향: 기본 OmniVoice 와 LoRA 미세 조정 버전을 비교한 결과, 높은 화자 유사성을 유지하면서 일관되게 가독성 (낮은 WER/CER) 이 개선되었습니다.

5. 의의 및 한계

의의:

과학의 민주화: 이 시스템은 과학 연구의 교차 언어 확산을 가능하게 하여, 화자의 정체성을 잃지 않으면서 학술 프레젠테이션을 비원어민에게 접근 가능하게 합니다.
효율성: 파라미터 효율적 기술 (LoRA) 과 합성 데이터를 사용하여 modest 한 컴퓨팅 예산으로도 고성능 도메인 적응이 가능함을 입증했습니다.
재현성: 저자들은 데이터 준비, 훈련, 평가를 위한 코드를 오픈소스로 공개했습니다.

한계:

데이터셋 규모: 증류된 데이터셋이 상대적으로 작습니다 (1,404 개 샘플). 이는 더 넓은 과학 주제로의 일반화를 제한할 수 있습니다.
자동화된 지표: Whisper 와 ECAPA-TDNN 에 의존하여 인간의 지각을 대리하는 것은 합성 음성에서 미묘한 인공물을 놓칠 수 있습니다.
윤리적 위험: 저자들은 음성 복제의 이중 사용 가능성 (예: 딥페이크) 을 인정하고, 공개 배포 시 워터마킹 및 인증 프로토콜을 옹호합니다.

결론적으로, 이 논문은 대규모 TTS 모델을 특수 과학 도메인에 적응시키기 위한 견고한 프레임워크를 제시하며, 음성 정체성 보존과 교차 언어 가독성 사이의 트레이드오프를 성공적으로 균형 잡았습니다.