Child-Centric Voice Anonymization in Single and Multi-Speaker Speech via Domain-Adapted SSL Models

기술 요약: 도메인 적응형 SSL 모델을 통한 단일 및 다중 화자 음성에서의 아동 중심 음성 익명화

문제 정의
현재의 음성 익명화 시스템은 주로 성인 음성을 대상으로 개발 및 평가됩니다. 아동의 음성에 적용될 경우, 이러한 시스템은 심각한 성능 저하를 겪습니다. 아동의 음성은 높은 기본 주파수, 더 큰 조음 및 운율적 가변성, 그리고 발달 단계의 비유창성을 특징으로 하는 독특한 음향 도메인을 구성합니다. 이는 성인 데이터로 학습된 파이프라인에 상당한 불일치를 초래하여, 명료도와 지각적 품질을 저하시킵니다. 또한, 기존 방식은 아동의 목소리를 성인과 유사한 목소리로 변환하는 경우가 많아, 아동 중심 애플리케이션에 필수적인 연령 의존적 음향 단서를 왜곡합니다. 마지막으로, 기존 연구는 실제 아동 간 상호작용(예: 교실)에서 흔히 발생하는 다중 화자 시나리오를 대부분 간과하며, 여기서는 대화 구조를 보존하면서 대상 아동을 선택적으로 익명화하는 것이 요구됩니다.

방법론
본 논문은 아동 음성 도메인에 특화되어 적응된 자기지도 학습(Self-Supervised Learning, SSL) 기반의 아동 중심 익명화 파이프라인을 제안합니다. 이 시스템은 세 가지 주요 단계로 작동합니다:

1. 분리(Disentanglement): 입력 파형은 세 가지 표현으로 분해됩니다:
   • 콘텐츠(Content): HuBERT 기반 인코더를 통해 추출된 소프트 콘텐츠 특징.
   • 운율(Prosody): 피치 추출기를 통해 추출된 피치 윤곽($f_0$).
   • 화자(Speaker): ECAPA-TDNN을 통해 추출된 화자 임베딩.
2. 익명화(Anonymization): 소스 화자 임베딩은 자연스러움과 연령 일관성이 검증된 통제된 **아동 화자 풀(child speaker pool)**에서 추출된 참조 임베딩으로 교체됩니다. 이 풀은 AI 생성 목소리(Typecast, SpeechGen)로 구성되며, 익명화된 출력이 아동 특유의 음향적 특성을 유지하도록(아동 대 아동 익명화) 보장합니다.
3. 재합성(Resynthesis): 변경되지 않은 콘텐츠 및 운율 표현과 익명화된 화자 임베딩을 HiFi-GAN 보코더에 입력하여 익명화된 음성을 재구성합니다.

도메인 적응 전략
성인 학습 모델과 아동 음성 사이의 음향적 불일치를 해결하기 위해, 저자들은 특정 파이프라인 구성 요소를 MyST 코퍼스(아동 음성 데이터셋)를 사용하여 미세 조정(fine-tuning)합니다:

• HuBERT 콘텐츠 인코더: 피치 범위와 포먼트 주파수가 다른 아동 발화로부터 언어적으로 의미 있는 표현을 추출하는 능력을 개선하기 위해 미세 조정되었습니다.
• HiFi-GAN 보코더: 아동 음성의 재합성이 성인과 유사한 음향으로 편향되는 것을 방지하여, 아동 특유의 스펙트럼 및 운율적 특성을 보존하도록 미세 조정되었습니다.
• 화자 인코더 (ECAPA-TDNN): 익명화 정체성이 참조 풀의 임베딩 교체에 의해 결정되므로 고정된 상태로 유지됩니다.

다중 화자 확장
시스템은 타겟 화자 추출(Target Speaker Extraction, TSE) 모듈을 통합하여 2인 혼합 음성(타겟 화자 익명화)으로 확장됩니다. 파이프라인은 다음과 같습니다:

1. 컨포머(Conformer) 기반 TSE 모델을 사용하여 참조 발화를 조건으로 혼합된 신호에서 타겟 화자의 신호를 분리합니다.
2. 추출된 타겟 신량을 아동 적응형 SSL 파이프라인을 사용하여 익명화합니다.
3. 원래의 타겟 구성 요소를 익명화된 버전으로 교체하고 비타겟 화자는 수정하지 않은 채 혼합 음성을 재구성합니다.

주요 기여

• 체계적인 아동 도메인 적응: 아동 대 아동 음성 익명화를 위해 SSL 기반 파이프라인을 적응시킨 종합적인 연구를 수행하였으며, 인도메인(MyST) 및 제로샷 교차 악센트 벤치마크(MPS, SpeechOcean)에서 평가하였습니다.
• 다중 화자 평가: 세 가지 연령대 쌍(성인-성인, 아동-성인, 아동-아동)에 걸친 2인 혼합 음성으로 확장하여, 대화 환경에서의 선택적 익명화 가능성을 입증하였습니다.
• 아동 특성 보존: 통제된 아동 화자 풀과 도메인 적응형 보코더를 도입하여, 익명화된 음성이 성인 지향적 시스템에서 나타나는 연령 의존적 단서의 왜곡 없이 지각적으로 아동답게 유지되도록 보장하였습니다.

실험 결과

• 단일 화자 성능:
  • 개인정보 보호: 완전히 적응된 시스템(FT/FT)은 MyST 테스트 세트에서 동일 오류율(EER)이 최대 45.09%에 달해, 기존 시스템(43.80%) 및 신호 처리 베이스라인(B2)보다 강력한 개인정보 보호 성능을 달ер했습니다.
  • 명료도(Intelligibility): 적응된 시스템은 비적응형 SSL 베이스라인(16.64% vs 17.31% on MyST)에 비해 단어 오류율(WER)을 감소시켜, 도메인 적응이 음성 유용성을 보존함을 입증했습니다.
  • 지각적 품질: 인간 평가 결과, 아동 적응형 시스템(SSL-FT)은 B2 베이스라인보다 높은 자연스러움과 유창성 점수를 받았으며, 낮은 화자 유사도 점수를 유지하면서도 화자가 아동이라는 지각을 더 일관되게 보존했습니다.
• 다중 화자 성능:
  • 개인정보 보호 안정성: 개인정보 보호(EER)는 다양한 중첩 비율(0–100%)과 연령 쌍에 걸쳐 견고하고 비교적 안정적으로 유지되었습니다.
  • 유용성 제약: 중첩이 증가함에 따라 명료도(타겟 WER로 측정)가 저하되었습니다. 이러한 저하는 화자 간의 음향적 유사성으로 인해 타겟 추출이 어려워지는 아동-아동 (CC) 혼합에서 가장 심하게 나타났습니다. 디아리제이션 오류율(DER) 또한 CC 쌍에서 크게 증가했습니다.
  • 디커플링(Decoupling): 결과는 다중 화자 시나리오에서 개인정보 보호와 유용성 사이의 디커플링을 보여줍니다. 즉, 개인정보 보호는 안정적이지만, 유용성은 특히 다른 아동이 포함된 혼합물에서 아동을 추출할 때의 타겟 화자 추출 품질에 의해 제한됩니다.

의의 및 한계점
본 논문은 아동이 포함된 실질적인 음성 익명화 시스템에서 아동 특화 적응이 매우 중요하다고 주장합니다. 제안된 방법은 아동다움을 보존하면서 정체성을 은닉함으로써, 연령 관련 단서를 왜곡하는 성인 중심 시스템의 한계를 해결합니다.

그러나 저자들은 몇 가지 한계를 언급했습니다:

• 평가 불일치: 많은 평가 지표(ASR, 디아리제이션, 화자 검증 및 지각적 품질 예측기)가 여전히 성인 데이터로 학습되어 있어, 아동 음성을 평가할 때 도메인 불일치가 발생할 수 있습니다.
• 추출의 어려움: 아동-아동 혼합에서의 성능은 성인 학습 기반의 타겟 화자 추출 모델에 의해 제한되며, 이는 개인정보를 침해하지 않으면서 유용성을 높이기 위해 아동에 강건한 추출 모델의 향후 개선이 필요함을 시사합니다.
• 연령 정량화: 자동 연령 예측 모델의 일반화 성능이 낮아, 연령 일관성 평가를 위해 인간의 지각적 판단에 의존해야 했습니다.

결론적으로, 본 연구는 SSL 기반 파이프라인을 아동 도메인에 적응시키는 것이 개인정보 보호, 명료도, 그리고 아동 특유의 음향적 특성 보존 사이의 균형을 효과적으로 맞춘다는 것을 보여주며, 타겟 화자 추출이 다중 화자 아동 익명화의 주요 병목 구간임을 밝혀냈습니다.