PS4: Proxy-Supervised Joint Training for Real Target Speaker Extraction

기술 요약: PS4 – 실제 타겟 화자 추출을 위한 프록시 감독 결합 학습 (Proxy-Supervised Joint Training)

문제 정의

타겟 화자 추출(Target Speaker Extraction, TSE)은 짧은 등록 음성(enrollment utterance)을 참조하여 다중 화자 혼합음으로부터 특정 화자의 목소리를 분리하는 것을 목표로 합니다. 최신 모델들은 표준 벤치마크(예: VoxCeleb, WSJ0-2mix)에서 강력한 성능을 달amat히지만, 이러한 데이터셋은 인위적으로 합성된 깨끗한 녹음본에 의존합니다. 반면, 실제 대화 데이터는 잔향, 배경 소음, 기기 왜곡, 불규칙한 중첩 패턴과 같은 복잡한 특성을 나타냅니다.

실제 시나리오에 TSE를 배포하는 데 있어 결정적인 병목 현상이 존재합니다. 실제 대화 녹음에는 개별 화자의 깨끗한 참조 신호가 부족하기 때문입니다. 따라서 기존의 신호 수준 감독 방법(예: SI-SNR 손실)을 직접 적용할 수 없습니다. 공식 REAL-T 베이스라인을 포함한 기존 시스템들은 시뮬레이션된 혼합음으로 학습되며, 실제 환경에 배포될 때 성능이 저하되는 경우가 많습니다. 문제는 깨끗한 타겟 음성에 대한 접근 없이 어떻게 대규모 실제 대화 녹음을 TSE 학습에 효과적으로 활용할 것인가 하는 점입니다.

방법론: PS4 프레임워크

저자들은 실제 대화 혼합음에서 직접 TSE 모델을 학습시키기 위해 설계된 프록시 감독 학습 프레임워크인 PS4를 제안합니다. PS4는 깨끗한 타겟 음성을 요구하는 대신, 원시 데이터에서 직접 유도된 여러 가지 "프록시(proxy)" 감독 신호를 활용합니다.

1. 코퍼스 구축 (REAL-PS4)

저자들은 AISHELL-4, AliMeeting, AMI, CHiME-6의 네 가지 공개 데이터셋에서 유도된 71,771개의 샘플을 포함하는 대규모 학습 코퍼스인 REAL-PS4를 구축했습니다. 구축 파이프라인은 다음과 같습니다:

• 등록 음성 추출 (Enrollment Extraction): 화자 분리(diarization) 주석으로부터 단일 화자 영역(>5초)을 식별하여 등록 음성을 생성합니다.
• 혼합음 생성 (Mixture Generation): 원본 녹음에서 중첩된 음성 영역(≥2 명의 화자)을 추출합니다. 간격이 0.5초 미만인 경우 인접한 중첩 구간을 병합합니다.
• 품질 필터링 (Quality Filtering): 타겟 화자가 전체 지속 시간의 20% 이상을 차지하고 텍스트에 2개 이상의 유효한 문자가 포함된 샘플만 유지합니다. 계산 제약을 관리하기 위해 혼합음은 30초, 등록 음성은 10초로 자릅니다.
• 주석 (Annotations): 각 샘플에는 혼합음, 등록 음성, 정답 텍스트(ground-truth transcripts), 그리고 화자 분리로부터 유도된 프레임 수준의 음성 활동 감지(VAD) 레이블이 포함됩니다.

2. 모델 아키텍처 및 학습 전략

이 시스템은 사전 학습된 BSRNN-ECAPA 모델(BSRNN 분리기와 ECAPA-TDNN 화자 인코더의 결 조합)을 기반으로 구축되었습니다. 미세 조정(fine-tuning) 동안에는 BSRNN 분리기만 업데이트되며, 화자 인코더는 고정(frozen)됩니다.

핵심 혁신은 네 가지 상호 보완적이고 미분 가능한 프록시 목적 함수를 사용하는 결합 최적화 전략입니다:

1. 언어적 감독 ($L_{CE}$): 고정된 Whisper large-v3 모델이 미분 가능한 교사 역할을 합니다. 모델은 추출된 음성의 예측 토큰 분포와 정답 텍스트 사이의 교차 엔트로피를 최소화합니다.
2. 화자 감독 ($L_{SIM}$): 힌지 랭킹 손실(hinge ranking loss)을 사용하여 추출된 음성과 등록 음성 사이의 유사도가 원래의 혼합음과 등록 음성 사이의 유사도보다 사전 정의된 마진만큼 크도록 보장합니다. 이는 고정된 ResNet34 화자 인코더를 사용합니다.
3. 시간적 감독 ($L_{VAD}$): 이진 교차 엔트로피 손실을 사용하여 추출된 음성의 예측 프레임 수준 에너지와 화자 분리로부터 유도된 정답 VAD 레이블 사이의 차이를 최소화합니다.
4. 지각적 감독 ($L_{DNSMOS}$): 깨끗한 참조 없이도 추출된 음성의 전반적인 지각 품질 점수를 최대화하기 위해 미분 가능한 형태의 DNSMOS 구현체를 사용합니다.

전체 손실 함수는 가중 합계입니다:
$$L = \lambda_{ce}L_{CE} + \lambda_{sim}L_{SIM} + \lambda_{dns}L_{DNSMOS} + \lambda_{vad}L_{VAD}$$

주요 결과

저자들은 다섯 가지 데이터셋(AISHELL-4, AliMeeting, AMI, CHiME-6, DipCo)의 실제 대화 녹음으로 구성된 REAL-T 벤치마크에서 PS4를 평가했습니다.

• 개발 세트 성능: PS4는 다섯 가지 서브 코퍼스 및 네 가지 지표 모두에서 공식 BSRNN 기반 베이스라인(BSRNN-TFMAP 및 BSRNN-EMB)을 일관되게 능가했습니다.
  • 특히, PS4는 지각 품질(DNSMOS OVRL > 3.1 vs. 베이스라인 < 2.0)과 화자 유사도에서 상당한 개선을 이루었습니다.
  • AMI 녹음은 라펠 마이크 채널이 더 깨끗한 덕분에 가장 좋은 결과(TER: 0.388, SIM: 0.714)를 냈습니다.
• 리더보드 성적: 공식 REAL-T 챌린지 리더보드(검증 세트)에서 PS4는 종합 점수 3.25로 전체 2위를 차지했습니다.
  • PS4는 모든 제출 시스템 중 **최고의 화자 유사도(0.565)**와 **최고의 타이밍 F1(0.871)**를 달성했습니다.
  • DNSMOS-P808 점수(3.128)와 TER 측면에서는 1위 시스템(MERL의 시스템)보다 약간 낮았으나, 정체성 보존(identity preservation)과 타이밍 정확도 측면에서는 압도적으로 우수했습니다.

의의 및 주장

본 논문은 PS4가 시뮬레이션된 벤치마크와 실제 환경 배포 사이의 간극을 메우며, 실제 대화 녹음에서 TSE 모델을 학습시키기 위한 효과적이고 실용적인 솔루션을 제공한다고 주장합니다.

• 감독 방식의 참신함: 본 연구는 원시 데이터에서 사용 가능한 언어적, 화자, 시간적, 지각적 신호를 사용하는 "프록시 감독"이 깨끗한 타겟 음성 참조의 필요성을 효과적으로 대체할 수 있음을 보여줍니다.
• 확장성: 공공 데이터셋으로부터 REAL-PS4 코퍼스를 구축함으로써, 저자들은 깨끗한 음성에 대한 수동 주석 없이도 실제 환경의 TSE를 위한 대규모 학습 데이터를 생성할 수 있음을 입증했습니다.
• 성능: 결과는 프록시 감독 결합 학습이 오직 시뮬레이션된 혼합음으로만 학습된 모델보다 실제 세계의 음향 조건(특히 화자 정체성 보존 및 시간적 정렬 측면)에 더 강건한 모델을 생성함을 검증합니다.

저자들은 프록시 감독이 실제 대화 시나리오에서의 TSE를 위한 전통적인 신호 수준 학습의 실행 가능한 대안이라고 결론짓습니다.