Phoneme-Level Deepfake Detection Across Emotional Conditions Using Self-Supervised Embeddings

기술 요약: 자기지도 임베딩을 활용한 감정 조건별 음소 수준 딥페이크 탐지

문제 제기
감정 음성 변환 (EVC) 의 최근 발전은 자연스러운 감정 표현을 정교하게 모방하는 표현력 있는 합성 음성을 생성할 수 있게 하여, 저널리즘 및 법적 절차와 같은 고위험 시나리오에서 오디오 딥페이크 탐지에 중대한 위험을 초래하고 있습니다. 기존 탐지 방법들은 개선되었으나, 주로 발화 단위 또는 프레임 단위의 동질적인 신호로서 음성을 처리합니다. 이러한 접근법은 음성의 내부 음운 구조를 크게 간과하는데, 이는 감정 표현이 지속 시간, 피치, 스펙트럼 특성의 음소 수준 변이를 통해 실현되기 때문에 중요합니다. 결과적으로 감정 조작 과정에서 도입된 합성 아티팩트는 음소 의존적일 수 있으나, 현재 모델들은 이러한 세밀한 구조에 대해 집계하여 중요한 변별 단서를 놓칠 수 있습니다. furthermore, 이전의 음소 수준 연구들은 일반적인 (비감정적) 텍스트 - 음성 (TTS) 및 음성 변환에 집중하여, 감정 조건부 합성 하에서 음소의 특정 행위는 largely 미탐구 상태로 남아 있습니다.

방법론
저자들은 감정적으로 조작된 합성 음성을 분석하기 위한 통제된 음소 수준 프레임워크를 제안합니다. 방법론은 다음과 같은 구성 요소를 포함합니다:

• 데이터셋 구축: 본 연구는 EmoFake 데이터셋을 활용하여, 두 명의 화자 (0011 및 0016) 에 초점을 맞추고 있습니다. 이들의 중립적 발화는 VAW-GAN-CWT(EVC1) 와 DeepEST(EVC2) 라는 두 가지 다른 EVC 시스템을 사용하여 네 가지 목표 감정 (분노, 행복, 슬픔, 놀람) 으로 변환되었습니다. 이 설정은 실음성과 합성 음성 간에 일치하는 감정 조건과 공유된 전사문을 보장하여, 내용 변이로부터 합성 효과를 분리합니다.
• 음소 정렬: 오디오 - 전사문 쌍은 몬트리올 강제 정렬기 (MFA) 를 사용하여 시간 정렬된 음소 경계 (TextGrid) 를 생성하도록 처리됩니다. 라벨 일관성을 보장하기 위해 스트레스 마커는 제거되며, 충분한 샘플 수가 없는 음소는 제외됩니다.
• 특징 추출: 이 프레임워크는 자기지도 학습 (SSL) 모델인 WavLM 을 사용하여 임베딩을 추출합니다. 각 음소 세그먼트에 대해, 최종 은닉층의 프레임 수준 임베딩은 평균 풀링을 통해 집계되어 고정 차원의 음소 수준 표현을 생성합니다.
• 분석 및 분류:
  • 분포적 발산: 실음성과 합성 음소 임베딩의 다변량 가우시안 분포 간에 대칭적 쿨백 - 라이블러 발산 (KLD) 을 계산하여 분포적 차이를 정량화합니다.
  • 분류: 각 음소에 대해 라디얼 기저 함수 (RBF) 커널을 가진 서포트 벡터 머신 (SVM) 을 훈련시켜 이진 분류 (실음성 대 가짜) 를 수행합니다.
  • 상관관계: KLD 값과 SVM 분류 정확도 간의 피어슨 상관 계수를 계산하여 분포적 발산과 탐지 가능성 간의 관계를 평가합니다.

주요 결과
본 연구는 다양한 음소 범주가 감정 음성 변환에 어떻게 반응하는지에 대한 뚜렷한 패턴을 드러냅니다:

• 음소 민감도: 복잡한 모음 (이중모음인 /AO/, /AY/, /OY/ 등) 과 마찰음/파찰음 (예: /CH/, /JH/, /SH/) 은 일관되게 가장 높은 KLD 값과 더 높은 분류 정확도를 보입니다. 이는 복잡한 스펙트럼 세부 사항이나 비주기적 에너지로 특징지어지는 이러한 음소들이 충실하게 합성하기 어렵고 따라서 EVC 아티팩트에 더 민감함을 나타냅니다.
• 단순 음소의 안정성: 단순한 단모음 (예: /AH/, /IH/) 과 유성음 (비음 및 접근음) 은 더 낮은 분포적 발산과 안정적이지만 중등도인 분류 성능을 보입니다.
• 상관관계 발견: KLD 와 분류 정확도 간에는 일반적으로 양의 상관관계가 존재하며, 특히 고각성 감정 (예: 행복과 놀람) 에서 두드러집니다. 예를 들어, EVC1-행복 조건에서 모음의 경우 강한 상관관계 ($r=0.75$) 가 관찰되었습니다. 그러나 이러한 관계는 저각성 감정 (예: 슬픔) 에서 약화되는데, 이는 이러한 조건에서 감소된 운율적 변이가 발산 단독의 예측 능력을 약화시키기 때문입니다.
• 운율 아티팩트: F0 윤곽선 분석은 합성 음성이 실음성의 더 매끄러운 궤적에 비해 불규칙한 전환과 급격한 변이를 보임을 확인하며, 두 EVC 시스템 간에 뚜렷한 아티팩트 프로파일이 관찰됩니다.

기여
본 논문은 세 가지 주요 기여를 합니다:

1. 프레임워크: 공유된 전사문과 음소 정렬된 표현을 사용하여 일치하는 감정 조건 하에서 실음성과 EVC 생성 음성을 비교하는 감정 딥페이크 분석을 위한 통제된 음소 수준 프레임워크를 제안합니다.
2. 실증 분석: 네 가지 감정과 두 가지 합성 시스템 전반에 걸쳐 WavLM 임베딩, 대칭적 KLD, RBF 커널 SVM 성능 간의 상관관계를 탐구하여, 음소 수준 분포 이동이 탐지 가능성을 예측함을 입증합니다.
3. 자원: 저자들은 이 분야의 재현성과 향후 연구를 지원하기 위해 정렬된 전사문과 음소 수준 TextGrid 주석이 포함된 큐레이션된 데이터셋을 공개합니다.

의의 및 주장
저자들은 음소 수준 분석이 감정적으로 조작된 합성 음성을 탐지하는 효과적이고 해석 가능한 접근법이라고 주장합니다. 연구 결과에 따르면 특정 음소 범주의 합성 어려움은 감정 운율이 부과되더라도 지속되는 신경 음성 변환의 일반적 속성임이 입증되었습니다. 복잡한 모음과 마찰음이 가장 높은 발산을 보임을 규명함으로써, 이 연구는 세밀한 음운 분석이 발화 수준 모델이 놓치는 변별 단서를 발견할 수 있음을 시사합니다. 본 연구는 음소 수준에서의 분포적 발산이 분류 성능의 의미 있는 예측 변수로 작용하며, 특히 비선형 분류기와 결합될 때 감정 오디오 딥페이크를 위한 더 강력하고 해석 가능한 탐지기로 나아가는 길을 제공한다고 결론지었습니다.