QAMO: Quality-aware Multi-centroid One-class Learning For Speech Deepfake Detection

기술 요약: QAMO – 음성 딥페이크 탐지를 위한 품질 인지 다중 중심점 일클래스 학습

문제 정의
전통적인 음성 딥페이크 탐지(SDD)는 종종 이 작업을 이진 분류 문제로 취급하며, 이는 알려진 스푸핑 공격에 대한 과적합과 미지의 딥페이크에 대한 낮은 일반화 성능을 초래할 수 있습니다. 일클래스 학습(One-class learning, OCL)은 단일 중심점 주변의 실제(bona fide) 음성 분포를 모델링하고, 이로부터 벗어나는 것을 잠재적 가짜로 간주하는 대안으로 부상했습니다. 그러나 기존의 OCL은 실제 음성을 단일 단봉형(unimodal) 분포로 가정함으로써 실제 클래스를 지나치게 단순화합니다. 이는 실제 음성의 내재적인 클래스 내 변동성, 특히 음성 품질(예: 명료도, 노이즈 존재 여부, 운율의 사실성)을 포착하지 못합니다. 기존 연구에 따르면 실제 음성과 합성 음성 사이에는 평균 의견 점수(MOS)의 상당한 격차가 존재하며, 품질의 변화가 실제 샘플과 스푸프 샘플 간의 분리 능력에 영향을 미칠 수 있습니다. 현재의 OCL 방식은 이러한 품질 하위 공간(quality subspaces)을 명시적으로 고려하지 않습니다.

방법론: QAMO 프레임워크
저자들은 각기 다른 음성 품질 하위 공간을 나타내도록 최적화된 여러 개의 중심점을 도입하여 OCL을 확장하는 QAMO 프레임워크를 제안합니다.

1. 품질 인지 다중 중심점 모델링:

   • 단일 중심점 대신, QAMO는 각기 다른 품질 수준(예: 저품질 vs 고품질 MOS)에 대응하는 $Q$개의 중심점($w_q$)을 학습합니다.
   • 품질 수준은 사전 학습된 MOS 예측기(Scoreq)를 사용하여 훈련 샘플에 할당됩니다. 연속적인 MOS 범위는 이산 클래스(예: $q \in \{0, 1\}$)로 임계값 처리됩니다.
   • 중심점이 변별력을 갖추고 특정 품질 수준과 정렬되도록 하기 위해, 모델은 품질 분류를 위한 AM-Softmax 손실($L_{quality}$)을 사용합니다. 이는 동일한 품질 수준의 임베딩이 해당 특정 중심점 주변에 클러스터링되도록 강제합니다.

2. 다중 중심점을 이용한 일클래스 학습:

   • 프레임워크는 OC-Softmax 손실을 다중 중심점 설정으로 확장합니다.
   • 실제(bona fide) 입력의 경우, 모델은 샘플의 품질 수준에 해당하는 중심점과의 코사인 유사도 거리를 계산합니다.
   • 스푸프(spoof) 입력의 경우, 전체 실제 하위 공간으로부터의 분리를 보장하기 위해 모든 중심점에 대한 최대 코사인 유사도에 대해 페널티를 부여합니다.
   • 최종 훈련 목적 함수는 가중치 하이퍼파라미터 $\lambda$와 함께 QAMO 손실($L_{QAMO}$)과 품질 분류 손실($L_{quality}$)을 결합합니다.

3. 추론 전략:

   • 최대 점수 추론(Max-Score Inference): 이전의 다중 중심점 연구들과 유사하게, 이는 모든 중심점에 대한 최대 유사도를 취합니다. 그러나 저자들은 이것이 하드 할당(hard assignment) 방식으로 작동하여 품질 추정 오류에 민래할 수 있다고 언급합니다.
   • 앙상블 점수 추론(Ensemble-Score Inference, 제안됨): 안정성을 높이고 불확실성을 처리하기 위해, QAMO는 모든 중심점에 대한 유사도의 가중 합을 계산합니다. 가중치($\alpha_q$)는 코사인 유사도에 소프트맥스 함수를 적용하여 도출됩니다. 이 전략은 모든 품질 수준에 대한 증거를 집계하여, 추론 시 명시적인 품질 레이블 없이도 더 매끄럽고 분산이 낮은 점수를 생성합니다.

주요 기여

• 다중 중심점 품질 모델링: 화자 정체성에 따라 중심점을 구성하는 이전의 다중 중심점 방식(예: SAMO)과 달리, QAMO는 음성 품질 수준에 따라 중심점을 구조화하여 품질 정보를 실제 표현(bona fide representation)에 명시적으로 인코딩합니다.
• 품질 인지 손실 함수: 품질 분류 목적 함수의 통합은 학습된 중심점이 서로 구별되게 하고 하나의 점점으로 붕괴되지 않도록 보장하여, 효과적으로 클래스 내 변동성을 보존합니다.
• 강건한 추론 메커니즘: 소프트맥스 가중 앙상블 점수 전략 제안은 품질 레이블 없이도 시스템이 작동할 수 있게 하며, 하드 할당 및 과잉 확신 예측의 위험을 완화합니다.
• 데이터 증강 전략: 저자들은 증강된 데이터(RawBoost를 통해)를 훈련 시 "저품질"로 취급하며, 이는 관찰된 MOS 변화와 일치하는 계산 효율적인 프록시(proxy) 역할을 합니다.

실험 결과
저자들은 ASVspoof2019 LA 훈련 세트에서 QAMO를 평가하였으며, ASVspoof2021 LA, ASVspoof2021 DF, In-the-Wild (ITW), Fake-or-Real (FoR) 데이터셋에서 테스트하였습니다.

• 성능: XLSR-Conformer-TCM 백본과 결합되었을 때, QAMO는 In-the-Wild 데이터셋에서 **5.21%의 등가 오류율(EER)**을 달enc성하여, 단일 중심점 OC-Softmax 베이스라인(6.72%) 및 이전의 품질 인지 시스템들을 능가했습니다.
• 비교: 21DF 데이터셋에서 QAMO는 1.63% EER을 달성하였고, FoR에서는 3.45%를 기록하며 OC-Softmax 및 가중 교차 엔트로피(WCE) 모델을 포함한 베이스라인들을 일관되게 앞질렀습니다.
• 절제 연구(Ablation Studies):
  • 품질 분류 손실($L_{quality}$)을 제거하면 성능 저하와 중심점 붕괴가 발생하여, 명시적인 품질 감독의 필요성을 확인시켜 주었습니다.
  • 앙상블 점수 추론 전략은 특히 ITW 데이터셋에서 max-score 전략보다 크게 우수한 성능을 보였는데, 이는 더 잘 보정된 점수를 제공하고 실제 및 스푸프 분포 사이의 더 명확한 분리를 가능하게 했기 때문입니다.

의의 및 주장
본 논문은 QAMO가 음성 품질 하위 공간을 명시적으로 모델링함으로써 전통적인 일클래스 학습의 실제 클래스 단순화 문제를 해결한다고 주장합니다. 이를 통해 실제 음성의 내재적 변동성을 보존하는 동시에 스푸프 오디오에 대한 변별력을 유지합니다. 저자들은 이 접근 방식이 다양한 음향 조건에서 미지의 딥페이크 공격에 대한 더 강건한 탐지로 이어진다고 단언합니다. 앙상블 점수 추론 전략은 추론 시 품질 레이블을 추정하는 계산 오버헤드 없이 결정 경계를 안정화하고 탐지 강건성을 개선하는 핵심 요소로 강조됩니다. 본 연구는 진화하는 딥페이크 위협에 맞서 더욱 신뢰할 수 있는 대응책을 구축하기 위해 음성 품질 지표를 통합하는 것의 중요성을 강조합니다.