기술 요약: 오디오 딥페이크 탐지에서의 성별 편향, 학습 구성 및 사후 조정(Post-Hoc Mitigation)

문제 정의

오디오 딥페이크 탐지 모델은 인간의 정체성을 검증하는 데 있어 점점 더 중요해지고 있으나, 높은 전체 정확도는 종종 인구통계학적 그룹 간의 상당한 성능 격차를 은폐한다. 기존 연구들은 성별 편향에 대해 상충되는 결과들을 보고해 왔다. 일부 연구는 여성 음성으로 학습된 모델이 스펙트럼 아티팩트(spectral artifacts)로 인해 남성 음성으로 학습된 모델보다 성능이 우수하다고 제안하는 반면, 다른 연구들은 아키텍처와 상관없이 남성 화자가 더 높은 허위 양성(false positive) 비율을 겪는다고 지적한다. 이러한 모순은 이전 연구들이 학습 데이터의 성별 구성을 통제하지 못했기 때문에 발생하며, 이로 인해 편향의 방향을 구성으로부터 예측할 수 있는지, 이것이 공격 유형과 어떻게 상호작용하는지, 그리고 균형을 달하는 방법이 중요한지 여부가 불분명하다. 또한, 사후 임계값 보정(post-hoc threshold calibration)이 근본적으로 성별 격차를 줄일 수 있는지, 아니면 그 효능에 한계가 있는지도 여전히 불분명하다.

방법론

저자들은 32가지의 뚜렷한 스푸핑 공격(Text-to-Speech, Voice Conversion, Adversarial Perturbation)을 포함하는 ASVspoof5 데이터셋을 사용하여 체계적인 연구를 수행하였다. 학습 구성의 효과를 분리하기 위해, 연구진은 모든 공식 파티션의 발화(utterance)를 모아 각 공격 및 성별 그룹에 대해 70% 훈련, 10% 개발, 20% 평가 세트로 재구성한 맞춤형 제어 분할(controlled split)을 구축하였다.

실험 설계:

• 학습 구성: 9가지의 뚜렷한 성별 구성 설정을 테스트하였다:
  • 베이스라인: 여성 전용(F), 남성 전용(M), 그리고 결합형(100% F + 100% M).
  • GenderMix: 불균형의 경사를 만들기 위한 6가지 부분 혼합 구성 (예: F+25%M, M+75%F).
• 모델 및 특징(Features): 총 384개의 공격별 모델을 학습시켰다:
  • 288개 모델은 이전 연구에서 더 큰 성별 격차를 보이는 것으로 선택된 WavLM-Base+ 특징을 사용하였다.
  • 96개 모델은 LogSpectrogram 특징을 사용하여 베이스라인 비교를 수행하였다.
  • 모든 모델은 ResNet18 분류기를 활용하였다.
• 평가: 모델은 동일 공격(same-attack) 및 교차 공격(cross-attack) 시나리오에서 평가되었다. 성능은 등가 오류율(EER)과 6가지 그룹 공정성 지표인 통계적 패리티 차이(SPD), 기회 균등 차이(EOpD), 등가 오즈 차이(EOD), 허위 양성률 격차(FPR gap), 양성 예측 가치 차이(PPD), 임계값 오류 차이(TED)를 사용하여 측정되었다.
• 완화(Mitigation): 표준 글로벌 임계값 설정, 성별별 EER/FPR/TPR/DP 보정, 그리고 사후 보정의 이론적 상한선을 설정하기 위한 오라클 보정(Oracle calibration, 전체 테스트 세트 레이블 사용)을 포함한 6가지 사후 임계값 보정 전략을 적용하였다.
• 검증: 통계적 유의성은 Benjamini–Hochberg 보정을 적용한 Poisson 부트스트랩 리샘플링($N=1000$)을 통해 확인되었다.

주요 기여

1. 통제된 구성 연구: 본 연구는 오디오 딥페이크 탐지에서 학습 성별 구성을 통제된 독립 변수로 체계적으로 변화시킨 첫 번째 연구이며, 9가지 구성에 걸쳐 384개의 모델을 학습시켰다.
2. 구성-편향 인과관계: 본 연구는 학습 시 소수 그룹이었던 성별이 테스트 시에 일관되게 더 높은 오류율을 겪는다는 것을 32개 공격 중 31개에서 입증하였으며, 이는 어떤 성별이 소수인지와 무관하게 나타났다.
3. 특징 표현의 격차: 저자들은 **WavLM-Base+**가 동일한 조건에서 LogSpectrogram보다 3.0~4.3배 더 큰 성별 성능 격차를 생성함을 보여준다. 결정적으로, 균형 잡힌 학습은 LogSpectrogram의 편향을 거의 제거하지만 WavLM의 편향은 여전히 유지시킨다는 점을 밝혀냈는데, 이는 자기 지도 학습(self-supervised pre-training) 과정에서 심어진 성별 상관관계가 미세 조정(fine-tuning)을 통해서도 지속됨을 시사한다.
4. 공격 유형별 특이성: 음성 변환(Voice conversion) 공격이 가장 큰 성별 격차를 생성하는 반면, 적대적 섭동(adversarial perturbation) 공격은 가장 작은 EER 격차를 생성하면서도 가장 큰 인구통계학적 패리티 격차를 생성한다는 것을 발견하였다. 이는 단일 지표가 모든 공정성 차원을 포착할 수 없음을 강조한다.
5. 사후 완화의 한계: 본 연구는 오라클 보정을 포함한 6가지 보정 전략 모두가 EER 격차를 줄이는 데 실패했으며, 해당 격차가 1.317 pp로 고정되어 있음을 증명하였다. 이는 임계값 조절이 분포 수준의 점수 격차를 수정할 수 없음을 확인시켜 준다.

결과

• 학습 구성: 학습 세트에서 우세한 성별이 테스트 시에 유리하다. 예를 들어, 여성 중심 구성에서는 남성 화자가 현저히 높은 EER을 겪는다. 소수 성별의 비율을 높이면 EER 격차가 단조롭게 감소하지만 수확 체감의 법칙이 나타나며, 오직 완전히 결합된 학습(두 성별 모두 100%)만이 낮은 격차(LogSpectrogram 0.273 pp, WavLM 0.273 pp)를 달성한다.
• 특징 민감도: LogSpectrogram의 편향은 균형 잡힌 데이터에 의해 중화되는 반면, WavLM-Base+의 편향은 지속된다. 이는 WavLM이 (94,000시간의 레이블 없는 음성 데이터로 진행된) 사전 학습 단계에서 성별 정보를 인코딩하며, 이것이 균형 잡힌 데이터로 미세 조정하더라도 제거되지 않음을 나타낸다.
• 교차 공격 일반화: 교차 공격 평가 하에서는 동일 공격 평가에서 관찰된 단조적 경향이 무너진다. 공격 유형에 따라 불리한 성별이 뒤바뀔 수 있으며, 결합 학습을 통해서도 EER 격차가 높게(1.491–1.963 pp) 유지된다는 것은 편향이 특징 표현에 깊게 박혀 있음을 시사한다.
• 보정 실패: 사후 임계값 보정 전략은 특정 지표(예: TC FPR은 허위 알람률을 균등화함)를 성공적으로 균등화하지만, 이는 다른 지표(예: 진양성률 감소)를 희생시키며 수행된다. 가장 결정적으로, 어떤 전략도 EER 격차를 줄이지 못했으며, EER 격차는 모든 구성과 전략에 걸쳐 1.317 pp로 일정하게 유지되었다.
• 지표의 분산: 공정성 지표의 선택은 공격의 공정성 순위를 크게 변화시킨다. 예를 들어, A28(사전 학습된 YourTTS)은 비율 기반 지표에 의해 가장 편향된 것으로 나타나지만 TED에 의해서는 그렇지 않은 반면, A19(MaryTTS)는 비율 기반 지표에서는 가장 공정하지만 TED 측면에서는 최악의 결과를 보인다.

의의 및 주장

본 논문은 오디오 딥페이크 탐지에서의 성별 공정성이 단순히 임계값 선택의 산물이 아니라, 학습 구성, 공격 유형, 그리고 특징 표현 사이의 상호작용에서 비롯된다고 주장한다.

저자들의 주장은 다음과 같다:

1. 편향은 구조적이다: 격차는 단순한 최종 분류기가 아니라 데이터 구성과 사전 학습된 표현(특히 WavLM과 같은 SSL 모델)에 뿌리를 두고 있다.
2. 사후 조정의 한계: 사후 보정이 달성할 수 있는 것에는 근본적인 한계가 있다. 임계값 조절은 ROC 곡선의 형태를 바꾸지 않고 작동점(operating point)만을 이동시키기 때문에, 분포 수준의 EER 격차를 해결할 수 없다.
3. 학습 시점의 필수성: 공정성은 학습 시점에 다루어져야 한다. 본 연구는 SSL 기반 탐지기의 경우, 단순히 학습 데이터를 균형 있게 맞추는 것만으로는 불충분하며, 개입이 표현(representation) 또는 사전 학습 단계에서 이루어져야 함을 시사한다.
4. 배포 가이드라인: 실무자는 집계된 지표보다는 특정 공격에 대한 성별별 EER을 보고해야 하며, 학습 성별 구성을 메타데이터로 문서화해야 한다. 또한, 특정 실패 모드(예: 허위 알람 vs 미탐지)를 완화하고자 하는 목적에 따라 보정 전략을 선택해야 하며, 단일 전략이 모든 공정성 기준을 동시에 만족할 수 없음을 인지해야 한다.

본 논문은 사후 방식이 특정 지표의 격차를 부분적으로 완화할 수는 있지만, 근본적인 구조적 편향을 고칠 수는 없으므로, 신뢰할 수 있는 스푸핑 대응책을 위해서는 데이터 및 표현 수준의 개입으로 전환해야 한다고 결론짓는다.