Deepfake Audio Detection Using Self-supervised Fusion Representations

기술 요약: 자기지도학습 융합 표현을 활용한 딥페이크 오디오 탐지

문제 제기
최근 음성 생성 기술의 발전은 오디오 합성 품질을 향상시켰지만, 동시에 사칭과 허위 정보 유포가 가능한 딥페이크 제작을 용이하게 만들었습니다. 기존 탐지 방법들은 오디오를 통합된 신호로 취급하는 경향이 있어, 하위 구성 요소들의 고유한 특성을 충분히 반영하지 못하는 경우가 많습니다. 현실적인 시나리오에서는 음성 및 환경 소리가 독립적으로 조작될 수 있으며, 이로 인해 단일 모델 접근법으로는 포착하기 어려운 잠재적 불일치가 발생합니다. 본 논문은 2026 년 '환경 인식 음성 및 소리 딥페이크 탐지 챌린지 (ESDD2)'를 다루며, 특히 음성 및 환경 소리가 독립적으로 진본이거나 위조될 수 있는 구성 요소 수준의 탐지를 목표로 합니다.

방법론
저자들은 음성과 환경적 맥락 표현을 공동으로 모델링하도록 설계된 이중 분기 딥페이크 탐지 프레임워크를 제안합니다. 아키텍처 및 주요 구성 요소는 다음과 같습니다:

• 이중 사전 학습 인코더: 시스템은 입력 오디오에서 상호 보완적인 표현을 추출하기 위해 두 가지 다른 자기지도학습 (SSL) 모델을 활용합니다:
  • XLS-R: 음성 관련 표현을 추출하는 데 사용됩니다.
  • BEATs: 환경 소리 표현을 포착하는 데 사용됩니다.
• 양방향 교차 어텐션: 두 스트림 간의 정보 교환을 촉진하기 위해 멀티헤드 교차 어텐션 모듈이 사용됩니다. 음성 표현은 먼저 환경 표현의 차원과 일치하도록 투영된 후 양방향 상호작용을 거쳐 정제된 특징 스트림 ($F^*_{speech}$ 및 $F^*_{env}$) 을 생성합니다.
• 구성 요소 수준 분류: 정제된 표현은 두 개의 별도 AASIST 분류기를 통과하여 음성 분기 ($P_{speech}$) 와 환경 분기 ($P_{env}$) 에 대한 위조 확률을 독립적으로 예측합니다.
• 원본 클래스 추정을 위한 매칭 헤드: 원본 클래스 확률을 추정하기 위해 원시 음성 및 환경 표현 간의 불일치를 모델링하는 전용 모듈이 사용됩니다. 이는 다음 단계를 포함합니다:
  1. 표현을 공유 잠재 공간으로 투영합니다.
  2. 시간 차원을 따라 통계적 풀링 (평균, 최대, 표준편차, 및 $\ell_2$ 노름) 을 적용합니다.
  3. 연결, 원소별 곱셈, 및 절대 차이 연산을 통해 특징을 결합합니다.
  4. 결합된 벡터를 피드포워드 네트워크 (FFN) 를 통해 처리합니다.
• 데이터 증강 및 학습: 학습 전략에는 작업 인식 데이터 증강 (원본, 연결, 가중 합계, 부분, 및 시간 이동된 조합의 혼합) 과 확률적 노이즈 주입이 포함됩니다. 클래스 불균형을 해결하기 위해 클래스 인식 샘플링 방식이 소수 클래스를 오버샘플링합니다. 모델은 가중 다중 작업 손실 (음성 및 환경 손실은 1.0, 원본 클래스는 0.2 로 가중치 부여) 과 일관성을 강제하는 순위 기반 정규화 항으로 학습됩니다.

주요 기여

1. 구성 요소 수준 모델링: 오디오를 전체적으로 처리하는 기존 방법과 달리, 이 프레임워크는 음성과 환경 구성 요소를 명시적으로 분리하여 독립적인 조작을 탐지하기 위해 공동으로 모델링합니다.
2. 이중 SSL 융합: XLS-R 과 BEATs 의 통합은 음성 및 일반 오디오 SSL 모델의 강점을 활용하여 상호 보완적인 맥락 표현을 추출할 수 있게 합니다.
3. 하이브리드 아키텍처: 특징 상호작용을 위한 교차 어텐션과 불일치 모델링을 위한 매칭 헤드의 결합은 시스템이 구성 요소 수준의 위조 확률과 전체 원본 클래스를 모두 추정할 수 있게 합니다.
4. 불일치에 대한 강건성: 이 설계는 조작된 구성 요소와 진본 구성 요소 간의 잠재적 불일치 탐지를 특히 목표로 하여, 환경 인식 위조 오디오에 대한 강건성을 향상시킵니다.

결과
제안된 시스템은 진본 및 위조 음성과 환경을 포함한 모든 조합을 나타내는 다섯 가지 클래스로 구성된 25 만 개 이상의 오디오 샘플을 포함하는 CompSpoofV2 데이터셋에서 평가되었습니다.

• 성능: 테스트 세트에서 제안된 방법은 **F1 점수 70.20%**를 달성하여 기존 시스템 (63.27%) 보다 약 7~8% 더 높은 성능을 보였습니다.
• 환경 탐지: 시스템은 환경 동등 오류율 (EER) 에서 유의미한 감소를 보여주어, 평가 세트에서 16.54%, 테스트 세트에서 18.83%를 기록했습니다. 이는 기존 시스템의 각각 43.36% 및 42.79%에 비해 향상된 수치입니다.
• 효율성: 이중 인코더 아키텍처의 복잡성에도 불구하고, 이 방법은 기존 시스템의 4 시간에 비해 에폭당 약 1 시간의 계산 효율성을 보이며 우수한 탐지 능력을 유지했습니다.
• 절대 실험: 매칭 헤드, 교차 어텐션, 또는 특정 증강 전략과 같은 구성 요소를 제거하면 성능이 저하됨을 실험을 통해 확인하여 전체 프레임워크의 필요성을 입증했습니다.

의의
본 논문은 이 접근법이 환경 인식 위조가 포함된 시나리오를 특히 포함하여 다중 클래스 딥페이크 탐지 능력을 크게 향상시킨다고 주장합니다. 통합 신호 처리를 넘어 구성 요소 수준 분석으로 이동함으로써, 이 프레임워크는 음성과 환경 소리가 독립적으로 조작될 때 발생하는 특정 불일치를 더 잘 포착합니다. 결과는 기존 기준 방법 대비 탐지 성능과 계산 효율성 사이의 우수한 균형을 제공하기 위해 교차 어텐션과 전용 불일치 모델링 헤드가 결합된 이중 자기지도학습 인코더를 통합하는 것이 효과적임을 보여줍니다. 저자들은 이 접근법이 ESDD2 2026 챌린지의 과제를 효과적으로 해결하며, 향후 고급 융합 전략 및 실제 조건에서의 강건성에 대한 연구의 기초를 마련한다고 결론지었습니다.