MADBench: A Benchmark for Modality-Aware Audio Deepfake Detection

기술 요약: MADBench

문제 정의

최근 음성 합성 및 오디오 생성 기술의 발전은 비디오의 다른 부분은 실제임에도 불구하고 음성(speech)과 배경 오디오(background audio)를 독립적으로 조작하는 고충실도 음향 위조를 가능하게 했습니다. 기존 연구들은 시각적 조작을 광범위하게 다루거나 오디오를 하나의 구분되지 않은 스트림으로 취급해 왔으나, 음성(언어적/준언어적 내용)과 환경 오디오(배경 소음, 분위기, 폴리 사운드)를 분리하여 발생하는 독특한 포렌식 과제를 다루는 데에는 여전히 중요한 공백이 존재합니다.

현재의 벤치마크들은 시각적 위조에 집중하거나, 음성을 오디오 스트림의 유일한 대표물로 취급하거나, 모든 오디오 조작을 단일 레이블로 통합하여 처리합니다. 이러한 결합은 음성과 환경 오디오가 서로 다른 생성 메커니즘에서 발생하며, 서로 다른 아티팩트 프로파일을 나타내고, 서로 다른 탐지 과제를 제기한다는 사실을 간과합니다. 결과적으로, 연구 커뮤니티는 실제 비디오 내 합성된 음성의 탐지 가능성, 음성과 비음성 아티팩트 간의 차이, 그리고 조작된 배경 오디오가 음성 탐지를 방해하는지 여부에 관한 근본적인 질문에 답할 수 있는 도구가 부족한 실정입니다.

방법론

데이터셋 구축: MADBench

저자들은 실제 비디오 환경에서 오디오 구성 요소별 딥페이크 탐지를 위해 특별히 설계된 최초의 벤치마크인 MADBench를 소개합니다. 이 데이터셋은 AVSpeech 데이터셋(1,892개의 소스 클립)으로부터 구축되었으며, 다음과 같은 모달리티-구성 요소 계층 구조를 따릅니다:

1. 소스 준비: 화자가 보이는 실제 비디오를 MossFormer2를 사용하여 음성과 환경 오디오 스템(stem)으로 분해하며, 이를 통해 시각적 스트림은 고정된 상태에서 오디오 구성 요소만을 조작할 수 있도록 합니다.
2. 구성 요소 생성:
   • 음성(Speech): 세 가지 기술을 사용하여 생성됩니다: 동일 인물 텍스트 음성 변환(Same-identity TTS), 교차 인물 TTS, 음성 변환(Voice Conversion). 모델로는 F5-TTS, IndexTTS2, SeedVC, Vevo-Timbre가 사용되었습니다.
   • 환경 오디오(Environmental Audio): 텍스트-오디오 생성(TTA), 비디오-오디오 생성(VTA), 오디오-오디오 생성(ATA) 패러다임을 사용합니다. 모델로는 AudioLDM2, AudioGen, MMAudio, FoleyCrafter, AudioX가 포함됩니다.
3. 장면 일관성(Scene Consistency): 조작된 환경 오디오를 장면 일치(시각적 장면에 의미론적으로 타당함) 또는 장면 불일치(의도적으로 일치하지 않음)로 분류하는 핵심 설계 축입니다.
4. 조립(Assembly): 각 소스당 네 가지 샘의 유형을 구성합니다: 실제(Real, R), 음성 위조(Speech-fake, S), 환경 위조(Environment-fake, E), 결합 위조(Joint-fake, Q). 모든 샘플은 지속 시간, 정렬 및 누출(예: 환경 스템에 음성이 섞여 들어가는 현상)에 대해 엄격한 품질 관리(QC)를 거칩니다.

평가 프로토콜

벤치마크는 세 가지 프로토콜(Balanced, Matched, Mismatched) 하에서 세 가지 핵심 과제를 평가합니다:

• 이진 Any-Fake 탐지: 실제(R) 상태와 조작된 상태(S, E, Q)를 구분합니다.
• 4-Way 분류: 특정 상태(R, S, E, Q)를 예측합니다.
• 구성 요소 수준 평가: 음성 또는 환경 오디오가 조작되었는지 독립적으로 결정합니다.

모델 그룹

본 연구는 세 가지 별도의 모델 범주를 벤치마킹합니다:

1. 사전 훈련된 A-V 탐지기(Pretrained A-V Detectors): 직접 전이 학습 또는 경량화된 헤드를 통해 평가되는 작업 특화형 모델(AVH-Align, AV Anomaly, BA-TFD+).
2. 동결된 A-V 인코더(Frozen A-V Encoders): 작업 특화형 헤드가 적응된 범용 표현 모델(ImageBind, PE-AV, CAV-MAE Sync).
3. 옴니 모델(Omni Models): 제로샷 설정에서 평가되는 대규모 멀티모달 모델(MiniCPM-o, Qwen2.5-Omni, Gemma-4, Baichuan-Omni).

주요 결과

1. 기존 탐지기의 전이 가능성

• 사전 훈련된 A-V 탐지기: 이 모델들은 이진 탐지 및 4-way 분류에서 우연 수준에 가까운 성능(AUC ~0.52)을 보였습니다. 이러한 실패는 이 모델들이 얼굴 중심의 비디오를 위해 설계되었으며, 다양한 자연 장면에서의 구성 요소 수준 오디오 위조를 위한 전이 가능한 단서를 갖추지 못했음을 시사합니다.
• 동결된 A-V 인코더: 반면, 이 모델들은 강력한 전이 가능성을 보여주며, 이진 탐지에서 평균 AUC >0.91, 4-way 분류에서 >0.73을 달 기록했습니다. 이들은 탐지 및 속성 추정을 위한 견고한 표현을 제공합니다.
• 옴니 모델: 제로샷 옴니 모델은 제한된 민감도(AUC ~0.54–0.62)를 보였으며, 미세한 4-way 분류를 수행하는 데 실패했습니다. 이는 일반적인 멀티모달 사전 훈련과 구성 요소 속성 추정에 필요한 특정 포렌식 추론 사이의 불일치를 나타냅니다.

2. 음성 대 환경 오디오 탐지

• 환경 오디오의 우위: 동결된 인코더 전반에 걸쳐, 환경 오디오 조작은 음성 조작보다 일관되게 탐지하기 쉬운 것으로 나타났습니다. 이 우위는 장면 일치 프로토콜에서도 지속되었으며, 이는 단순히 시각-오디오 불일치 때문만이 아님을 시사합니다.
• 교차 구성 요소 간섭: 조작된 환경 오디오는 음성 탐지를 비대칭적으로 저하시키는 반면(양의 간섭 갭), 조작된 음성은 환경 탐지에 거의 영향을 미치지 않습니다. 이는 환경 오디오가 전체 음향 맥락을 포괄하는 반면, 음성은 국소적이라는 점에 기인합니다.

3. 장면 일관성 및 시각적 입력

• 장면 그라운딩(Scene Grounding): 동결된 A-V 인코더는 특히 거친(D-R) 및 합성(D-S) 시나리오에서 장면-오디오 불일치를 탐지하기 위해 시각적 맥락을 효과적으로 활용합니다.
• 시각적 필요성: 시각적 스트림이 실제인 조작 탐지 작업의 경우, 동결된 인코더와 오디오 탐지기 모두에서 오디오 전용 입력이 오디오-비주얼 입력보다 일관되게 우수한 성능을 보였습니다. 시각적 스트림은 조작의 존재를 탐지하는 데는 포렌식적 가치를 더하지 않지만, 장면 일관성 추론(오디오가 장면에 부합하는지 확인)에는 필수적입니다.

의의 및 주장

본 논문은 MADBench가 견고하고 구성 요소 인지적인 오디오 딥페이크 탐지 연구를 위한 엄격한 토대를 구축한다고 주장합니다. 주요 기여는 다음과 같습니다:

1. 새로운 벤치마크: 음성과 환경 오디오를 실제 비디오 환경에서 별개의 위조 구성 요소로 취급하여 미세한 평가를 가능하게 한 최초의 벤치마크입니다.
2. 숨겨진 한계 폭로: 기존의 단일 레이블 패러다임이 환경 조작의 우월한 탐지 가능성이나 배경 소음에 의한 음성 탐지의 비대칭적 저하와 같은 중요한 발견을 어떻게 은폐하는지 밝혀냈습니다.
3. 모델 통찰력: 작업 특화형 탐지기는 전이가 실패하는 반면, 범용 오디오-비주얼 인코더는 강력한 베이스라인을 제공하며, 제로샷 옴니 모델은 현재 구성 요소 속성 추론에 필요한 특정 포렌식 추론 능력이 부족함을 입증했습니다.

저자들은 향러 연구가 음성 중심 또는 단일 스트림 오디오 분석을 넘어, 음성과 환경 오디오 구성 요소 간의 구별되고 상호작용하는 포렌식 과제를 해결해야 한다고 결론짓습니다.