Beyond Seeing Is Believing: On Crowdsourced Detection of Audiovisual Deepfakes

기술 요약: 보는 것이 믿는 것이 아니다: 오디오비주얼 딥페이크의 크라우드소싱 탐지에 관하여

문제 제기
딥페이크 기술이 점점 더 접근하기 쉽고 사실적으로 변함에 따라, 조작된 오디오비주얼 미디어와 진본을 구별하는 인간의 판단 신뢰도는 허위 정보 완화 측면에서 중요한 우려 사항이 되었습니다. 자동화된 탐지기가 존재하지만, 이들은 종종 도메인 전이 (domain shifts) 로 고통받으며 미지의 조작 기법에 대한 견고성이 제한적입니다. 반면, 인간의 지각은 종종 신뢰할 수 없으며, 온라인 조건 하에서는 정확도가 종종 우연 수준에 머무릅니다. 본 논문은 오디오비주얼 진위성을 평가하기 위한 확장 가능한 메커니즘으로서 크라우드소싱의 역할을 조사합니다. 구체적으로, 비전문가 근로자가 진본 비디오와 조작된 비디오를 일관되게 구별할 수 있는지, 판단에 동의할 수 있는지, 그리고 구체적인 조작 유형 (오디오 전용, 비디오 전용, 또는 오디오 - 비디오 결합) 과 그 시간적 위치를 정확하게 식별할 수 있는지 검토합니다.

방법론
저자들은 Prolific 플랫폼을 사용하여 두 개의 매칭된 크라우드소싱 연구를 수행했으며, AV-Deepfake1M과 Trusted Media Challenge (TMC) 데이터셋이라는 두 가지 서로 다른 벤치마크에 걸쳐 단일 실험 프로토콜을 적용했습니다.

• 데이터 샘플링: 각 데이터셋에서 연구자들은 층화 무작위 샘플링을 통해 48 개의 비디오 (진본 12 개, 오디오 전용 조작 12 개, 비디오 전용 조작 12 개, 오디오 - 비디오 결합 조작 12 개) 를 선택하여 총 96 개의 비디오를 구성했습니다.
• 작업 설계: 근로자들은 4 개의 비디오가 포함된 작업 단위를 할당받았습니다. 각 비디오에 대해 먼저 진위성 (진본 vs 조작) 을 판단했습니다. '조작'이 선택된 경우, 유형 (오디오, 비디오, 또는 둘 다) 을 식별하고 대략적인 타임스탬프를 표시했습니다.
• 집계 전략: 비디오 수준의 라벨을 도출하기 위해 본 연구는 두 가지 집계 방법을 사용했습니다.
  1. 다수결 (Majority Vote): 가장 많은 표를 받은 라벨을 선택합니다 (위양성을 최소화하기 위해 동점 시 '진본'을 우대합니다).
  2. 덤프스터 - 샤퍼 (Dempster-Shafer, DS) 이론: 근로자의 신뢰도 (leave-one-out 검증을 통해 계산됨) 를 기반으로 증거에 가중치를 부여하여 불확실성을 처리하고 불완전한 판단을 결합하는 신념 함수 접근법입니다.
• 평가 지표: 본 연구는 분류 성능 (정밀도, 재현율, F1, 위양성/위음성률), annotator 간 일치도 (Krippendorff's $\alpha$, 다수 일치, 쌍별 일치), 그리고 타임스탬프 일관성 (중앙값, IQR, 그리고 $\pm$5% 윈도우 내 일치 점수) 을 측정했습니다. 통계적 유의성은 다중 비교에 대한 적절한 보정을 적용한 비모수 검정 (Mann-Whitney U, McNemar's, Kruskal-Wallis) 을 사용하여 평가했습니다.

주요 기여

1. 데이터셋 및 프로토콜 공개: 저자들은 AV-Deepfake1M 과 TMC 에 대한 두 개의 매칭된 크라우드소싱 연구를 공개하여, 진위성, 조작 유형, 타임스탬프 주석을 포함한 960 개의 판단 (비디오당 10 개) 의 전체 데이터셋과 완전한 작업 구성을 제공했습니다.
2. 비교 분석: 본 연구는 통합된 프로토콜 하에서 두 가지 서로 다른 데이터셋과 세 가지 조작 유형에 걸쳐 정확도, 일치도, 오류 프로파일을 체계적으로 분석하여 보고된 타임스탬프의 내부 일관성을 평가했습니다.
3. 집계 트레이드오프: 본 논문은 다수결 투표와 덤프스터 - 샤퍼 집계를 비교하여, 크라우드 판단을 스크리닝 신호로 사용할 때 놓친 조작 (위음성) 과 오경보 (위양성) 사이의 트레이드오프를 정량화했습니다.

결과

• 진위성 탐지 (RQ1): 크라우드 근로자는 진본 비디오를 조작된 것으로 잘못 분류하는 경우는 드뭅니다 (낮은 위양성률), 하지만 실제 조작을 자주 놓칩니다 (높은 위음성률). 성능은 데이터셋에 따라 크게 달라졌습니다: TMC 는 AV-Deepfake1M 보다 높은 정확도와 재현율을 보였습니다. 집계 (다수결 투표와 DS 모두) 는 진위성 신호를 안정화시켰지만, 다수의 근로자가 일관되게 놓친 조작은 복구할 수 없었습니다. DS 집합은 조작에 대한 민감도를 높여 재현율을 증가시켰지만, 그 대가로 위양성이 증가했습니다.
• 일치도 (RQ2): 근로자 간의 내부 일관성은 전반적으로 제한적이었으나, AV-Deepfake1M 에 비해 TMC 에서 훨씬 더 높았습니다. Krippendorff's $\alpha$는 AV-Deepfake1M 의 경우 0.113 이었고 TMC 의 경우 0.353 이었으며, 이는 크라우드 신호의 안정성이 데이터셋 특성에 크게 의존함을 나타냅니다.
• 조작 유형 식별 (RQ3): 특정 조작 유형을 식별하는 것은 진위성을 탐지하는 것보다 훨씬 노이즈가 많았습니다. 근로자가 비디오를 조작된 것으로 올바르게 플래그했다 하더라도, 이상을 올바른 모달리티에 귀속시키는 데 어려움을 겪었습니다. 오디오 - 비디오 결합 조작은 특히 인식하기 어려웠으며, 종종 단일 모달리티 (보통 오디오 전용) 로 축소되었습니다. 그러나 근로자가 조작을 플래그했을 때, 그들의 타임스탬프 보고는 특히 TMC 데이터셋에서 조작된 세그먼트에 대해 합리적인 수렴을 보였습니다.

의의 및 주장
본 논문은 크라우드소싱이 오디오비주얼 진위성을 위한 확장 가능한 스크리닝 신호로 작용할 수 있다고 결론지으며, 특히 명확한 진본 콘텐츠를 필터링하는 데 유용하지만, 신뢰할 수 있는 탐지나 모달리티 귀속을 위한 독립적인 해결책은 아니라고 강조합니다. 저자들은 다음과 같은 점을 강조합니다:

• 데이터셋 의존성: 크라우드 판단의 효과는 균일하지 않으며, 하부 데이터셋의 특성 (예: 비디오 길이, 조작 품질) 에 따라 크게 달라집니다.
• 모달리티 귀속은 열린 과제입니다: 집계를 통해 비디오가 가짜임을 탐지하는 것은 가능하지만, 어떻게 가짜로 만들어졌는지 (오디오 대 비디오 대 둘 다) 를 결정하는 것은 특히 복잡한 결합 조작의 경우 신뢰할 수 없습니다.
• 실용적 워크플로우: 이 연구 결과는 크라우드소싱을 초기 확장 가능한 스크리닝에 사용하여 추가 검토를 위한 콘텐츠를 우선순위화하고, 모달리티 귀속과 최종 검증은 전문가 검토 또는 모델 지원 인터페이스에 위임하는 2 단계 워크플로우를 지지합니다. 본 연구는 크라우드소싱이 자동화된 탐지기나 전문가 팩트체크를 대체할 수 있다고 주장하는 것이 아니라, 허위 정보 관리 시스템을 위한 인간 - 루프 (human-in-the-loop) 시스템의 구성 요소로서의 유용성을 제안합니다.