AdaForensics: Learning A Characteristic-aware Adaptive Deepfake Detector

기술 요약: AdaForensics

문제 정의

생성 모델의 급격한 발전으로 인한 딥페이크 기술은 실제 이미지와 구분이 거의 불가능할 정도로 매우 사실적인 미디어를 생성할 수 있게 되었습니다. 이러한 기술은 긍ek적인 활용 가능성도 가지고 있지만, 음란물 생성, 가짜 뉴스, 정치적 루머와 같은 악의적인 오용에 따른 상당한 위험을 초 easily 초래합니다. 따라서 미디어의 신뢰성을 검증하기 위한 효과적인 탐지 방법이 매우 중요합니다.

기존의 딥페이크 탐지 방식은 일반적으로 특정 아티팩트(예: 블렌딩 경계, 주파수 불일치 또는 뉴런 행동)를 식별하도록 설계된 고정된 네트워크 아키텍처에 의존합니다. 그러나 이러한 정적 탐지기는 근본적인 한계에 직면해 있습니다. 즉, 입력 이미지의 고유한 얼굴 특성과 관계없이 모든 이미지에 대해 동일한 탐지 로직을 적용한다는 점입니다. 논문에서 입증되었듯이, 동일한 위조 방법이라도 피사체의 고유한 특징(예: 피부색, 머리카락, 눈썹 모양)에 따라 판이하게 다른 아티팩트를 생성할 수 있습니다. 또한, 서로 다른 조작 방법은 동일한 원본 얼굴을 각기 다른 방식으로 변형시킵로 합니다. 고정된 네트워크는 이러한 다양성에 적응하는 데 어려움을 겪으며, 서로 다른 개인이나 위조 유형에 대한 맞춤형 탐지를 제공하지 못합니다.

방법론

고정된 네트워크의 경직성을 해결하기 위해, 저자들은 특성 인지형 적응형 딥페이크 탐지기인 AdaForensics를 제안합니다. 핵심 혁신은 입력 이미지의 특정 특성에 따라 기본 탐지기의 파라미터를 동적으로 조정하는 하이퍼네트워크(HyperNetwork) 아키텍처를 사용하는 것입니다.

이 프레임워크는 세 가지 주요 구성 요소로 이루어져 있습니다:

1. 특성 불가지론적 분기 (Characteristic-Agnostic Branch):

   • 이 분기는 모든 딥페이크 이미지에 걸쳐 공통적인 속성을 포착하는 공유 가능한 추상화 임베딩($e_{agnostic}$)을 학습합니다.
   • 학습 가능한 임베딩 벡터는 특성 불가지론적 하이퍼네트워크($H_{agnostic}$)에 의해 처리되어 가중치($W_{agnostic}$)를 생성합니다.
   • 이 구성 요소는 탐지기가 훈련 세트에 공통적인 위조 아티팩트에 대한 일반적인 지식을 유지하도록 보장합니다.

2. 특성 특정적 분기 (Characteristic-Specific Branch):

   • 이 분기는 입력 이미지($I$)로부터 고유한 얼굴 특징을 추출합니다. 이는 AdaFace 방식의 ResNet 백본을 기반으로 한 얼굴 특징 추출기($E$)를 사용하여 임베딩($e_{specific}$)을 생성합니다.
   • 특성 특정적 하이퍼네트워크($H_{specific}$)는 이 임베딩을 처리하여 개인의 얼굴 특성에 맞춤화된 가중치($W_{specific}$)를 생성합니다.
   • 이를 통해 탐지기가 특정 인물과 관련된 고유한 위조 아티팩트에 적응할 수 있게 합니다.

3. 주 네트워크 (Target Detector):

   • 주 탐지기는 Xception 아키텍처를 기반으로 합니다.
   • 두 분기에서 생성된 가중치는 (원소별 곱셈을 통해) 융합되어 적응형 가중치($W$)를 형성합니다.
   • 이 융합된 가중치는 Xception 네트워크의 첫 번째 컨볼루션 레이어에 주입됩니다.
   • 그 후 네트워크는 입력 이미지를 처리하여 분류 확률을 생성합니다.

이 시스템은 공유 가능한 추상화와 개인별 특정 지식을 동시에 학습하도록 설계되어, 추론 과정 중 실시간으로 동적으로 적응할 수 있습니다.

주요 기여

• 특성 인지형 적응 (Characteristic-Aware Adaptation): 본 논문은 특성 조건부 지식을 통합함으로써 정적 탐지를 넘어선 새로운 접근 방식을 소개합니다. 이 지식은 특성 불가지론적(공유 가능한) 요소와 특성 특정적(개별적) 요소로 분리됩니다.
• 두 분기 하이퍼네트워크 (Two-Branch HyperNetwork): 저자들은 입력 이미지의 특성에 따라 기본 탐지기의 파라미터를 자동으로 조정하는 특정 하이퍼네트워크 아키텍처를 설계했습니다. 저자들이 아는 바로는, 이는 딥페이크 탐지 작업에 하이퍼네트워크를 적용한 첫 번째 사례입니다.
• 동적 파라미터 조정 (Dynamic Parameter Adjustment): 단일 고정 아키텍처에 의존하는 방법들과 달리, AdaForensics는 타겟 레이어에 대한 가중치를 동적으로 생성하여, 다양한 얼굴 특성으로 인해 발생하는 위조 아키팩트의 다양성을 처리할 수 있게 합니다.

실험 결과

저자들은 FaceForensics++ (FF++), Celeb-DF, DFDC를 포함한 널리 사용되는 데이터셋을 사용하여 intra-dataset 및 cross-dataset 테스트 프로토콜 모두에서 AdaForensics를 평가했습니다.

• Intra-Dataset 성능: FF++c23에서 학습된 이 방법은 FF++c23 테스트 세트에서 0.9889의 AUC를 달 기록하며, 기존의 최첨단 방법들(예: UCF, Xception)을 상당한 차이로 앞질렀습니다. 또한 모든 FF++ 조작 유형 및 압축 수준에 대해 평균 0.9583의 가장 높은 평균 AUC를 달성했습니다.
• Cross-Dataset 성능: FF++c23에서만 학습되고 본 적 없는 데이터셋(CDFv1, CDFv2, DFDC 등)에서 테스트되었을 때, AdaForensics는 우수한 일반화 능력을 보여주었습니다. 이 방법은 평균 0.8160의 AUC를 달성하여 차순위 방법보다 2.85% 높은 성능을 보였습니다. 특히, 기존 방법들과 비교했을 때 CDFv1에서 5.43%, DFD에서 5.86%의 성능 향상을 나타냈습니다.
• Ablation 연구: 실험을 통해 두 분기의 시너지 효과를 확인했습니다. 특성 불가지론적 분기만으로도 상당한 이득을 제공했지만, 두 분기를 결합했을 때 최상의 결과를 얻었으며, 이는 공유 가능한 추상화와 개인별 특정 통찰력을 통합하는 것의 필요성을 입증합니다.

의의 및 주장

본 논문은 현재의 딥페이크 탐지기가 가진 "경직성"을 해결함으로써 AdaForensics가 중요한 진전을 이루었다고 주장합니다. 위조 아키팩트가 개별적인 얼굴 특성에 따라 달라진다는 점을 인정함으로써, 제안된 방법은 고정된 네트워크가 갖지 못한 맞춤형 탐지 능력을 제공합니다.

저자들은 다음과 같이 주장합니다:

1. 다양하고 개인별로 특화된 지식을 네트워크 파라미터에 성공적으로 통합했습니다.
2. 입력값에 따라 조건화된 사전 지식을 제공함으로써, 다양한 딥페이크에 걸친 여러 위조 아티팩트의 불확실성을 효과적으로 제거합니다.
3. Intra-dataset 및 Cross-dataset 시나리오 모두에서 최첨단 성능을 달 achievement 하여, 역동적인 딥페이크 탐지 환경에서의 견고함과 적응성을 입증했습니다.

이 연구는 중국 국가자연과학재단 및 관련 심천 연구 프로그램의 지원을 받았습니다.