1. 연구 배경 및 문제 정의 (Problem)

최근 생성형 AI 의 발전으로 딥페이크 (Deepfake) 의 위험이 커지면서, 이를 탐지하고 설명할 수 있는 기술이 시급합니다. 기존의 CNN 기반 전문 탐지 모델이나 주파수 도메인 탐지기는 특정 분포 (In-distribution) 내에서는 우수한 성능을 보이지만, 해석 가능성 (Interpretability) 이 부족하고 미지 생성기 (Unseen Generators) 에 대한 일반화 능력이 떨어집니다.

최근 멀티모달 대규모 언어 모델 (MLLM) 을 활용한 접근법은 텍스트 기반 설명을 제공하지만, 다음과 같은 세 가지 근본적인 한계가 존재합니다:

1. 할루시네이션과 관측의 혼동: MLLM 이 생성한 텍스트 설명이 실제 시각적 증거와 구별되지 않아, 신뢰할 수 없는 결론을 도출할 수 있음.
2. 고주파 세부 정보의 손실: MLLM 의 글로벌 비전 인코더는 딥페이크 탐지에 필수적인 고주파수 아티팩트 (artifacts) 를 무시하거나 억제함.
3. 증거와 주장의 결합: 기존 방법은 '주장 (Claim)'과 '증거 (Evidence)' 생성을 하나의 단계로 통합함. 즉, 모델이 스스로 증거를 만들어내어 결론을 지지하는 '자기 확증' 구조로, 외부 검증이 불가능함.

2. 제안 방법론: VIGIL (Methodology)

저자들은 위 문제를 해결하기 위해 VIGIL을 제안했습니다. 이는 전문가의 수사 방식을 모방한 부분 중심 (Part-Centric) 구조화된 수사 프레임워크로, '계획 (Plan) 후 검사 (Examine)' 파이프라인을 따릅니다.

핵심 아키텍처

1. 계획 - 후 - 검사 (Plan-then-Examine) 파이프라인:

   • 계획 단계: 모델은 전역적 시각 단서 (Global visual cues) 를 기반으로 어떤 얼굴 부위 (눈, 코, 입 등) 를 검사해야 할지 먼저 계획합니다. 이 단계에서는 외부 신호가 차단되어 모델의 자체 인지에 기반한 선택이 이루어집니다.
   • 검사 단계: 계획된 각 부위에 대해 독립적으로 수집된 포렌식 증거를 기반으로 심층 분석을 수행합니다.
   • 결론 도출: 부분별 분석 결과를 종합하여 최종 판정을 내립니다. 이 과정에서 초기의 잘못된 판단이라도 부분적 증거에 의해 수정 (Reasoning Reversion) 될 수 있습니다.

2. 맥락 인식 동적 신호 주입 (Context-Aware Dynamic Signal Injection):

   • 포렌식 인코더: FFT 기반 주파수 분석 (Spectral branch) 과 DINOv3 기반 픽셀 단위 특징 (Pixel-level branch) 을 추출하는 전용 인코더를 사용합니다.
   • 단계별 게이트 (Stage-Gated) 메커니즘: 전역적 증거 요약은 분석 시작 전 주입되지만, 부위별 (Part-level) 증거는 '검사' 단계에서만 주입됩니다. 이는 모델이 계획 단계에서 신호가 강한 부위를 편향적으로 선택하는 것을 방지하고, 각 부위 분석 시에만 해당 부위의 구체적인 포렌식 데이터를 제공하여 신뢰성을 확보합니다.

3. 점진적 3 단계 학습 패러다임 (Progressive Three-Stage Training):

   • Stage 1 (SFT): 신호 - 의미론적 주석 (Signal-semantic annotations) 을 통한 구조화된 추론 형식 학습.
   • Stage 2 (Self-Training): 거절 샘플링 (Rejection Sampling) 을 통해 어려운 샘플 (Hard samples) 에 대한 올바른 추론 궤적을 확보하고 모델의 범위를 확장.
   • Stage 3 (Reinforcement Learning): 부분 인식 보상 (Part-aware rewards) 을 적용한 강화 학습.
     • Part-Aware Reward: 계획된 부위가 실제로 존재하는지, 계획과 증거가 일치하는지 검증.
     • Consistency Reward: 결론을 먼저 정하고 증거를 조작하는 것을 방지하기 위해, 독립적인 판정자 (Judge LLM) 가 증거만으로 결론을 예측할 수 있는지 검증.

3. 주요 기여 (Key Contributions)

1. VIGIL 프레임워크: 주장 생성과 독립적 증거 수집을 분리하여, 검증 가능하고 부분 기반 (Part-grounded) 인 설명을 제공하는 최초의 구조화된 포렌식 프레임워크.
2. 새로운 학습 및 주입 메커니즘: 계획 단계와 검사 단계를 분리하는 '단계별 게이트' 신호 주입 방식과, 추론의 정확성과 일관성을 보장하는 다차원 보상 강화 학습.
3. OmniFake 벤치마크: 기존 평가 프로토콜의 한계를 극복하기 위해 구축된 5 단계 계층적 일반화 평가 벤치마크.
   • 훈련 데이터는 3 가지 기본 생성기 (StyleGAN2, SD 1.4, SimSwap) 로 제한하고, 테스트는 인-도메인부터 크로스-모델, 크로스-태스크, 그리고 실제 소셜 미디어 (In-the-wild) 데이터까지 점진적으로 난이도를 높여 일반화 능력을 평가합니다.

4. 실험 결과 (Results)

• OmniFake 및 HydraFake 벤치마크: VIGIL 은 기존 전문 탐지기 (Expert Detectors) 와 동시대의 MLLM 기반 방법론 (Veritas, FakeVLM 등) 을 모든 일반화 수준 (Level 1~5) 에서 압도적으로 능가했습니다.
  • 전체 정확도: OmniFake 에서 93.1% (기존 최강자 대비 4.3~5.5% 향상).
  • 고난이도 일반화: 미지의 생성 원리 (Cross-Model) 나 실제 소셜 미디어 데이터 (In-the-wild) 에서 기존 모델들의 성능이 급격히 떨어지는 반면, VIGIL 은 높은 성능을 유지했습니다.
• 추론 품질: ELO 평가에서 VIGIL 이 가장 높은 점수를 받았으며, 특히 강화 학습 (Stage 3) 과 부분 인식 보상이 추론의 논리적 일관성을 크게 향상시켰습니다.
• 강건성 (Robustness): JPEG 압축 및 가우시안 블러와 같은 실제 환경의 노이즈에 대해 기존 모델들보다 훨씬 높은 강건성을 보였습니다.
• 정성적 분석: 모델이 전역적 외관으로 '실제'라고 판단했다가, 부분적 포렌식 증거 (주파수 이상, 픽셀 불일치) 를 발견한 후 결론을 '가짜'로 수정하는 추론 반전 (Reasoning Reversion) 사례가 확인되었습니다.

5. 의의 및 결론 (Significance)

이 논문은 딥페이크 탐지 분야에서 MLLM 의 '할루시네이션' 문제를 구조적으로 해결한 획기적인 접근법을 제시합니다.

• 신뢰성 확보: 주장과 증거를 분리하고 독립적인 포렌식 신호를 단계별로 주입함으로써, 모델의 설명이 실제 시각적 근거에 기반함을 보장합니다.
• 일반화 능력: 특정 생성 모델에 의존하지 않고, 얼굴의 해부학적 부분별 특징과 물리적 신호를 분석함으로써 미지의 생성 기술에도 강건하게 대응할 수 있습니다.
• 확장 가능성: '주장과 증거의 분리'라는 원칙은 딥페이크 탐지를 넘어, 설명이 검증 가능해야 하는 다른 비주얼 포렌식 작업에도 적용 가능한 일반적인 패러다임으로 평가됩니다.

결론적으로 VIGIL 은 단순한 분류기를 넘어, 전문 수사관처럼 체계적으로 증거를 수집하고 논리적으로 결론을 도출하는 차세대 딥페이크 탐지 시스템의 가능성을 입증했습니다.