LaP-Forensics: Latent-Pixel Consistency Guided Multimodal Reasoning for Deepfake Detection

기술 요약: LaP-Forensics

문제 정의
최근의 생성형 AI 모델(예: Flux, Stable Diffusion 3.5)은 가시적인 시각적 아티팩트(artifact)를 크게 줄여, 합성 이미지를 의미론적 및 국소적 수준 모두에서 매우 일관성 있게 만들었습니다. 이러한 진화는 표면적인 외관 단서에만 의존하는 기존의 포렌식 탐지기 및 설명 방식의 효용성을 약화시킵니다. 기존 방식들은 이분법적 한계에 직면해 있습니다: 이미지 수준의 탐지기는 의미론적 해석이 제한적이며, 멀티모달 거대 언어 모델(MLLM) 기반의 에이전트는 인간이 읽을 수 있는 설명을 생성하지만 명시적인 포렌식 증거에 근거한 근거 제시(grounding)가 부족합니다. 결과적으로, 모델은 실제로는 존재하지 않거나 기저의 포렌식 신호에 의해 뒷받받되지 않는 외관상의 이상 현상에 원인을 돌리며, 설득력 있지만 근거 없는 추론을 생성할 위험이 있습니다. 따라서 단순히 진위 여부를 예측하는 것을 넘어, 명시적이고 공간적으로 국소화된 증거에 기반하여 설명을 제공할 수 있는 포렌식 모델이 절실히 필요합니다.

방법론
LaP-Forensics(Latent-Pixel Forensics)는 고차원 RGB 의미론과 재구성 기반의 호환성 단서를 통합하도록 설계된 이중 스트림 멀티모달 프레임워크입니다. 이 아키텍처는 두 가지 주요 구성 요소로 이루어집니다:

1. 이중 스트림 시각 표현:

   • RGB 의미론 스트림(RGB Semantic Stream): 장면 이해와 객체 의미론을 나타내는 패치 수준의 특징을 추출하기 위해 동결된 CLIP-ViT-L/14 인코더를 사용합니다.
   • 잠재 픽셀 일관성 스트림(Latent-Pixel Consistency Stream): 동결된 Stable Diffusion v1.5 모델을 활용하여 결정론적 DDIM 인버전(inversion) 및 재구성을 수행합니다. 이 과정은 입력 이미지($x$)로부터 고정된 재구성 참조값($\hat{x}$)을 생성합니다. 시스템은 요소별 호환성 잔차 맵($R = |x - \hat{x}|$)을 계산합니다. 잔차가 높은 영역은 재구성 참조값과의 불일치를 나타내며, 이는 합성되거나 편집된 구조를 드러낼 가능성이 있습니다.
   • 융합(Fusion): 두 스트림은 독립적인 프로젝터를 통해 인코딩된 후 MLLM 백본(LLaMA-2-7B)을 위한 공통 토큰 차원으로 결합됩니다.

2. 구조적 추론 및 국소화:

   • 모델은 Where–What–Why(어디서-무엇을-왜) 추론 패러다임을 채택합니다. 모델은 관찰 가능한 이상 현상을 분석하고, 이를 일관성 맵과 연관시키며, 진위 판단을 도출하는 구조화된 텍스트를 생성합니다.
   • 픽셀 수준의 아티팩트 국소화를 트리거하기 위해, 모델은 [SEG] 토큰을 출력하며, 이는 동결된 Segment Anything Model(SAM)에 의해 디코딩되어 아티팩트 마스크를 생성합니다.

3. 2단계 학습:

   • 1단계 (지도 미세 조정 - SFT): 모델은 정제된 Chain-of-Thought(CoT) 데이터로 학습됩니다. 손실 함수는 언어 모델링(cross-entropy)과 아티팩트 세그멘테이션(Dice 및 Binary Cross-Entropy)을 공동으로 최적화합니다.
   • 2단계 (결과 중심 정렬 - Outcome-Driven Alignment): 그룹 상대 정책 최적화(GRPO) 단계는 모델의 출력을 증거와 정렬합니다. 보상 함수($R_{total}$)는 다음을 결합합니다:
     • 마스크 보상 ($R_{mask}$): 정답(ground-truth) 마스크와의 IoU(Intersection over Union)를 기반으로 합니다.
     • 형식 및 증거 참조 보상 ($R_{format}$): 유효하지 않은 구조를 처벌하고, 일관성 맵에 대한 명시적 참조와 유효한 결론을 보상합니다. 결정적으로, 이 항은 텍스트의 구조와 참조 방식을 규제하지만, 자유 형식 설명의 의미론적 진위 여부를 검증하지는 않습니다.

4. 독립형 탐지기: 별도의 이미지 수준 분류 헤드는 두 스트ամ의 [CLS] 토큰을 결합하며, 이진 탐지를 위해 cross-entropy를 통해 최적화됩니다.

주요 기여

• 이중 스트림 프레임워크: 공동 탐지, 추론 및 아티팩트 국소화를 위해 RGB 의미론과 DDIM 유도 재구성 잔차를 통합하는 새로운 아키텍처를 제안합니다.
• 포렌식 프로토콜: "Where–What–Why" 추론 프로토콜과 국소화 품질, 출력 구조 및 증거 참조를 공동 최적화하는 GRPO 목적 함수를 도입합니다.
• 실증적 검증: 광범-생성기 탐지 및 아티팩트 국소화에 대한 광범위한 실험을 통해 잔차 스트림과 설계 선택의 효과를 검증합니다.

실험 결과

• 아티팩트 국소화: SynthScars 벤치마크(공식 프로토콜)에서 LaP-Forensics는 다양한 카테고리(인간, 객체, 동물, 장면)에 걸쳐 mIoU 및 F1 점수 측면에서 LEGION, HiFi-Net, TruFor와 같은 베이스라인을 능가하며 경쟁력 있는 성능을 달升합니다.
• 교차 생성기 탐지: UniversalFakeDetect에서 평가했을 때, 독립형 탐지기는 GAN(97.23%), Diffusion(92.18%), CRN(98.98%), IMLE(98.62%)를 포함한 다양한 생성기 계열 전반에서 높은 정확도를 달성했습니다. 강력한 일반화 능력을 보여주지만, Deepfakes나 SAN과 같은 특정 계열에 대해서는 특화된 베이스라인이 더 강력함을 확인했습니다.
• 절제 연구(Ablation Studies): 정제된 SynthScars-CoT 서브셋에 대한 통제 실험을 통해 다음을 확인했습니다:
  • 잔차 스트림이 가장 핵심적인 구성 요소이며, 이를 제거하면 mIoU(72.19%에서 61.83%로)와 F1이 크게 하락합니다.
  • 다단계 DDIM 인버전($T=50$)이 단일 단계 VAE 잔차나 더 긴 호라이즌($T=100$)보다 민감도와 신뢰성 사이의 더 나은 균형을 제공합니다.
  • 전체 GRPO 보상(마스크 + 형식 + 증거 참조)이 최적의 성능을 위해 필수적입니다. 마스크 품질만을 최적화하면 출력이 불안정해집니다.
  • 역사실적 개입(일관성 맵을 0으로 만들거나 교체함)은 성능을 크게 저하시켜, 모델이 공간적 예측을 위해 잔차 스트림에 의존함을 확인시켜 줍니다.

의의 및 한계점
본 논문은 LaP-Forensics가 표면적인 외관 단서를 넘어 재구성 기반의 호환성 신호를 활용함으로써 설명 가능한 포렌식 분야를 발전시킨다고 주장합니다. 또한 고정된 재구성 참조를 통합함으로써 모델이 어디에서 아티팩트가 발생하는지, 그리고 왜 그것이 판단을 뒷받침하는지를 특정 일관성 맵에 근거하여 추론할 수 있음을 입증합니다.

그러나 저자들은 다음과 같은 한계점을 명시하며 겸허한 입장을 유지합니다:

• 의미론적 충실도(Semantic Faithfulness): 텍스트 측 보상은 증거 맵을 참조하도록 권장하지만, 생성된 자유 형식 설명의 의미론적 진위 또는 충실도를 보장하지는 않습니다.
• 강건성(Robustness): DDIM 잔차는 특정 Stable Diffusion 참조에 묶여 있으며, 후처리, 미세한 편집 또는 자연적인 고주파 텍스처(예: 머리카락, 나뭇잎)에 의해 영향을 받을 수 있어 잘못된 국소화(spurious localization)를 초래할 가능성이 있습니다.
• 일반화 가능성: 최적의 인버전 호라이즌($T=50$)과 성능 지표는 평가된 백본 및 프로토콜에 특화되어 있어, 모든 데이터셋이나 후처리 조건에 대해 보편적으로 일반화되지 않을 수 있습니다.

연구를 촉진하기 위해 소스 코드와 모델은 공개 배포될 예정입니다.