1. 연구 배경 및 문제 정의 (Problem)

• 배경: 생성형 AI (AIGC) 의 발전으로 딥페이크 (Deepfake) 기술이 고도화되어, 얼굴 교체 (Face Swapping) 나 표정 재연 (Facial Reenactment) 등을 통해 매우 사실적인 위조 이미지를 생성할 수 있게 되었습니다. 이는 사기, 허위 정보 유포 등 심각한 보안 위협이 되고 있습니다.
• 기존 방법의 한계:
  • 전통적 탐지기: CNN 또는 ViT 기반의 이진 분류기로, 해석 가능성 (Interpretability) 이 부족하고 "왜 위조되었는지"에 대한 텍스트 설명을 제공하지 못합니다.
  • MLLM 기반 방법: 멀티모달 대규모 언어 모델 (MLLM) 을 도입하여 설명을 생성하려는 시도가 있었으나, 두 가지 주요 문제가 존재합니다.
    1. 전문 지식의 부재: MLLM 은 딥페이크 탐지에 필요한 전문적인 포렌식 (Forensic) 지식 (예: 특정 조작 기법별 아티팩트) 이 부족합니다.
    2. 할루시네이션 및 정적 지식: 기존 연구는 정적 (Static) 인 외부 지식 (키워드 리스트 등) 을 주입하거나 작은 탐지기와 결합하는 방식인데, 이는 MLLM 이 진정으로 비판적 사고 (Critical Reasoning) 를 하거나 노이즈가 섞인 참조 정보를 처리하는 능력을 키우기 어렵게 만듭니다.
• 핵심 질문:
  1. MLLM 에게 고품질의 연관된 딥페이크 지식을 어떻게 제공할 것인가?
  2. 노이즈가 포함된 참조 정보 하에서 MLLM 에게 비판적 추론 능력을 어떻게 부여할 것인가?

2. 제안 방법론 (Methodology)

저자는 검색 증강 생성 (RAG) 과 강화 학습 (RL) 을 결합하여 VRAG-DFD 프레임워크를 제안했습니다. 이 방법은 동적인 위조 지식 검색과 강력한 비판적 추론 능력을 구현합니다.

가. 데이터 구축 (Datasets)

고품질의 포렌식 지식을 확보하기 위해 두 가지 전용 데이터셋을 구축했습니다.

1. 법의학 지식 데이터베이스 (FKD, Forensic Knowledge Database):
   • FF++ 데이터셋을 기반으로 약 18,000 개의 항목을 구성 (진실/위조 1:1 비율).
   • Contrastive Annotation: 위조 이미지와 원본을 비교하여 조작 영역과 아티팩트 (예: 경계 흐림, 텍스처 불일치) 를 전문 용어로 상세히 주석 다는 방식.
   • 4 가지 주요 조작 기법 (DeepFakes, Face2Face, FaceSwap, NeuralTextures) 에 대한 가이드를 적용하여 정밀한 주석을 생성.
2. 법의학 체인 오브 씽킹 데이터셋 (F-CoT, Forensic Chain-of-Thought):
   • MLLM 이 검색된 증거를 비판적으로 활용하도록 훈련하기 위한 지시 튜닝 데이터.
   • 3 가지 유형으로 분류:
     • Type 1 (Cross-Verification): 초기 판단이 맞고 검색 증거가 혼합된 경우 (신뢰할 수 있는 증거 선택, 노이즈 제거).
     • Type 2 (Evidence-Guided Correction): 초기 판단이 틀렸으나 검색 증거가 올바른 경우 (증거를 통해 오류 수정).
     • Type 3 (Resilient Rejection): 초기 판단이 틀리고 검색 증거가 오해의 소지가 있는 경우 (잘못된 외부 증거를 거부하고 내부 시각 지식으로 회귀).
   • 구조: ① 예비 시각 분석 $\rightarrow$ ② RAG 참조 정보 분석 $\rightarrow$ ③ 융합, 추론, 결정 $\rightarrow$ ④ 최종 답변.

나. 프레임워크 아키텍처

1. 동적 법의학 검색기 (Dynamic Forensic Retriever):
   • 쿼리 이미지와 유사한 사례를 FKD 에서 검색합니다.
   • 일반적인 CLIP 모델 대신, 딥페이크 탐지에 특화된 기존 탐지기 (Effort 등) 를 임베딩 모델로 사용하여 정확한 검색을 수행합니다.
   • 검색된 결과는 이미지 자체가 아닌, 고품질의 텍스트 주석 (F-CoT) 입니다. 이는 시각적 노이즈를 줄이고 추론에 필요한 전문 정보를 제공합니다.
2. 비판적 추론 MLLM:
   • 쿼리 이미지와 검색된 텍스트 증거를 입력받아 위조 여부를 판단하고 설명을 생성합니다.

다. 3 단계 훈련 파이프라인

MLLM 의 비판적 추론 능력을 점진적으로 함양하기 위한 전략입니다.

1. Stage 1: 기초 시각 정렬 (Foundational Visual Alignment):
   • 대규모 FF++ 데이터 (약 8 만 장) 를 사용하여 MLLM 에게 기본적인 위조 아티팩트 인식 능력을 학습시킵니다. (VQA 태스크 기반)
2. Stage 2: 비판적 추론 SFT (Supervised Fine-Tuning):
   • F-CoT 데이터셋을 사용하여 모델이 구조화된 추론 과정 (시각 분석 $\rightarrow$ 증거 분석 $\rightarrow$ 융합) 을 모방하도록 학습시킵니다.
3. Stage 3: 자율 추론 강화 학습 (RL-GRPO):
   • GRPO (Group Relative Policy Optimization) 를 적용합니다.
   • Process-Aware Reward Function:
     • Format Reward: F-CoT 구조 준수 여부.
     • Conflict Reward: 모델의 초기 시각 판단과 외부 RAG 증거 간의 충돌 상황에서, 올바른 논리적 결론을 도출했는지 평가합니다. (충돌을 올바르게 해결하면 높은 보상, 실패하면 큰 패널티)
   • 이를 통해 모델이 단순한 모방을 넘어, 모순된 증거를 비판적으로 평가하고 자율적으로 결정하는 능력을 습득합니다.

3. 주요 기여 (Key Contributions)

1. 고품질 주석 전략 및 데이터셋: 검색 전략을 활용한 고품질 주석 방법론을 제안하고, FKD(전문가 수준의 포렌식 지식) 와 F-CoT(비판적 사고 훈련 데이터) 를 구축했습니다.
2. VRAG-DFD 프레임워크: RAG 와 RL 을 결합한 MLLM 기반 비판적 사고 프레임워크를 설계했습니다. Alignment $\rightarrow$ SFT $\rightarrow$ GRPO의 3 단계 훈련 전략을 통해 MLLM 에게 포렌식 전문성과 비판적 추론 능력을 동시에 부여했습니다.
3. SOTA 성능 및 해석 가능성: 여러 딥페이크 탐지 벤치마크에서 State-of-the-Art (SOTA) 성능을 달성하면서도, 높은 정확도의 해석 (Explanation Fidelity) 을 제공합니다.

4. 실험 결과 (Results)

• 성능: CDF-v1, CDF-v2, FFIW, WDF 등 5 가지 주요 벤치마크에서 기존 전통적 탐지기 및 다른 MLLM 기반 방법 (KFD, M2F2-Det 등) 보다 우수한 성능을 보였습니다.
  • 특히 CDF-v1에서 99.60%, CDF-v2에서 95.97% 의 AUC 를 기록하여 SOTA 를 달성했습니다.
• Ablation Study:
  • RAG 제거 시: 성능이 급격히 하락하여 동적 외부 증거의 중요성을 입증했습니다.
  • 3 단계 훈련: 각 단계 (시각 정렬, SFT, RL) 가 모두 필수적이며 상호 보완적임을 확인했습니다.
  • 검색기 비교: Effort 기반 검색기와 CLIP-LoRA 기반 검색기 모두에서 우수한 성능을 보여 프레임워크가 특정 검색기에 종속되지 않음을 보였습니다.
• 해석 품질 평가: GPT-4o 와 Gemini 2.5 Pro 를 평가자로 활용했을 때, VRAG-DFD 가 생성한 설명이 정확성, 충실도, 전문성 측면에서 일반 MLLM 보다 월등히 높았습니다.
• 강건성: 검색된 증거가 오해의 소지가 있는 경우 (Misleading Evidence) 에도 모델이 이를 식별하고 내부 시각 지식으로 판단을 수정하는 능력이 탁월했습니다 (Robustness Rate > 96%).

5. 의의 및 결론 (Significance)

이 연구는 딥페이크 탐지 분야에서 MLLM 의 한계 (전문 지식 부족, 할루시네이션) 를 RAG(동적 지식 검색) 와 RL(비판적 추론 강화) 을 통해 효과적으로 해결했습니다.

• 기술적 의의: 정적 지식 주입을 넘어, 상황에 맞는 동적 증거를 검색하고 이를 비판적으로 검증하는 새로운 패러다임을 제시했습니다.
• 실용적 가치: 단순한 "위조/진실" 판별을 넘어, 어떤 아티팩트 때문에 위조로 판단되었는지에 대한 신뢰할 수 있는 근거와 설명을 제공함으로써, 사용자의 신뢰를 높이고 실제 보안 시스템에 적용 가능한 해석 가능한 AI 를 실현했습니다.
• 미래 전망: RAG 기술이 딥페이크 탐지뿐만 아니라 다른 포렌식 및 보안 분야에서 전문 지식 기반의 신뢰할 수 있는 AI 를 구축하는 데 중요한 역할을 할 수 있음을 입증했습니다.