Generating Attribution Reports for Manipulated Facial Images: A Dataset and Baseline

1. 문제 제기 (Problem Statement)

기존의 얼굴 위조 (Deepfake 등) 탐지 연구는 주로 이진 분류 (Binary Classification) 또는 **픽셀 단위 국소화 (Pixel-level Localization)**에 집중해 왔습니다. 그러나 이러한 접근 방식에는 다음과 같은 한계가 존재합니다.

• 해석 가능성 부족: 단순히 "위조되었다"는 결과나 위조된 영역의 마스크 (Mask) 만 제공하며, 왜 그 부분이 위조되었는지에 대한 의미론적 (Semantic) 인사이트를 제공하지 못합니다.
• 신뢰성 문제: 현대의 생성 모델은 매우 정교하여 미세한 왜곡이 발생하더라도 인간이 이를 식별하거나 탐지 결과를 신뢰하기 어렵습니다.
• 정보의 부재: 위조된 영역을 식별하는 것뿐만 아니라, 위조된 부위 (예: 눈, 코, 피부 질감 등) 와 그 위조 이유 (예: 피부 질감 부재, 불일치 등) 를 자연어로 설명하는 체계가 부재합니다.

이러한 문제를 해결하기 위해 저자들은 **"위조 귀속 보고서 생성 (Forgery Attribution Report Generation)"**이라는 새로운 멀티모달 태스크를 제안합니다. 이는 위조된 영역을 국소화 ("Where") 하고, 편집 과정을 기반으로 한 자연어 설명 ("Why") 을 생성하는 것을 목표로 합니다.

2. 방법론 (Methodology)

A. 데이터셋: Multi-Modal Tamper Tracing (MMTT)

연구의 핵심 기반은 대규모 데이터셋인 MMTT입니다.

• 규모: 152,217 개의 샘플로 구성되며, 10 만 개의 고품질 얼굴 이미지를 기반으로 합니다.
• 조작 유형: 4 가지 주요 조작 패러다임을 포함합니다.
  1. Face Swapping: GAN 기반 모델 (E4S) 을 사용한 얼굴 교체.
  2. Face Editing: GAN inversion 모델 (StyleCLIP, HFGI) 을 사용한 속성 변경.
  3. Image Inpainting: Transformer (MAT) 및 Diffusion (SDXL) 기반의 국소적 복원/변경.
• 어노테이션 (Annotation):
  • Ground Truth Mask: 조작 과정에서 프로그램적으로 생성된 픽셀 단위의 정밀한 마스크.
  • Textual Description: 30 명의 전문가 어노테이터가 위조 영역의 비자연스러운 특징 (불일치, 흐릿함, 결손 등) 을 식별하여 작성한 상세한 자연어 설명 (평균 27.4 단어, 총 400 만 단어 이상).
  • 품질 관리: 최소 1 분 관찰 시간 준수, 위조 영역 외의 설명 배제, 120 단어 제한 등을 통해 고품질을 유지했습니다.

B. 모델: ForgeryTalker

위조 보고서 생성을 위한 통합 엔드 - 투 - 엔드 프레임워크입니다.

• 아키텍처: InstructBLIP 를 기반으로 확장되었으며, **공유 인코더 (Shared Encoder)**와 이중 디코더 (Dual Decoders) 구조를 가집니다.
  • Shared Encoder: Vision Transformer 와 Q-former 를 사용하여 이미지와 텍스트의 공통된 위식 인식 (Forgery-aware) 표현을 학습합니다.
  • Forgery Prompter Network (FPN): 이미지의 중요한 위조 영역을 식별하여 키워드 (Region Prompts) 를 추출하는 모듈입니다. 이는 하류 태스크의 추론을 안내합니다.
  • Dual Decoders:
    1. Mask Decoder: SAM(Segment Anything Model) 의 Two-way Transformer 를 활용하여 위조 영역의 이진 마스크를 생성합니다.
    2. Large Language Model (LLM): 추출된 시각적 특징과 FPN 의 프롬프트를 기반으로 위조에 대한 자연어 설명을 생성합니다.
• 학습 전략 (Two-Stage Training):
  1. Forgery-aware Pretraining: 4 가지 손실 함수 (Masked Language Modeling, Language Modeling, Forgery Localization, Cross-model Alignment) 를 결합하여 멀티모달 표현을 학습합니다.
  2. Attribution Report Generation: FPN 을 고정하고, 마스크 디코더와 Q-former 를 미세 조정 (Fine-tuning) 하여 국소화 정확도와 보고서 품질을 동시에 향상시킵니다.

3. 주요 기여 (Key Contributions)

1. 새로운 태스크 및 데이터셋: 위조 국소화와 자연어 설명을 결합한 'Forgery Attribution Report Generation' 태스크를 정의하고, 이를 위한 대규모 고품질 데이터셋 MMTT를 공개했습니다. 이는 기존 데이터셋과 달리 '왜 (Why)'라는 질문에 답할 수 있는 텍스트 어노테이션을 포함하는 첫 번째 벤치마크입니다.
2. 통합 베이스라인 모델 (ForgeryTalker): 공유 인코더와 이중 디코더를 통해 시각적 증거와 텍스트 설명 간의 일관된 추론을 가능하게 하는 단일 프레임워크를 제안했습니다.
3. 포괄적인 벤치마킹: 제안된 모델이 보고서 생성 및 국소화 태스크 모두에서 경쟁력 있는 성능을 보임을 실험을 통해 입증했습니다.

4. 실험 결과 (Results)

• 보고서 생성 (Report Generation):
  • CIDEr 점수: 59.3 (InstructBLIP 의 51.7, LISA-7B 의 44.1 보다 우수).
  • BLEU 및 ROUGE-L: 모든 언어 생성 지표에서 기존 모델들을 압도적으로 능가했습니다.
  • Zero-shot 일반화: 다른 데이터셋 (DQ_F++) 에 대한 Zero-shot 평가에서도 CIDEr 113.3 점으로 가장 높은 성능을 보였습니다.
• 위조 국소화 (Forgery Localization):
  • IoU (Intersection over Union): 73.67 (가장 높은 점수).
  • 정밀도 (Precision): 91.43 (가장 높은 점수).
  • 기존 국소화 전용 모델 (SCA 등) 과 비교했을 때, 정밀도와 IoU 면에서 우위를 점하면서도 동시에 고품질의 설명을 생성했습니다.
• Ablation Study:
  • FPN 의 중요성: FPN 을 제거할 경우 CIDEr 점수가 51.7 로 급감하여, 지역 프롬프트가 보고서 품질에 결정적임을 입증했습니다.
  • Pretraining 효과: 위식 인식 사전 학습 단계를 거친 모델이 국소화 (IoU +7.8%) 및 텍스트 품질 (CIDEr +4.9%) 에서 모두 큰 향상을 보였습니다.

5. 의의 및 결론 (Significance)

이 논문은 디지털 포렌식 분야에서 "해석 가능한 (Explainable)" 탐지의 새로운 기준을 제시합니다.

• 신뢰성 강화: 단순히 위조 여부를 판단하는 것을 넘어, 어디가 (Where) 그리고 왜 (Why) 위조되었는지를 명확한 시각적 마스크와 텍스트로 제공함으로써 인간의 검토와 신뢰를 돕습니다.
• 연구 방향 전환: 이진 분류의 포화 상태를 넘어, 미세한 위조 흔적에 대한 심층적인 이해와 설명을 가능하게 하는 새로운 연구 패러다임을 제시했습니다.
• 오픈 소스: 데이터셋과 코드, 모델 가중치를 공개하여 향후 설명 가능한 멀티미디어 포렌식 연구의 기반을 마련했습니다.

결론적으로, 이 연구는 생성형 AI 시대의 위조 이미지 탐지에 있어 기술적 정확성과 인간 중심의 해석 가능성을 동시에 달성하는 중요한 이정표가 됩니다.