SurFITR: A Dataset for Surveillance Image Forgery Detection and Localisation

1. 문제 정의 (Problem)

최근 오픈 액세스 이미지 생성 모델 (Generative AI) 의 발전으로 인해 시각적 증거를 위조하거나 허위 정보를 조작하는 것이 매우 쉬워졌습니다. 기존 이미지 위조 탐지 및 국소화 (Localisation) 연구는 주로 객체 중심 (Object-centric) 이나 얼굴 중심의 이미지 (예: FaceForensics++, GenImage) 에 초점을 맞추고 있습니다.

그러나 감시 영상 (Surveillance imagery) 은 다음과 같은 고유한 특성으로 인해 기존 모델들이 적용하기 어렵습니다:

• 제한된 시점과 작은 대상: 감시 카메라는 넓은 시야를 가지며, 대상이 작거나 가려진 (Occluded) 경우가 많습니다.
• 낮은 화질: 저해상도 및 낮은 조명 조건이 일반적입니다.
• 미세하고 국소화된 위조: 전체 이미지를 합성하는 것이 아니라, 특정 사람이나 물체를 추가/제거/교체하는 등 세밀하고 국소적인 조작이 이루어집니다.
• 기존 데이터셋의 한계: 기존 데이터셋은 이러한 감시 환경의 복잡성과 미세한 위조 패턴을 반영하지 못하여, 기존 탐지 모델이 감시 영상에서 성능이 급격히 저하됩니다.

2. 방법론 (Methodology)

2.1 SurFITR 데이터셋 구축

저자들은 SurFITR (Surveillance Forgery Image Test Range) 이라는 새로운 데이터셋을 제안합니다.

• 규모: 6 개의 감시 데이터셋 (UCF-Crime, NTU-Fight, ShanghaiTech 등) 에서 파생된 137,000 개 이상의 위조된 이미지를 포함합니다.
• 위조 유형 (4 가지):
  1. 제거 (Removal): 기존 대상 삭제.
  2. 타겟 교체 (Targeted Replacement): 특정 컨텍스트에 맞는 다른 객체로 교체.
  3. 개방형 교체 (Open-ended Replacement): 의미상 관련되지만 동일하지 않은 객체로 교체.
  4. 추가 (Addition): 새로운 대상 삽입.
• 대상: 사람 (Human) 과 물체 (Object) 모두를 대상으로 합니다.
• 생성 모델: FLUX.1-Fill, Qwen-Image-Edit, SD3.5 등 5 가지 최첨단 (SOTA) 이미지 편집 모델을 활용하여 생성합니다.

2.2 MLLM 기반 자동 생성 파이프라인

대규모 고품질 위조 데이터를 생성하기 위해 멀티모달 LLM (MLLM) 을 활용한 3 단계 자동화 파이프라인을 개발했습니다:

1. 프레임 이해 및 선택: 오픈 보카불러리 감지기 (YOLO-World) 와 세그멘테이션 모델 (SAM 2.1) 로 관심 대상을 식별하고, MLLM 이 장면 설명을 생성하여 위조 가치가 높은 프레임을 선택합니다.
2. 위조 지시문 생성:
   • 제거/교체의 경우 마스크와 카테고리 프롬프트를 기반으로 지시문을 생성합니다.
   • 타겟 교체 및 추가의 경우, MLLM 이 장면 맥락을 분석하고 텍스트 기반 LLM 이 논리적 추론을 통해 컨텍스트에 맞는 대체물이나 추가 대안을 제안합니다.
   • 깊이 지도 (Depth Anything V2) 를 활용하여 물체의 크기와 위치를 물리적으로 타당하게 조정합니다.
3. 국소화된 위조 적용: 생성된 지시문과 픽셀 레벨 마스크를 기반으로 이미지 편집 모델을 사용하여 국소 영역만 조작하고, 나머지 영역은 보존하여 자연스럽게 합성합니다.

2.3 품질 보증 (Quality Assurance)

• 자동 검증: 제거된 객체가 사라졌는지, 추가된 객체가 존재하는지, 위조 영역이 원본과 유의미하게 다른지 등을 자동으로 검증합니다.
• 품질 선별: MLLM 을 활용하여 현실성 (Realism) 과 탐지 가능성 (Detectability) 을 10 점 척도로 평가하여, 너무 뻔하거나 현실성이 떨어지는 샘플을 제거합니다.
• 수동 검증: 전체 데이터의 약 5% 에 대해 인간이 직접 검증한 서브셋을 구성하여 자동 검증의 신뢰성을 확인했습니다.

3. 주요 기여 (Key Contributions)

1. SurFITR 데이터셋 출시: 복잡한 실세계 감시 장면에서 발생하는 미세하고 국소화된 위조를 포착하는 최초의 대규모 전문 데이터셋입니다.
2. MLLM 기반 생성 파이프라인: 의미론적 기반 (Semantically grounded) 과 장면 인식 (Scene-aware) 을 갖춘 자동화된 위조 생성 시스템을 제안하여, 다양한 편집 모델과 시나리오에 대한 교차 도메인 일반화 연구를 가능하게 합니다.
3. 포괄적인 실험 및 분석: 기존 탐지 모델과 MLLM 이 감시 환경에서 얼마나 취약한지 입증하고, SurFITR 로 학습했을 때의 성능 향상을 정량적으로 평가했습니다.

4. 실험 결과 (Results)

4.1 제로샷 (Zero-shot) 평가

• 기존에 학습된 13 개의 탐지 모델 (CNN, Transformer 기반) 과 5 개의 MLLM 을 SurFITR 에 적용한 결과, 성능이 극도로 저하되었습니다.
• 특히 F1 점수가 매우 낮았으며, 픽셀 레벨 국소화 (Localisation) 성능은 거의 0 에 가까웠습니다. 이는 기존 모델들이 감시 영상의 미세한 위조 패턴을 포착하지 못함을 의미합니다.

4.2 SurFITR 학습 효과

• SurFITR 데이터셋으로 파인튜닝 (Fine-tuning) 한 모델들은 동일 도메인 (In-domain) 및 교차 도메인 (Cross-domain) 설정에서 매우 큰 성능 향상을 보였습니다.
  • 예: PSCC-Net, HiFi-Net, Qwen3-VL-8B 등의 모델이 AUROC 와 F1 점수에서 급격히 개선되었습니다.
• 교차 도메인 일반화: SurFITR 의 다양한 생성 모델과 장면으로 학습된 모델은 다른 생성 모델이나 새로운 장면에서도 견고한 성능을 유지했습니다.
• 한계점: 학습 후에도 장면 변화 (Scene variation) 에 따른 탐지 성능 불안정과 매우 작은 조작 영역에 대한 국소화 성능 저하가 여전히 관찰되었습니다. 이는 향후 연구가 필요한 중요한 과제로 지적되었습니다.

5. 의의 및 결론 (Significance)

• 연구의 전환점: SurFITR 은 감시 영상 위조 탐지 연구의 새로운 벤치마크이자 훈련 자원으로 작용합니다. 기존 데이터셋으로는 해결할 수 없었던 '감시 환경 특유의 미세 위조' 문제를 체계적으로 연구할 수 있는 기반을 제공합니다.
• 실용적 가치: 생성형 AI 의 오남용으로 인한 시각적 증거 조작 위협에 대응하기 위해, 실제 감시 환경에 특화된 탐지 모델 개발의 필요성을 강조합니다.
• 윤리적 고려: 데이터셋은 위조 기술 개발이 아닌 위조 탐지 및 대응 연구를 목적으로 하며, 생성 파이프라인의 핵심 구현 세부사항은 공개하지 않고 연구 전용 라이선스로 배포하여 오남용을 방지합니다.

결론적으로, 이 논문은 생성형 AI 시대의 감시 보안 위협에 대응하기 위해 SurFITR이라는 고품질 데이터셋과 이를 활용한 실험적 통찰을 제공하며, 향후 더 강력하고 일반화된 감시 영상 위조 탐지 모델 개발의 토대를 마련했습니다.