Can Image Splicing and Copy-Move Forgery Be Detected by the Same Model? Forensim: An Attention-Based State-Space Approach

[기술 요약] Forensim: 어텐션 기반 상태 공간 모델을 이용한 통합 이미지 위조 탐지

1. 문제 정의 (Problem Statement)

기존의 이미지 조작 탐지 및 국지화(IMDL, Image Manipulation Detection and Localization) 연구는 주로 두 가지 유형에 치우쳐 있었습니다.

• Splicing (스플라이싱): 외부 이미지의 패치를 가져와 삽입하는 방식. 기존 모델들은 주로 조작된 영역(Target)만을 이진 마스크(Binary Mask)로 탐지하는 데 집중했습니다.
• Copy-Move (카피-무브): 이미지 내부의 특정 영역을 복제하여 다른 곳에 붙여넣는 방식. 이 방식은 복제된 원본 영역(Source)과 붙여넣기 된 영역(Target)을 모두 찾아내는 것이 중요합니다.

기존 연구의 한계: 대부분의 모델이 '조작된 영역'만 찾는 이진 분류 방식에 의존하기 때문에, 카피-무브 위조 시 원본(Source)을 놓치거나, 스플라이싱과 카피-무브를 하나의 통합된 프레임워크 내에서 정교하게 구분하지 못하는 문제가 있었습니다.

2. 제안 방법론 (Methodology: Forensim)

본 논문은 스플라이싱과 카피-무브를 동시에 탐지할 수 있는 통합 프레임워크인 Forensim을 제안합니다.

A. 3-클래스 마스크 학습 (Three-class Mask Supervision):
단순히 '조작됨/정상'을 구분하는 것이 아니라, 이미지를 **Pristine(정상), Source(원본), Target(조작 영역)**의 세 가지 클래스로 분류하도록 학습합니다. 이를 통해 조작의 맥락(Context)을 파악하고 원본과 대상의 관계를 모델링합니다.

B. 상태 공간 모델(SSM) 기반 어텐션 메커니즘:
Transformer의 높은 연산 복잡도를 해결하면서도 장거리 의존성(Long-range dependency)을 포착하기 위해 Mamba(State Space Model) 구조를 활용합니다.

• Similarity Attention Module (Sim Attn): 이미지 내의 자기 유사성(Self-similarity) 패턴을 포착하여 복제된 영역(Source-Target)을 식별합니다. RoPE(Rotary Positional Embeddings)와 Bi-Softmax를 사용하여 공간적 의존성을 강화합니다.
• Manipulation State Space Attention (MSSA): 조작된 영역의 미세한 아티팩트(Artifact)를 포착합니다. 다중 스케일(Multi-scale) 구조를 통해 전역적 맥락과 국부적 세부 사항을 모두 학습합니다.
• Non-Local Refinement (NLR) Fusion: Sim Attn과 MSSA에서 얻은 정보를 비국소적 가중치 합산(Non-local weighted aggregation)을 통해 결합하여, 배경 노이즈는 억제하고 의미 있는 조작 영역은 강화합니다.

C. CMFD Anything 데이터셋:
기존 카피-무브 데이터셋의 낮은 품질과 현실성 부족을 해결하기 위해, Segment Anything(SA-1B) 모델을 활용하여 고해상도의 사실적인 카피-무브 위조 이미지를 생성한 새로운 벤치마크 데이터셋을 구축했습니다.

3. 주요 기여 (Key Contributions)

1. 통합 프레임워크: 스플라이싱과 카피-무브를 별도의 모델 없이 하나의 아키텍처로 처리할 수 있는 3-클래스 분류 체계를 정립했습니다.
2. 효율적인 아키텍처: 선형 복잡도(Linear complexity)를 가진 상태 공간 모델(SSM)을 활용하여, 높은 해상도에서도 효율적으로 장거리 유사성을 탐지합니다.
3. 새로운 데이터셋: 고품질의 카피-무브 위조 탐지 벤치마크인 'CMFD Anything'을 공개하여 연구의 발전을 도모했습니다.

4. 실험 결과 (Results)

• SOTA 달성: USC-ISI CMFD, CoMoFoD, CASIA 등 주요 벤치마크에서 기존 모델(BusterNet, TruFor, SparseViT 등)을 압도하는 성능(F1-score, AUC 등)을 기록했습니다.
• 강건성(Robustness): JPEG 압축, 노이즈, 블러(Blur), 밝기 변화 등 다양한 이미지 왜곡(Perturbation) 공격 상황에서도 매우 안정적인 탐지 성능을 보였습니다.
• 효율성: 모델 파라미터 수와 연산량(GFLOPs) 측면에서 기존의 대형 ViT 기반 모델들보다 효율적이면서도 더 높은 정확도를 구현했습니다.

5. 의의 (Significance)

Forensim은 이미지 위조 탐지를 단순한 '이상 탐지(Anomaly Detection)'에서 **'조작의 근원과 대상을 찾는 추적(Tracing)'**의 단계로 격상시켰습니다. 이는 가짜 뉴스, 조작된 증거 사진 등을 판별해야 하는 디지털 포렌식 분야에서 매우 중요한 기술적 진보를 의미하며, 모델의 해석 가능성(Interpretability)을 높였다는 점에서 큰 의의가 있습니다.