기술 요약: 이중 스트림 분류기와 조건부 확산 모델을 이용한 모듈형 이미지 조작 국지화 프레임워크

문제 정의

이미지 조작 국지화(Image Manipulation Localization, IML)는 디지털 포렌식 분야에서 중요한 과제로, 이미지 내의 특정 변조 영역을 정확하게 식별하고 강조하는 작업을 수행한다. 기존의 딥러닝 방식들은 발전해 왔으나, 새로운 조작 기법에 대한 일반화 성능과 다양한 위조 유형에 대한 적응력 측면에서 어려움을 겪는 경우가 많다. 저자들은 인간 관찰자가 조작된 이미지를 식별하거나 특정 변조 부위를 찾아내는 데 자주 실패하며, 이로 인해 오정보의 급속한 확산, 이커머스의 사기, 과학 및 법적 맥량의 무결성 훼손이 발생한다고 지적한다. 기존 시스템은 새로운 위조 유형을 마주할 때마다 전체 재학습이 필요한 경우가 많아, 편집 도구와 위조 기술이 끊임없이 진화하는 환경에서 적응성이 제한된다.

방법론

본 논문은 조작 유형의 식별과 조작 영역의 국지화 작업을 분리하도록 설계된 새로운 모듈형 2단계 프레임워크를 제안한다.

1. 이중 스트림 조작 분류기

첫 번째 단계에서는 입력 이미지에 존재하는 조작 유형을 결정하기 위해 특화된 분류기를 사용한다. 이 아키텍처는 이중 스트림 접근 방식을 채택한다:

• RGB 스트림: 고수준의 시각적 콘텐츠 특징을 추출한다.
• SRM 스트림: 30개의 서로 다른 스테가날리시스 리치 모델(Steganalysis Rich Model, SRM) 필터를 사용하여 저수준의 포렌식 노이즈 아티팩트를 추출한다.
• 백본(Backbone): 두 스트림의 특징을 결합하여 잔차 블록(Residual Blocks)과 스퀴즈 앤 엑세레이션(Squeeze-and-Excitation, SE) 모듈이 장착된 4단계 ResNet 유사 백본을 통해 처리한다. 이는 그래디언트 흐름을 안정화하고 정보가 풍부한 채널을 강조한다.
• 어텐션(Attention): 공간적 자기 주의(Spatial Self-Attention) 레이어는 장거리 의존성을 포착하며, 이후 분류기 헤드를 통해 네 가지 조작 유형 중 하나를 출력한다: 복사-이동(Copy-Move), 스플라이싱(Splicing), 제거(Inpainting), 또는 강화(Enhancement).

2. 국지화를 위한 조건부 확산 모델 (CDMs)

분류가 완료되면 이미지는 해당 특정 조작 유형에 맞춤화된 조건부 확산 모델(Conditional Diffusion Model, CDM)로 전달된다.

• 아키텍처: 국지화 작업은 U-Net 백본을 사용하는 이미지-투-마스크 생성 문제로 취급된다. 모델은 입력 이미지에 조건화되어 노이즈 잔차를 예측하며, 순수 노이즈로부터 마스크를 반복적으로 정제한다.
• 학습 목표: 표준 디노이징 목적 함수는 MSE(평균 제곱 오차) 노이즈 손실과 함께 IoU(Intersection over Union) 손실 항을 포함하도록 수정되었다. 이 하이브리드 손실 함수는 희소한 조작 마스크를 더 잘 처리하고 정확한 공간 구조를 유도하도록 설계되었다.
• 샘플링: 1000 타임스텝에 걸쳐 DDPM(Denoising Diffusion Probabilistic Models) 프레임워크를 사용하여 학습되지만, 추론 시에는 성능 저하 없이 생성 속도를 크게 높이기 위해 DDIM(Denoising Diffusion Implicit Models) 샘플링을 사용하여 과정을 200 타임스텝으로 단축한다.
• 모듈성: 시스템은 새로운 위조 유형을 도입할 때 새로운 CDM을 학습시키고 분류기를 재학습시키는 것만으로 충분하도록 설계되어, 기존 구성 요소를 완전히 재학습할 필요가 없다.

주요 기여

• 모듈형 2단계 파이프라인: 저자들은 조작 유형 분류와 국지화 작업을 분리하여, 기존 구성 요소를 방해하지 않고도 특화된 CDM을 통해 새로운 위조 유형을 추가할 수 있는 시스템을 도입했다.
• 이중 스트림 특징 융합: 분류기 단계에서 표준 RGB 특징과 포렌식 노이즈 아티팩트(SRM)를 통합함으로써 위조 유형 식별의 정확도를 향상시켰다.
• 생성적 국지화: IML에 조건부 확산 모델을 적용함으로써 마스크 생성을 확률적이고 조건적인 이미지-투-이미지 문제로 다루며, 복잡한 구조적 의존성을 처리하기 위해 확산 모델의 생성 능력을 활용한다.
• 하이브리드 손실 함수: 디퓨전 학습 목표에 IoU 손실을 포함함으로써 국지화 작업(조작 영역이 배경에 비해 매우 작은 경우)에 내재된 클래스 불균형 문제를 해결한다.

실험 결과

시스템은 주로 DF2023 데이터셋에서 평가되었으며, IMD2020, CASIAv1, CoemoFoD, COVERAGE를 포함한 벤치마크 데이터셋에서도 추가 테스트를 거쳤다.

• 분류 성능: 이중 스트림 조작 분류기는 DF2023 데이터셋에서 **89%**의 정확도를 달-성했다. SRM 스트림의 포함은 단일 스트림(84.90%) 대비 이중 스트림(89.00%)의 정확도를 개선했다.
• 국지화 성능: DF2023 테스트 세트에서 특화된 CDM은 평균 IoU 0.70 및 F1-Score 0.77을 달성했다.
  • 성능은 조작 유형에 따라 차이가 있었는데, "제거/인페인팅(Removal/Inpainting)"이 가장 높은 IoU(0.88)를 기록했고, "스플라이싱(Splicing)"이 가장 낮았다(0.51).
  • DDIM 샘플링(200 타임스텝)은 DDPM(1000 타임스텝)과 대등한 성능을 보이면서도 추론 시간을 크게 단축했다 (예: 스플라이싱의 경우 마스크당 약 1.6초 vs 약 11.5초).
• 엔드 투 엔드(End-to-End) 시스템: 분류와 국지화를 결합했을 때, 시스템은 DF2023 데이터셋에서 전체 F1-Score 0.74 및 IoU 0.67을 달성했다.
• 벤치마크 비교: 외부 벤치마크(CASIAv1 및 IMD2020)에서 제안된 시스템(CDM-Net)은 각각 평균 IoU 0.26 및 0.22를 기록했다. 이러한 점수는 경쟁력이 있지만, 논문은 조작 영역이 매우 작거나(이미지의 5% 미만) 이미지를 256x256 해상도로 축소할 때 성능이 저하된다는 점을 언급했다.
• 절제 연구(Ablation Studies): U-Net 병목 구간에 공간적 자기 주의(Spatial Self-Attention) 모듈을 포함한 결과 평균 IoU가 0.67에서 0.70으로 향상되었다.

의의 및 주장

본 논문은 제안된 프레임워크가 이미지 위조의 복잡성을 해결하기 위한 모듈형, 생성적 접근 방식의 효용성을 입증한다고 주장한다. 조작 유형 식별을 국지화 작업과 분리함으로써, 시스템은 전체 재학습 없이도 새로운 조작 기법에 적응할 수 있는 확장 가능한 솔루션을 제공한다. 저자들은 조건부 확산 모델의 사용을 단순한 픽셀 단위 구분을 넘어 홀리스틱하고 조건부 확률 기반의 세그멘테이션으로 나아가는 IML의 미래 경로로 제시한다.

저자들은 이 시스템이 뉴스 기관, 법 집행 기관 또는 소셜 미디어 플랫폼을 위한 디지털 포렌식 파이프라인에 통합하기에 특히 적합하며, "플러그인 스타일"의 CDM을 추가함으로써 새로운 위조 기술에 대응할 수 있다고 강조한다. 그러나 논문은 현재의 한계에 대해서도 솔직하게 밝히고 있는데, 매우 작은 조작 영역에서 성능이 저하된다는 점과 현재 시스템이 여러 위조가 동시에 발생하는 시나리오가 아닌 단일 조작 유형만을 처리한다는 점을 인정하고 있다. 향-후 연구로는 다중 위조 시나리오 해결 및 더 작은 데이터셋을 위한 미세 조정 전략 개선이 제안되었다.