기술 요약: AI 생성 이미지 탐지를 위한 구조적 국소 차분 모델링 (Structured Local Differential Modeling)

문제 정의

AI 생성 콘텐츠(AIGC)의 급격한 발전은 합성 이미지의 신뢰할 수 있는 탐지를 점점 더 어렵게 만들고 있습니다. 기존의 탐지 방법은 일반적으로 두 가지 범주로 나뉩니다: 딥 네트워크나 사전 학습된 모델의 고수준 표현에 의존하는 시맨틱 공간(semantic space) 방법, 그리고 스펙트럼 분포, 노이즈 패턴, 국소 텍스처의 이상 징후를 목표로 하는 저수준 통계 공간(low-level statistical space) 방법입니다.

시맨틱 방법은 특정 학습 분포 내에서는 효과적이지만, 판별 단서가 학습된 시맨틱과 얽히기 때문에 보지 못한 생성기(unseen generator)에 대한 일반화 성능이 떨어지는 경우가 많습니다. 반면, 저수준 통계 방법은 **표현 불균형(representation imbalance)**이라는 결정적인 문제에 직면합니다. 엔드 투 엔드(end-to-end) 학습 과정에서 최적화는 손실을 빠르게 줄이고 맞추기 쉬운 높은 신호 대 잡음비(SNR)를 가진 시맨틱 구조를 선호하는 경향이 있습니다. 결과적으로, 약한 국소 통계적 불일치와 같은 미세하고 낮은 SNR을 가진 위조 흔적(forgery artifacts)은 억제되거나 지배적인 콘텐츠 텍스처에 의해 가려지게 됩니다. 이러한 편향은 모델이 근본적인 생성 메커니즘과 관련된 전이 가능한 단서를 학습하는 능력을 제한하여, 교차 생성기 일반화(cross-generator generalization)를 방해합니다.

방법론: RippleNet

이러한 한계를 해결하기 위해 저자들은 **국소 차분 신호(local differential signals)**에 기반한 탐지 프레임워크인 RippleNet을 제안합니다. 핵심 가설은 저수준 통계 공간에서의 효과적인 탐지를 위해서는 시맨틱 구성 요소의 지배력을 완화하는 동시에, 낮은 SNR을 가진 위조 흔적에 대한 반응을 명시적으로 증폭시켜야 한다는 것입니다. RippleNet은 다음 세 가지 주요 단계를 통해 이를 달성합니다.

1. 위조 민감 패치 선택 (Forgery Sensitive Patch Selection, FSPS)

위조 단서가 텍스처 복잡도에 따라 다르게 나타난다는 점을 인식하여, RippleNet은 입력 이미지를 겹치지 않는 패치로 분할합니다. 모델은 각 패치의 전변동(Total Variation, TV) 에너지를 계산하여 텍스처 복잡도를 순위 매깁니다.

• 텍스처 복잡 패치 (Texture-Complex Patches, TCP): 높은 TV 값을 가진 영역에서 선택됩니다.
• 텍스처 단순 패치 (Texture-Simple Patches, TSP): 낮은 TV 값을 가진 영역에서 선택됩니다.
  이러한 상보적인 영역들이 선택되는 이유는 실제 이미지는 복잡한 영역에서 안정적인 방향성 상관관계를 보이고 단순한 영역에서 반복적인 노이즈 변동을 보이는 반면, 생성된 이미지는 종종 방향성 연속성이 부족하고 과도한 평활화(smoothing)를 보이기 때문입니다. 이 패치들의 고주파(HH) 서브밴드는 이산 웨이브렛 변환(DWT)을 통해 추출되어 주파수 영역의 사전 정보(priors)로 사용됩니다.

2. 구조적 차분 아티팩트 모델링 (Structured Differential Artifact Modeling, SDAM)

이 모듈은 방향성 조직과 스케일 의존적 반응을 모델링함으로써 국소 변화를 구조적 표현으로 변환합니다.

• 다방향 및 다중 스케일 잔차 구축: 각 픽셀에 대해, 모델은 여러 방사형 단계($L$)에 걸쳐 8개 방향($\uparrow, \downarrow, \rightarrow, \leftarrow, \nearrow, \nwarrow, \searrow, \swarrow$)을 따라 방사형으로 확장되는 차분 시퀀스를 구축합니다. 이는 점진적인 변화와 국소 의존성의 진화를 포착합니다.
• 방향성 링 컨볼루션 (Directional Ring Convolution, DRC): 방향성 일관성의 순환적 의존성과 붕괴를 포착하기 위해, 8개 방향을 원형 도메인으로 취급하여 학습 가능한 컨볼루션을 적용합니다.
• 계층적 어텐션 퓨전 (Hierarchical Attention Fusion, HAF): 서로 다른 스케일 간의 특징을 집계하는 적응형 메커니즘입니다. 경량 MLP를 사용하여 스케일 어텐션 가중치를 생성함으로써, 모델이 국소 콘텐츠에 기반하여 가장 정보가 풍부한 이웃 스케일을 강조할 수 있도록 합니다.

3. 위조 인지 인코더 (Forgery Aware Encoder, FAE)

FAE는 미세한 공간 관계를 유지하면서 국소 차분 아티팩트를 전역적인 판별 증거로 집계합니다.

• 차분 아티팩트 토큰화: 국소 기술자(descriptors)를 독립적인 토큰으로 투영하며, 공간적 연속성을 유지하기 위해 2D 회전 위치 임베딩(RoPE)을 적용합니다.
• 주파수 유도 교차 어텐션 (Frequency-Guided Cross-Attention, FGCA): 첫 번째 인코더 레이어에서, 모델은 DWT를 통해 추출된 고주파 임베딩(Key/Value)에 차분 토큰(Query)이 어텐션을 수행하는 교차 어텐션을 수행합니다. 이는 주파수 영역의 사전 정보를 인코딩 과정 초기에 주입하여 스펙트럼 이상 징후에 대한 민감도를 높입니다.
• 관계적 셀프 어텐션: 멀티 헤드 셀프 어텐션(MHSA) 레이어는 공간적 위치 간의 차분 토큰 간 의존성을 모델링하여, 아티팩트 패턴의 공존 및 일관성을 포착합니다.
• 이중 브랜치 퓨전: 두 개의 병렬 인코더가 TCP와 TSP 세트를 각각 별도로 처리합니다. 출력은 최종 분류 전 두 텍스처 체제의 기여도를 균형 있게 맞추기 위해 학습 가능한 계수 $\lambda$(Sigmoid를 통해 유도됨)를 사용하여 융합됩니다.

주요 기여

1. 통계 공간 탐지에 대한 새로운 관점: 본 논문은 시맨틱 지배력을 억제하고 낮은 SNR의 통계적 불일치를 강조하는 것이 교차 생성기 일반화에 필수적이라는 정보 이론적 관점을 제시합니다.
2. 새로운 모델링 프레임워크 (RippleNet): 이웃 잔차 관계와 어텐션을 통한 교차 위치 상호작용을 모델링하여 저수준 차분 통계에 특화된 프레임워크를 제축하며, 이웃 통계에서의 이상 패턴을 명시적으로 특징화합니다.
3. 실험적 검증: 광범-한 실험 평가를 통해 RippleNet이 다양한 생성 패러다임(Diffusion 및 GAN)과 보지 못한 데이터셋에 대해 안정적인 일반화 성능을 달ern함을 입증했습니다.

실험 결과

RippleNet은 교차 생성기 및 교차 데이터셋 설정 하에서 4개의 주요 벤치마크를 통해 평가되었습니다.

• GenImage 벤치마크: SDv1.4에서 학습되어 7개의 디퓨전 모델과 1개의 GAN에서 테스트되었습니다. RippleNet은 두 번째로 우수한 방법인 CKNNA보다 2.4%포인트 높은 최고 평균 정확도(94.4%)를 기록했습니다. 모든 생성기에 대해 높은 성능(>88%)을 유지하며, 크게 변동하는 베이스라인들에 비해 우수한 균형을 보여주었습니다.
• DeepFaceGen 벤치마크: 12가지 얼굴 생성 방법에 대해 평가되었습니다. RippleNet은 최고의 평균 AUC(95.12%)를 달성하여, 다양한 얼굴 생성 패러다임 전반에 걸친 안정적인 일반화 능력을 입증했습니다.
• DiffusionForensics 벤치마크: 8개의 디퓨전 생성기를 대상으로 테스트되었습니다. RippleNet은 최고 평균 ACC(89.0%)와 AP(98.2%)를 달성하였으며, 강력한 베이스라인인 Effort보다 ACC 측면에서 1.3% 향상된 성능을 보였습니다.
• COSPY 벤치마크: 최근 개발된 5개의 생성기를 대상으로 평가되었습니다. RippleNet은 최고 ACC(92.2%)를 기록하며 FerretNet을 2.6%포인트 초과했습니다.

**절제 연구(Ablation Studies)**는 각 구성 요소의 필요성을 확인했습니다:

• FSPS를 제거할 경우(TCP 또는 TSP만 사용), 정확도가 크게 하락했습니다(~78-82%).
• DRC 또는 HAF를 제거하면 각각 3.3%와 4.2% 성능이 감소하여, 방향성 및 스케일 모델링의 중요성을 강조했습니다.
• FGCA를 제거하면 정확도가 94.4%에서 91.2%로 감소하여, 주파수 유도 사전 정보의 가치를 검증했습니다.

효율성: RippleNet은 8.6M 파라미터와 4.28 GFLOPs를 사용하여, UnivFD(85.5M 파라미터)나 재구성 기반 방법인 DIRE와 같은 더 큰 모델들과 비교했을 때 정확도와 계산 비용 사이의 강력한 절충안을 제공합니다.

의의 및 주장

본 논문은 RippleNet의 주요 의의가 높은 SNR의 시맨틱 콘텐츠에 의존하는 것에서 벗어나, 낮은 SNR의 생성 메커니즘 특이적 아티팩트에 집중하는 데 있다고 주장합니다. 국소 차분 통계를 명시적으로 모델링하고 시맨틱 특징에 대한 정보 병목 현상 편향을 완화함으로써, RippleNet은 모델이 더 전이 가능한 단서를 학습하도록 강제합니다.

저자들은 이러한 접근 방식이 교차 생성기 및 교차 데이터셋 평가 환경에서 일관되게 경쟁력 있는 성능과 안정적인 일반화를 이끌어낸다고 밝힙니다. 이 연구는 향히 AIGC 탐지의 발전이 시맨틱 이해의 규모를 키우는 것보다, 합성 과정 중에 내재되어 있으나 전통적인 학습 목적 함수에 의해 종종 억제되는 미세하고 국소적인 통계적 불일치를 정교하게 모델링하는 것에 달려 있음을 시사합니다.