기술 요약: 다층적 불일치 특징 및 통합 DCT–양자화 임베딩을 이용한 효율적인 문서 변조 국지화

문제 정의

문서 변조 국지화(Document tampering localization)는 금융 및 행정 워크플로우에서 사기를 방지하기 위한 중요한 과제이지만, 여전히 매우 도전적인 작업입니다. 변조는 시각적으로 일관되게 제작되는 경우가 많아, 인간의 눈에는 보이지 않는 미세한 흔적만을 남깁니다. 현재의 최첨단 방법론들은 두 가지 주요 한계에 직면해 있습니다:

1. 취약한 교차 도메인 일반화 성능: 합성 벤치마크에서 학습된 모델은 인간이 만든 위조품이나, 소스 문서와 변조 파이프라인이 크게 다른 교차 도메인 시나리오에서 일반화에 실패하는 경우가 많습니다. 이는 모델이 근본적인 불일치(inconsistency)가 아닌, 파이프라인 특유의 아티팩트(예: 특정 폰트 렌더링 또는 질감 패턴)에 의존하는 "지름길 학습(shortcut learning)"에 기인합니다.
2. 비효율적인 DCT 백본 설계: 주파수 영역 분석(특히 이산 코사인 변환 또는 DCT)이 표준이 되었지만, 최근의 아키텍처들(예: 주파수 인지 헤드(Frequency Perception Head)를 사용하는 방식)은 다운스트림 융합 전략에 집중할 뿐 백본 엔코더 자체는 거의 변경하지 않습니다. 이러한 기존 백본들은 초기 고차원 특징 확장 및 보조 블록으로 인해 상당한 계산 오버헤드를 유발합니다.

방법론: DiffNet

저자들은 교차 도메인 성능과 계산 효율성을 개선하기 위해 설계된 상대적으로 단순하면서도 효과적인 RGB–DCT 조기 융합(early-fusion) 아키텍처인 DiffNet을 제안합니다. 이 아키텍처는 두 가지 주요 혁신으로 구성됩니다:

1. 다층적 불일치 변환 (Multi-Level Discrepancy Transformation)

디코더가 원본의 내용이 풍부한 활성화 값(activations)을 직접 처리하는 것을 방지하고 모델이 불일치 단서에 집중하도록 강제하기 위해, 저자들은 모든 백본 단계의 출력(다층 융합 전)에 적용되는 경량 변환을 도입했습니다.

• 메커니즘: 이 변환은 특징 맵(feature maps)을 학습된 **영합 필터(zero-sum filters)**의 크기 기반 응답(magnitude-only responses)으로 변환합니다.
• 필터 설계: 시스템은 두 가지 상보적인 유형의 필터를 학습합니다:
  • 자유 영합 필터(Free zero-sum filters): 편향을 억제하고 불일치를 강조하기 위해 영합 제약 조건($\sum k = 0$)을 강제합니다.
  • 중심 고정 영합 필터(Center-anchored zero-sum filters): 필터가 이웃 기반의 중심 예측자 역할을 하도록 제한하며, 여기서 중심 가중치는 비음수(non-negative) 이웃 가중치들의 음의 합입니다.
• 부호 불변성(Sign-Invariance): 필터 응답의 절대값($|u_{c,m}(p)|$)을 취함으로써, 표현 방식은 부호와 관계없이 불일치의 강도를 포착하며, 특징 피라미드 전반에 걸쳐 부호 불변적 불일치 표현을 생성합니다.
• 구현: 효율성을 보장하기 위해 저자들은 훈련 중에 밀집된 제약 커널을 실체화하는 대신, 컴팩트한 중심 결속(center-tied) 표현을 사용하는 커스텀 CUDA 커널을 구현했습니다.

2. 통합 DCT–양자화 임베딩 (Unified DCT–Quantization Embedding)

저자들은 무거운 주파수 인지 헤드(FPH)를 더 효율적인 방식으로 대체하기 위해 DCT 도메인 백본을 재설계했습니다.

• 결합 임베딩(Joint Embedding): 양자화된 DCT 계수와 양자화 테이블 항목이 모두 이산 정수이므로, 이 방법은 임베딩 레이어를 활용하여 각 계수-양자화 쌍 $(\hat{C}_{p,k}, Q_k)$를 컴팩트한 결합 임베딩으로 매핑합니다.
• 구성 요소: 임베딩은 다음을 포함합니다:
  • 로컬 양자화 계수 임베딩 ($v_{p,k}$).
  • 양자화 테이블 항목($Q_k$)으로부터 유도되어 FiLM 방식과 유사하게 적용되는 주파수별 변조 파라미터 ($\gamma_k, \beta_k$).
  • DCT 위치를 식별하기 위한 학습된 주파수 인덱스 임베딩 ($f_k$).
  • 광범위한 패턴을 포착하기 위해 전체 양자화 테이블으로부터 계산된 글로벌 테이블 바이어스 ($t$).
• 효율성: 이 설계는 초기 고차원 확장이나 보조 블록 없이도 주파수 인덱스 정보를 명시적으로 주입하여 경량화된 주파수 브랜치를 제공합니다.

아키텍처 개요

DiffNet은 두 개의 브랜치로 구성된 조기 융합 설계를 따릅니다:

1. RGB 브랜치: 4단계 ConvNeXt-V2 백본을 사용하여 입력 이미지를 처리합니다.
2. DCT 브랜치: 제안된 결합 임베딩과 컴팩트한 ConvNeXt-V2 스택을 사용하여 양자화된 DCT 계수와 양자화 테이블을 인코딩합니다.
3. 융합: DCT 특징은 Stage 1 이후 RGB 스트림에 주입됩니다.
4. 불일치 적용: 다층 불측 변환이 각 백본 단계의 출력에 적용됩니다.
5. 예측: 다중 스케일 융합 모듈(FPN 스타일)이 변환된 특징들을 집계하며, 이후 정제 블록과 경량 세그멘테이션 헤드를 거쳐 변조 마스크를 예측합니다.

핵심 기여

1. 다층적 불일치 변환: 모든 백본 단계에 적용되어 특징을 학습된 영합 필터를 사용하는 부호 불변 불일치 표현으로 변환함으로써, 디코더의 초점을 콘텐츠에서 불일치로 전환하는 새로운 메커니즘을 제시했습니다.
2. 효율적인 DCT 백본: 이전의 FPH 기반 설계와 같은 오버헤드 없이, 양자화된 DCT 계수와 양자화 테이블을 위한 주파수 인덱스 인지형 경량 결합 임베딩을 제공합니다.
3. 광범한 절제 연구(Ablation Studies): 영합 제약의 필요성, DCT 임베딩의 특정 설계, 그리고 제안된 필터가 고정된 잔차 모달리티(예: SRM, Bayar 컨볼루션)보다 우월함을 확인하는 포괄적인 검증을 수행했습니다.
4. 최첨단 성능: 이러한 구성 요소들의 통합을 통해 인간이 만든 문서 변조 탐지 및 국지화 분야에서 새로운 최첨단(SOTA) 성능을 달고했습니다.

실험 결과

저자들은 두 가지 별도의 프로토콜인 Doc 프로토콜(합성 훈련 및 다양한 테스트 세트에 대한 교차 도메인 평가)과 Syn2Real-TDoc 프로토콜(대규모 합성 데이터로 훈련하고 인간이 만든 데이터셋으로 테스트) 하에서 DiffNet을 평가했습니다.

• 교차 도마인 성능 (Doc 프로토로): DiffNet은 교차 도메인 테스트 세트(T-SROIE, OSTF, TPIC-13, RTM)에서 평균 F1 점수 0.515를 기록하며, 이전 최고 모델(ADCD-Net, 0.450)보다 약 30% 향상된 성능을 보였습니다.
• 인간 제작 위조 성능 (Syn2Real-TDoc): 인간이 만든 데이터셋(RTM, FindIt, FindItAgain)에서 DiffNet은 평균 이미지 레벨 F1 0.640 및 픽셀 레벨 F1 0.304를 달성하여, 이전 최고 베이스라인 대비 이미지 레벨 +0.017, 픽셀 레벨 +0.034의 향상을 보였습니다.
• 효율성: 제안된 아키텍처는 이전 방법들보다 현저히 빠릅니다. 768×768 해상도에서 40.1 it/s의 추론 처리량과 41.9 it/s의 훈련 처리량을 달성하였으며, 이는 ADCD-Net 대비 최대 7배 빠른 속도이며 FFDN과 같은 다른 고성능 베이스라인보다 뛰어난 성능입니다.

의의 및 주장

본 논문은 DiffNet이 특징 피라미드가 파이프라인 특유의 아티팩트가 아닌 불일치 단서에 의존하도록 제약함으로써 교차 도메인 성능의 핵심적인 격차를 해결한다고 주장합니다. DCT 백본 설계를 재검토하고 불일치 기반의 특징 변환을 도입함으로써, 저자들은 아키텍처의 단순함과 타겟팅된 설계 선택이 복잡하고 무거운 모델보다 더 나은 성능을 낼 수 있음을 입증했습니다.

저자들은 자신들의 방법이 일관된 향상을 제공하지만, 고도로 은닉된 편집의 단서 부족과 테스트 데이터셋 내의 높은 깨끗한 영역 비율로 인해 인간이 만든 변조에 대한 국지화 성능은 여전히 과제로 남아 있음을 인정합니다. 이들은 본 연구를 더 견고한 일반화를 향한 단계로 규정하며, 새로운 지름길을 유발하지 않으면서 고급 은닉 전략을 모사할 수 있는 더 나은 합성 데이터 생성이 향후 개선이 필요할 수 있다고 언급했습니다. 추가 연구를 지원하기 위해 코드와 사전 학습된 가중치가 공개되었습니다.