SPFM-Net: Semantic-Prior-Guided Frequency-Constrained Mamba for Invisible Watermark Attack

기술 요약: SPFM-Net

문제 정의
기존의 보이지 않는 워터마크 공격은 제거 효과와 시각적 충실도(visual fidelity) 사이에서 치명적인 트레이드오프 문제에 직면해 있다. 신호 처리 연산부터 국부적으로 제한된 딥러닝 네트워크(예: CNN)에 이르는 전통적인 방식들은 전역적으로 분포된 워터마크 신호의 장거리 의존성(long-range dependencies)을 포착하는 데 어려움을 겪는다. 이러한 접근 방식들은 워터마크 제거를 국부적인 섭동(perturbation) 또는 픽셀 수준의 복원 작업으로 취급하는 경향이 있으며, 이는 워터마크 관련 신호와 재구성된 이미지의 세부 정보를 구분하지 못한다. 결과적으로, 워터마크를 효과적으로 제거하는 강력한 공격은 질감 손실과 아티팩트를 통해 이미지 품질을 저하시키는 반면, 충실도를 보존하는 약한 공격은 워터마크가 여전히 추출 가능한 상태로 남게 된다. 또한, 현재의 아키텍처들은 자연스러운 이미지 콘텐츠로부터 워터마크 특징을 분리하기 위한 충분한 시맨틱 가이드(semantic guidance)가 부족하며, 제한된 수용 영역(receptive fields)에 의해 제약을 받는다.

방법론: SPFM-Net
저자들은 워터마크 공격을 직접적인 섭동 억제가 아닌 시맨틱 가이드 기반의 이미지 복원 문제로 재정의하는 프레임워크인 SPFM-Net(Semantic-Prior-Guided Frequency-Constrained Mamba)을 제안한다. 이 아키텍처는 다음과 같은 파이프라인을 통해 작동한다:

1. 고비율 마스킹 및 시맨틱 프리어 추출:

   • 입력된 워터마크 포함 이미지는 겹치지 않는 패치로 나뉘며 고비율 무작위 마스킹 전략(90% 마스킹 비율)을 거친다. 이는 워터마크 신호의 공간적 일관성과 결합 분포를 교란하여, 네트워크가 국부적인 디노이징 지름길(shortcut)에 의존하는 것을 방지한다.
   • **부분적으로 동결된 마스크드 오토인코더(MAE)**가 시맨틱 백본 역할을 수행한다. 인코더는 대규모 자연 경관 데이터셋으로 사전 학습되었다. 미세 조정(fine-tuning) 과정에서 첫 21개의 트랜스포머 블록은 거시적 수준의 시맨틱 프리어를 보존하기 위해 동결된 상태로 유지되며, 마지막 3개의 블록과 정규화 레이어만 업데이트되어 미세한 워터마크 잔차에 적응하도록 한다. 이는 모델이 표면적인 국부적 세부 사항이 아닌 전역적 문맥을 바탕으로 본질적인 이미지 콘텐츠를 재구성하도록 강제한다.

2. 다중 스케일 잔차 주파수 특징 상호작용 (MRFFI):

   • 이 모듈은 다양한 수용 영역에 걸쳐 워터마크 관련 잔차 특징을 집계한다. 국부적 질감, 중간 구조, 그리고 전역 시맨틱을 포착하기 위해 서로 다른 스트라이드($s \in \{1, 2, 4\}$)를 가진 세 개의 병렬 컨볼루션 브랜치를 사용한다.
   • 추출된 특징들은 연결(concatenation)된 후 $1 \times 1$ 컨볼루션을 통해 처리된다. 채널 어텐션 메커니즘은 워터마크와 무관한 영역의 응답은 억제하고 워터마크 관련 영역의 응답은 강화하는 적응형 가중치 맵을 생성한다.

3. Mamba 기반 전역 상태 공간 특징 모델링 (GSFM):

   • 국부적 수용 영역의 한계를 해결하기 위해, 경량화된 Mamba 기반 유닛이 전역적으로 분포된 워터마크 신호의 장거리 의존성을 모델링한다.
   • 이 유닛은 1D 뎁스와이즈 세퍼러블(depthwise separable) 컨볼루션과 피드포워드 네트워크를 갖춘 계단식 이중 잔차 시퀀스 모델링 블록을 활용한다. 이 유닛은 전역 시퀀스를 스캔함으로써 자연 이미지 콘텐츠로부터 워터마크 관련 특징을 분리하고 남은 흔적을 억제한다.

4. 디코더 및 다단계 최적화:

   • 경량 디코더는 전치 컨볼루션(transposed convolutions)과 크로스 레벨 스킵 연결을 사용하여 워터마크가 제거된 이미지를 재구성하며, 이를 통해 얕은 인코더 레이어로부터 고주파 세부 정보를 보존한다.
   • 네트워크는 다음 세 가지 구성 요소로 이루어진 **결합 손실 함수(joint loss function)**를 사용하여 최적화된다:
     • 픽셀 손실 ($L_{pixel}$): 공간적 톤 일관성을 위한 $L_1$ 노름(norm).
     • 주파수 손실 ($L_{fft}$): 비정상적인 워터마크 유발 주파수 변동을 억제하기 위한 2D 고속 푸리에 변환(FFT) 크기에 대한 $L_1$ 노름.
     • 에지 손실 ($L_{edge}$): 구조적 경계를 보존하고 아티팩트를 줄이기 위한 Sobel 그래디언트에 대한 $L_1$ 노름.

주요 기여

1. 프레임워크 재정의: 본 논문은 고비율 마스킹을 활용하여 워터마크 신호의 일관성을 끊어냄으로써, 직접적인 섭동 억제에서 시맨틱 가이드 기반 이미지 복원으로 패러다임을 전환하는 SPFM-Net을 도입한다.
2. 시맨틱 프리어 가이드 주파수 모델링: 부분적으로 동결된 MAE와 MRFFI 모듈을 결합함으로써, 시각적 왜곡을 최소화하면서 워터마크 특징을 자연적 콘텐츠로부터 효과적으로 분리하고 다중 스케일 주파수 불일치를 포착한다.
3. 장거리 의존성 모델링: Mamba 기반 GSFM 모듈 설계는 공간적으로 분포된 워터마크 패턴의 장거리 의존성을 포착할 수 있게 하여, 기존 CNN의 수용 영역 한계를 해결한다.
4. 제로샷 일반화: 본 방식은 타겟 특정 미세 조정 없이도 미지의 딥 워터마크에 대해 제로샷 제거를 수행할 수 있음을 입증하여, 시맨틱 가이드 재구성이 가능하다는 것을 검증하였다.

실험 결과
공간 도메인, 변환 도메인, 직교 모멘트 기반, 그리고 딥러닝 기반 워터마킹 기법(HiDDeN, Stable Signature, Yu 포함)에 대해 광범한 실험이 수행되었다.

• 공격 효과성: SPFM-Net은 Stable Signature에 대해 0.48, HiDDeN에 대해 0.55의 비트 에러율(BER)을 달enc성하여, 이진 랜덤 추측 수준인 0.5에 근접했다. 이는 워터마크 추출 과정을 거의 완벽하게 무력화했음을 나타낸다.
• 시각적 충실도: 본 방법은 높은 지각적 품질을 유지하였으며, Stable Signature 데이터셋에서 42.76 dB PSNR과 0.99 SSIM을 달성하여 UnMarker(18.23 dB PSNR) 및 DiffusionAttack와 같은 베이스라인 모델을 크게 앞질렀다.
• 일반화 성능: 전통적인 워터마크(LSB, DCT, QPHFMs)에 대해서만 학습되었음에도 불구하고, SPFM-Net은 고급 생성형 딥 워터마크를 성공적으로 무력화하여 제로샷 제거 능력을 보여주었다. 이는 시맨틱 프리어가 생성 메커니즘에 관계없이 임베디드된 워터마크를 고주파 이상치(anomaly)로 취급하도록 강제함을 확인시켜 준다.
• 어블레이션 연구(Ablation Studies): MRFFI 및 GSFM 모듈의 점진적 통합이 BER을 유의미하게 높였음을 확인하였으며, 다단계 결합 손실(픽셀, 주파수, 에지)이 높은 PSNR을 유지하고 지각적 저하를 방지하는 데 결정적임을 입증하였다.

의의 및 주장
본 논문은 SPFM-Net이 기존의 최첨단 방법들을 능가하며, 워터마크 공격의 효과성과 지각적 충실도 사이에서 유리한 트레이드오프를 제공한다고 주장한다. 시맨틱 프리어를 사용하여 복원 과정을 가이드하고 주파수 제약을 통해 구조적 무결성을 강제함으로써, 이 방법은 디지털 워터마킹 공격에 대한 새로운 "시맨틱 디커플링(semantic decoupling)" 관점을 제시한다. 저자들은 이 연구를 특히 생성형 워터마킹 및 적대적 스테가노그래피의 급격한 발전에 대응하여 기존 워터마킹 방식의 보안 경계를 평가하는 단계로 규정한다. 이 접근 방식은 높은 시각적 품질을 우선시하면서도 강력한 제거를 달성하는 실용적인 절충안으로 제시되며, 실제적인 보안 평가 시나리오에 적합하다.