Evaluating Similitude and Robustness of Deep Image Denoising Models via Adversarial Attack

"적대적 공격을 통한 심층 이미지 잡음 제거 모델의 유사성과 강건성 평가" 논문에 대한 상세한 기술 요약입니다.

1. 문제 제기

심층 신경망 (DNN) 은 이미지 잡음 제거 분야에서 전통적인 모델 기반 방법을 능가하는 최첨단 성능을 달성했습니다. 그러나 DNN 은 미묘한 교란으로 인해 성능이 크게 저하되는 적대적 공격에 취약한 것으로 알려져 있습니다.

• 격차: 적대적 공격은 이미지 분류 분야에서 잘 연구되어 왔으나, 이미지 잡음 제거(회귀 작업) 에서는 아직 충분히 탐구되지 않았습니다.
• 과제: 기존 공격들은 종종 잡음 분포를 크게 변경하여, 성능 저하가 공격 때문인지 아니면 단순히 잡음 특성의 변화 때문인지 불분명하게 만듭니다. 또한, 다양한 잡음 제거 아키텍처 (비블라인드, 블라인드, 플러그 앤 플레이, 언폴딩) 간의 강건성과 내부적 유사성은 아직 알려지지 않았습니다.
• 목표: 원래 잡음 분포를 유지하면서 잡음 제거 모델을 성공적으로 속일 수 있는 적대적 공격을 제안하고, 이를 사용하여 다양한 심층 잡음 제거 모델의 강건성과 구조적 유사성을 평가하는 것입니다.

2. 방법론

A. Denoising-PGD (제안된 공격)

저자들은 이미지 잡음 제거에 특화되도록 프로젝트드 경사 하강법 (PGD) 프레임워크를 기반으로 한 Denoising-PGD라는 적대적 공격 방법을 제안합니다.

• 입력: 잡음이 있는 이미지 $x = u + n$ (여기서 $u$는 깨끗한 이미지, $n$은 가우시안 잡음).
• 목표: 잡음 제거된 출력 $D(x')$가 $D(x)$보다 품질이 현저히 낮아지도록 적대적 잡음 이미지 $x'$를 생성하되, 잡음 분포는 가우시안과 거의 동일하게 유지합니다.
• 손실 함수: 분류 공격이 분류 오차를 최대화하는 것과 달리, 이 방법은 잡음 제거된 출력과 실제 정답인 깨끗한 이미지 간의 유사성을 최소화합니다.
  $$\min \gamma(x' - x) \quad \text{s.t.} \quad E(D(x), y) - E(D(x'), y) > M$$
  여기서 $E$는 PSNR, SSIM, MAE 와 같은 지표이며, $M$은 성공적인 공격을 위한 임계값입니다.
• 주요 제약: 교란은 깨끗한 이미지가 아닌 잡음 이미지에 추가되어, 결과적인 잡음 분포가 가우시안에 가깝게 유지되도록 합니다. 이를 통해 공격이 잡음 수준의 변화로 인한 것이 아님을 보장합니다.

B. Robustness Similitude (DMRS)

적대적 샘플이 서로 다른 모델 간에 매우 잘 전이되는 이유를 규명하기 위해, 저자들은 **Denoising Model Robustness Similitude (DMRS)**라는 지표를 도입합니다.

• 개념: 고차원 공간에서 가우시안 잡음 이미지를 둘러싼 원 위에 잡음 샘플을 생성하여 "적대적 공간"을 분석합니다.
• 측정: 두 개의 서로 다른 모델에 대한 적대적 영역을 나타내는 "레이다 차트"의 **교집합 대 합집합 비율 (IoU)**을 계산합니다.
• 가설: 두 모델이 동일한 적대적 샘플 집합을 공유한다면 (높은 DMRS), 테스트 샘플 주변의 국소적 행동과 결정 경계가 유사하다는 것을 의미합니다.

C. 방어: 적대적 학습

이 논문은 깨끗한 가우시안 잡음과 적대적 잡음 이미지를 혼합하여 모델을 재학습시키는 방어 메커니즘인 적대적 학습을 평가합니다.

D. L2-Denoising-PGD

잡음 분포가 엄격하게 가우시안으로 유지되도록 하기 위해, 저자들은 교란에 L2 제약을 부과하여 적대적 잡음이 가우시안 분포 가정에 더 엄격하게 따르도록 하는 L2-Denoising-PGD를 제안합니다.

3. 주요 기여

1. Denoising-PGD 공격: 잡음 분포를 거의 변경하지 않으면서 (인간 눈에는 인지 불가능) 심층 잡음 제거 모델의 성능을 성공적으로 저하시키는 새로운 적대적 공격 방법.
2. 높은 유사성 발견: 모든 주요 심층 잡음 제거 모델 (비블라인드, 블라인드, 플러그 앤 플레이, 언폴딩) 이 거의 동일한 적대적 샘플 집합을 공유한다는 사실을 규명했습니다. 이는 서로 다른 아키텍처와 학습 패러다임에도 불구하고 이러한 모델들이 매우 유사한 국소 함수를 학습한다는 것을 의미합니다.
3. 강건성 순위:
   • 가장 강건: 데이터 기반 비블라인드 모델 (예: DnCNN, ECNDNet).
   • 중간 강건: 모델 - 데이터 하이브리드 기반 모델 (예: DPIR, DeamNet).
   • 가장 취약: 블라인드 잡음 제거 모델 (예: DnCNN-B, Noise2Noise).
4. 전이성: 이 공격은 분류 작업 (여기서 PGD 는 일반적으로 전이성이 낮음) 에서 드문 예상치 못한 높은 전이성을 다양한 모델 유형 간에 보입니다. 이는 심층 잡음 제거 네트워크의 높은 구조적 유사성을 확인시켜 줍니다.
5. 방어 검증: 적대적 학습은 깨끗한 가우시안 잡음에서의 성능 저하 없이 강건성을 크게 향상시킵니다 (PSNR 감소폭을 약 0.8dB 에서 약 0.1dB 로 감소).
6. 모델 기반 저항성: 고전적인 모델 기반 방법인 BM3D는 심층 학습 모델과 달리 이러한 적대적 공격에 강한 저항력을 보입니다.

4. 실험 결과

• 성능 저하: Set12 데이터셋 (잡음 수준 $\sigma=25$) 에서 공격은 다음과 같은 PSNR 감소를 유발했습니다:
  • DnCNN (비블라인드): 약 0.8 dB 감소.
  • DnCNN-B (블라인드): 약 4.0 dB 감소 (상당히 더 취약함).
  • DPIR (플러그 앤 플레이): 약 2.1 dB 감소.
• 전이성: DnCNN 을 위해 생성된 적대적 샘플은 FFDNet, ECNDNet, DnCNN-B, RDDCNN-B, DPIR, DeamNet 에서도 상당한 성능 저하를 초래했습니다.
• 유사성 점수 (DMRS):
  • 비블라인드 모델 간 유사성은 약 97% 였습니다.
  • 하이브리드 모델 (DPIR, DeamNet) 은 비블라인드 모델과 약 90-94% 의 유사성을 보였습니다.
  • 블라인드 모델은 비블라인드 모델과 낮은 유사성 (~50-60%) 을 보였으나, 서로 간에는 높은 유사성을 보였습니다.
• 색상 이미지: 공격이 RGB 이미지 (FFDNet) 로 확장되었으며, 회색조 이미지보다는 약간 덜 효과적이었으나 유사한 전이성 경향을 보였습니다.
• 적대적 학습: 적대적 샘플로 학습한 후 모델의 취약성은 급격히 감소했습니다 (PSNR 잔여값이 0.88dB 에서 0.16dB 로 감소). 또한, 아티팩트를 줄임으로써 원래 모델보다 깨끗한 가우시안 잡음에 대해 더 나은 결과를 생성했습니다.

5. 중요성과 함의

• 심층 잡음 제거의 취약성: 높은 PSNR 점수에도 불구하고, 심층 잡음 제거 모델은 아키텍처와 관계없이 동일한 작은 교란에 의해 쉽게 "속임"을 당할 수 있는 취약한 상태입니다.
• 통합된 행동: 다양한 모델이 동일한 적대적 공간을 공유한다는 발견은 심층 잡음 제거 작업이 특정하고 좁은 해 공간 (solution manifold) 으로 수렴했을 가능성을 시사하며, 이로 인해 집단적으로 취약해졌음을 의미합니다.
• 방어 전략: 적대적 학습은 강건성과 일반 잡음 제거 품질을 모두 향상시키는 효과적인 방어 수단임이 입증되었습니다.
• 고전적 방법의 역할: BM3D 의 저항성은 고전적인 모델 기반 방법이 적대적 방어 파이프라인에서 강력한 "정제기" 또는 전처리 단계로 기능할 수 있음을 시사합니다. 이는 종종 심층 학습이 수행한다고 가정되지만, 심층 학습 자체가 이러한 특정 공격에 대해 확보하지 못하는 역할입니다.
• 새로운 연구 방향: 이 작업은 분류를 넘어 회귀 기반 비전 작업으로 확장하여 "이미지 잡음 제거 적대적 공격"을 독립적이고 중요한 연구 분야로 확립합니다.