Poisoning the Pixels: Revisiting Backdoor Attacks on Semantic Segmentation

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 시맨틱 세그멘테이션 (Semantic Segmentation) 은 자율 주행, 의료 영상, 원격 탐사 등 안전이 중요한 분야에서 핵심적으로 사용되지만, 이러한 모델의 백도어 공격 (Backdoor Attack) 에 대한 취약성은 아직 충분히 탐구되지 않았습니다.
• 기존 연구의 한계:
  1. 단일 공격 벡터: 기존 연구들은 주로 '객체에서 배경으로 (Object-to-Background)'의 오분류에 집중하여, '객체 간 (Object-to-Object)', '배경에서 객체로 (Background-to-Object)' 등 다른 치명적인 공격 시나리오를 간과했습니다.
  2. 비효율적인 트리거 설계: 이미지 분류 작업에서 차용된 휴리스틱 트리거 설계가 세그멘테이션에서는 강력한 공격 성능을 내지 못합니다.
  3. 최신 아키텍처 부재: 기존 CNN 기반 모델 위주로 연구되었으며, Vision Transformer 나 Segment Anything Model (SAM) 과 같은 최신 아키텍처의 취약성은 확인되지 않았습니다.
• 핵심 질문: 기존 세그멘테이션 백도어 설정이 실제 위협을 포착할 수 있는가? 더 효과적인 공격을 위한 세그멘테이션 인지 전략은 가능한가? 최신 아키텍처도 공격에 취약한가?

2. 제안된 방법론: BADSEG (Methodology)

저자들은 BADSEG (BAckDoor attacks on semantic SEGmentation) 라는 통합 프레임워크를 제안하여 세그멘테이션 백도어 공격을 체계화했습니다.

A. 공격 벡터의 확장 (Attack Vectors)

기존의 단일 공격을 넘어 6 가지 공격 벡터를 정의했습니다.

• 거시적 (Coarse-grained) 공격 (4 가지):
  1. Object-to-Object: 한 객체를 다른 객체로 오분류 (예: 보행자 $\rightarrow$ 차량).
  2. Object-to-Background: 객체를 배경으로 지워버림 (예: 차량 $\rightarrow$ 도로).
  3. Background-to-Object: 배경을 객체로 착각하게 함 (예: 빈 도로 $\rightarrow$ 차량).
  4. Background-to-Background: 배경 영역 (도로, 하늘 등) 을 서로 다른 배경으로 오분류.
• 미시적 (Fine-grained) 공격 (2 가지):
  1. Instance-Level: 이미지 내 특정 인스턴스 (개체) 만을 표적으로 삼아 공격 (나머지는 정상 작동).
  2. Conditional: 특정 조건 (예: 빨간색 차량일 때만) 과 트리거가 공존할 때만 공격이 활성화됨.

B. BADSEG 프레임워크의 3 단계 프로세스

1. 백도어 준비 (Backdoor Preparation): 타겟 모델의 행동을 모방하는 대리 모델 (Surrogate Model) 을 보조 데이터셋으로 학습합니다.
2. 트리거 최적화 (Trigger Optimization):
   • 트리거의 모양, 크기, 위치, 개수, 강도 등 이산적인 (discrete) 파라미터를 최적화합니다.
   • Gumbel-Softmax 재파라미터화 기법을 사용하여 이산 공간에서도 미분 가능한 탐색 (differentiable search) 을 가능하게 하여 엔드 - 투 - 엔드 최적화를 수행합니다.
3. 라벨 조작 (Label Manipulation):
   • 클래스 간 의미적 거리 (Semantic Distance) 를 계산하여 공격 효율이 높은 '피해자 - 타겟' 클래스 쌍을 선택합니다.
   • 특징 공간에서 거리가 가까운 클래스 쌍을 타겟으로 삼아 공격의 은밀성과 성공률을 높입니다.

C. SAM (Segment Anything Model) 공격 적응

• SAM 은 클래스 레이블이 아닌 프롬프트 기반의 이진 마스크를 예측하므로, BADSEG 를 BADSEG-SAM으로 확장했습니다.
• 마스크 조작 공격:
  1. 마스크 왜곡 (Mask-Distortion): 예측된 마스크의 경계를 왜곡.
  2. 마스크 소거 (Mask-Erasure): 타겟 마스크를 완전히 지움.
  3. 마스크 주입 (Mask-Injection): 존재하지 않는 영역에 가짜 마스크 생성.

3. 주요 실험 결과 (Results)

• 데이터셋 및 모델: BDD100K, Cityscapes 데이터셋과 PSPNet, DeepLabV3, ConvNeXt-T, Vision Transformer (ViT, Swin-T) 등 7 가지 모델을 평가했습니다.
• 공격 성공률 (ASR):
  • BADSEG 는 모든 공격 벡터에서 90% 이상의 높은 공격 성공률을 기록했습니다.
  • 특히 Background-to-Object (B2O) 공격이 가장 효과적이었습니다.
  • SAM에서도 Mask-Distortion, Erasure, Injection 공격 모두 90% 이상의 ASR 을 달성하여 대규모 모델도 취약함을 입증했습니다.
• 모델 유용성 (Model Utility):
  • 공격이 없는 깨끗한 데이터 (Clean Data) 에 대한 모델의 정확도 (CBA, PBA) 는 공격 전과 비교해 거의 감소하지 않았습니다. 이는 공격이 모델의 정상적인 기능을 해치지 않으면서만 특정 조건에서 악성 행동을 유발함을 의미합니다.
• 은밀성 (Stealthiness):
  • 기존 방법 (HBA, OFBA, IBA) 에 비해 PSNR, SSIM, LPIPS 지수에서 훨씬 우수한 은밀성을 보였습니다.
  • 특히 Instance-Level 공격은 PSNR 52.27 을 기록하여 인간이 시각적으로 구분하기 어려울 정도로 은밀했습니다.
• 방어 기법 평가 (Defenses):
  • Fine-tuning, Pruning, ABL, STRIP, TeCo, Beatrix 등 6 가지 대표 방어 기법을 평가했습니다.
  • 결과: 대부분의 방어 기법이 BADSEG 공격을 효과적으로 완화하지 못했습니다.
    • Fine-tuning 은 일부 감소시켰으나 여전히 높은 ASR 을 유지했습니다.
    • Pruning 은 세그멘테이션의 공간적 특징 분산 특성상 효과가 없었습니다.
    • 샘플 탐지 기반 (STRIP, TeCo, Beatrix) 방어는 깨끗한 샘플과 독성 샘플의 분포가 유사하여 탐지율이 무작위 추측 수준 (AUC $\approx$ 0.5) 에 그쳤습니다.

4. 주요 기여 (Key Contributions)

1. 위협 모델의 재정의: 시맨틱 세그멘테이션에서 간과되었던 4 가지 거시적 및 2 가지 미시적 공격 벡터를 체계적으로 분류하고 제안했습니다.
2. BADSEG 프레임워크 개발: 트리거 파라미터 최적화 (Gumbel-Softmax 활용) 와 라벨 조작 전략을 통합하여 세그멘테이션 특화 백도어 공격을 수행하는 통합 프레임워크를 제시했습니다.
3. 광범위한 실험 및 벤치마크: 12 가지 공격, 7 가지 모델, 3 가지 데이터셋, 500 개 이상의 훈련 모델을 통해 공격의 효과성과 방어 기법의 한계를 입증했습니다.
4. 최신 아키텍처 취약성 발견: Transformer 기반 모델과 SAM 과 같은 최신 모델도 백도어 공격에 취약함을 처음 입증했습니다.

5. 의의 및 결론 (Significance)

이 논문은 시맨틱 세그멘테이션 모델이 안전 필수 (Safety-critical) 응용 분야에서 심각한 보안 위협에 노출되어 있음을 경고합니다. 기존 분류 작업 중심의 방어 기법이 세그멘테이션에는 효과가 없음을 보여주었으며, 세그멘테이션 고유의 위협 모델에 맞춘 새로운 방어 기법의 개발이 시급함을 강조합니다. 또한, BADSEG 는 향후 더 안전한 세그멘테이션 모델을 개발하기 위한 실용적인 벤치마크 역할을 할 것으로 기대됩니다.