TsallisPGD: Adaptive Gradient Weighting for Adversarial Attacks on Semantic Segmentation

기술 요약: TsallisPGD

문제 제기
시맨틱 세그멘테이션 모델을 공격하는 것은 이미지 분류 모델을 공격하는 것보다 훨씬 더 어렵습니다. 분류 공격은 단일 레이블을 대상으로 하는 반면, 세그멘테이션 공격은 수천 개의 픽셀 예측을 동시에 뒤집어야 합니다. 픽셀 단위 교차 엔트로피 (CE) 손실을 사용하여 투영된 경사 하강법 (PGD) 을 적응시키는 표준 접근법은 최적화 역학이 비최적이라는 단점을 겪습니다. 구체적으로, 표준 CE 는 이미 오분류된 픽셀 (예측 확률 $p_y \to 0$ 인 경우) 을 과도하게 강조하는 경향이 있습니다. 이로 인해 이러한 "쉬운" 대상에 대한 기울기가 포화되어 수렴이 느려지고, 공격이 고신뢰도이며 올바르게 분류된 픽셀을 효과적으로 표적하지 못하기 때문에 모델의 견고성에 대해 지나치게 낙관적인 평가가 이루어집니다.

방법론
저자들은 표준 교차 엔트로피를 엔트로피 지수 $q$로 매개변수화된 일반화인 Tsallis 교차 엔트로피로 대체하는 적대적 공격 프레임워크인 TsallisPGD를 제안합니다.

• 기울기 재가중: 핵심 이론적 통찰은 Tsallis 교차 엔트로피가 표준 CE 기울기에 대한 신뢰도 의존적 재가중을 유도한다는 것입니다. 예측 확률 $p$에 대한 기울기는 $p^{1-q}$ 인자로 스케일링됩니다.
  • $q < 1$인 경우, 가중치는 $p$가 증가함에 따라 커지므로, 뒤집기 어려운 고신뢰도이며 올바르게 분류된 픽셀을 강조합니다.
  • $q > 1$인 경우, 가중치는 저신뢰도 픽셀을 강조합니다.
• 기울기 피크 제어: 저자들은 $q$에 대한 기울기 피크 위치 ($p^*_y$) 에 대한 폐형식 (closed-form) 식을 유도했습니다: $p^*_y = \frac{1-q}{2-q}$. 이를 통해 공격자는 최적화가 어떤 신뢰도 영역에 집중할지 명시적으로 제어할 수 있습니다. $q$를 변화시킴으로써 공격은 픽셀의 서로 다른 부분 집합을 표적할 수 있습니다.
• 동적 $q$ 스케줄: 실증 분석은 단일 고정된 $q$ 값이 보편적으로 최적이지 않으며, 최적의 $q$는 데이터셋, 모델 아키텍처, 교란 예산 ($\epsilon$) 에 따라 달라진다는 것을 보여줍니다. 이를 해결하기 위해 저자들은 최적화 과정에서 $q$를 스윕 (sweep) 하는 동적 $q$ 스케줄을 제안합니다.
  • 이 스케줄은 시작 값 ($q_{start}$) 과 종료 값 ($q_{end}$) 으로 매개변수화된 선형입니다.
  • 최적의 스케줄은 홀드아웃 검증 분할 (구체적으로 $q=-2$에서 $q=1$까지의 스윕) 을 사용하여 한 번 선택된 후, 추가 튜닝 없이 모든 테스트 벤치마크에 변경 없이 적용됩니다.
  • 이 접근법은 단일 공격 실행이 여러 기울기 집중 영역을 통과하게 하여, 초기에는 고신뢰도 픽셀에 집중하다가 점차 표준 CE 동작을 회복하도록 합니다.

주요 기여

1. TsallisPGD: $q$ 매개변수를 통해 공격 초점을 제어하기 위해 Tsallis 교차 엔트로피를 활용한 시맨틱 세그멘테이션을 위한 새로운 적대적 공격.
2. 이론적 분석: Tsallis 교차 엔트로피가 신뢰도 의존적 기울기 재가중 ($p^{1-q}$) 을 유도함을 증명하고 기울기 피크 위치를 유도하여 특정 신뢰도 수준을 표적할 수 있는 메커니즘을 제공합니다.
3. 동적 스케줄링: 고정된 $q$ 설정이 보편적으로 최적이지 않다는 관찰에 기반하여, 시간에 따라 공격 초점을 적응시키는 동적 $q$ 스케줄 제안.
4. 실증적 검증: 다양한 데이터셋과 모델에서 단일 검증 선택 동적 스케줄이 정적 기준선보다 우수함을 보여주는 광범위한 실험.

실험 결과
저자들은 다양한 아키텍처 (PSPNet, UPerNet, Segmenter) 와 표준 및 적대적으로 훈련된 모델 (예: DDCAT, PIR-AT) 을 사용하여 Cityscapes, Pascal VOC, ADE20K에서 TsallisPGD 를 평가했습니다. 공격은 CEPGD, SegPGD, CosPGD, JSPGD, MaskedPGD 와 같은 최신 기준선과 비교되었습니다.

• 성능: TsallisPGD 는 모든 21 가지 평가 설정 (데이터셋, 모델, 교란 예산을 결합) 에서 최고의 평균 순위를 달성했습니다.
  • 평균 픽셀 정확도 (ACC) 의 경우, TsallisPGD 는 평균 순위 1.38을 기록하여 가장 강력한 기준선인 MaskedPGD(2.43) 를 능가했습니다.
  • 평균 교차 합계 (mIoU) 의 경우, 평균 순위 1.57을 기록하여 CosPGD(2.57) 를 능가했습니다.
• 견고성: 이 방법은 일반적으로 최적화가 더 어려운 적대적으로 훈련된 모델에서 특히 강력한 개선을 보여주었습니다. ACC 의 경우 21 개 중 16 개 설정에서, mIoU 의 경우 21 개 중 13 개 설정에서 최고의 성능을 달성했습니다.
• 고정 $q$ 분석: 고정된 $q$ 값을 사용한 실험은 최적의 $q$가 특정 실험 설정에 크게 의존함을 확인시켜 주었으며, 이는 동적 스케줄의 필요성을 검증했습니다.

의의 및 주장
이 논문은 TsallisPGD 가 기울기 집중을 제어함으로써 시맨틱 세그멘테이션을 위한 더 강력한 적대적 공격을 구축하는 간단하고 일반적인 방법을 제공한다고 주장합니다. 그 의의는 다음과 같습니다:

1. 표준 교차 엔트로피는 이미 오분류된 픽셀을 과도하게 강조하는 경향으로 인해 세그멘테이션 공격에 적합하지 않습니다.
2. Tsallis 교차 엔트로피의 매개변수 $q$는 서로 다른 신뢰도 수준의 픽셀로 최적화를 유도하는 정밀한 메커니즘을 제공합니다.
3. 단일 검증 선택 동적 스케줄은 다양한 데이터셋, 아키텍처, 위협 예산에 걸쳐 효과적으로 일반화되어 설정별 하이퍼파라미터 튜닝의 필요성을 제거합니다.

저자들은 현재 접근 방식이 검증을 통해 선택된 고정된 스케줄을 사용하지만, 향후 연구에서는 각 반복 단계에서 $q$ 선택을 완전히 적응적으로 만들 수 있을 것이라고 결론지었습니다. 또한 TsallisPGD 를 모델의 견고성을 향상시키기 위해 적대적 훈련에 통합할 계획입니다.