Sample-wise Targeted Adversarial Attacks on Test-time Adaptation

기술 요약: 테스트 시간 적응에 대한 샘플 단위 표적 적대적 공격

문제 제기
테스트 시간 적응 (TTA) 은 레이블이 없는 테스트 스트림을 사용하여 모델 파라미터를 온라인으로 업데이트함으로써 분포 변화를 효과적으로 완화합니다. 그러나 이러한 레이블 없는 스트림에 대한 의존성은 치명적인 공격 표면을 생성합니다. 기존 TTA 에 대한 적대적 위협은 주로 비표적 저하 또는 클래스 단위 표적 공격에 초점을 맞추고 있습니다. 특정 의미 클래스 (예: 모든 '정지' 표지판) 의 모든 샘플을 목표 레이블로 강제하는 클래스 단위 공격은 본질적으로 은폐성이 떨어집니다. TTA 는 배치 단위로 작동하기 때문에, 일부 샘플을 목표 레이블로 강제하면 유사한 정상 샘플이 부수적으로 함께 끌려가게 되어, 출력 분포에서 목표 레이블의 눈에 띄고 비자연스러운 집중이 발생합니다. 실제 배포 시나리오에서는 정답 레이블을 사용할 수 없으므로, 이러한 분포 이상은 탐지 신호로 쉽게 활용됩니다. 본 논문은 보다 현실적이고 위험한 위협 모델이 필요하다고 주장합니다. 즉, 공격자가 전역 레이블 분포를 유지하면서 오직 특정 입력만 선택적으로 오분류할 수 있는 모델입니다.

방법론
저자들은 회색 상자 (grey-box) 환경에서 작동하는 샘플 단위 표적 공격 프레임워크를 제안합니다. 공격자는 초기 사전 훈련된 모델 아키텍처와 파라미터에 접근할 수 있지만, 서버 측 TTA 알고리즘, 피해자 데이터, 또는 정답 레이블에는 접근할 수 없습니다. 이 공격은 피해자 입력에 주입된 특정 트리거 (예: 패치 또는 정현파 패턴) 에 의존합니다. 목표는 이 트리거를 가진 입력만 오분류되도록 하면서, 트리거가 없는 입력이 정상 기준과 일관된 예측 분포를 유지하도록 보장하는 것입니다.

공격 생성에는 적대적 샘플이 포함된 동일한 배치에서 정상 입력에 대한 모델의 출력 분포 변화를 최소화하는 두 가지 경쟁 목표를 최적화하는 메타 학습 기반 접근법을 사용하여 공격자가 제어하는 데이터만으로 TTA 과정을 시뮬레이션합니다.

1. 주 공격 목표 ($L_{cls}$): 트리거를 가진 입력을 목표 레이블로 오분류시키는 성공률을 극대화합니다.
2. 부수적 은폐 목표 ($L_{stl}$): 동일 배치 내 적대적 샘플의 존재로 인해 정상 입력에서 발생하는 모델 출력 분포의 발산을 최소화합니다.

식별된 중요한 과제는 두 목표 간의 강력한 기울기 불일치입니다. 실증 분석에 따르면, 거의 모든 최적화 단계 (99.9% 음의 코사인 유사도) 에서 두 기울기는 상호 적대적입니다. 대칭적인 파레토 타협을 추구하는 표준 다중 작업 학습 (MTL) 방법은 공격 성공을 희생하여 미미한 은폐성 향상만 얻기 때문에 여기서 실패합니다.

이를 해결하기 위해 저자들은 타원형 신뢰 영역 (ellipsoidal trust-region) 문제로 공식화된 우선순위 인식 기울기 정렬 전략을 도입합니다.

• 우선순위 비대칭성: 업데이트 방향은 공격 기울기 ($a$) 에 가깝게 유지되도록 구성되지만, 은폐 기울기 ($c$) 로 이동할 때 $a$에서 벗어나면 이를 패널티합니다.
• 타원형 신뢰 영역: 업데이트 방향 $d$는 $a$를 중심으로 하고, 은폐 기울기로의 편차를 나타내는 $u$를 사용하여 메트릭 $M = I + \lambda uu^\top$로 정의된 타원형 내부에 제약됩니다. 이 기하학적 구조는 불일치된 은폐 방향을 따라 허용되는 단계 크기를 축소하면서 공격 방향은 유지합니다.
• 이론적 보장: 본 논문은 이 정렬된 방향이 심한 기울기 불일치 상황에서도 공격 목표에 대한 단조 감소를 보장한다는 정리를 증명하며, 이는 대칭적 기준선에는 결여된 보장 사항입니다.

주요 기여

1. 위협 모델 형식화: TTA 에 대한 샘플 단위 표적 위협 모델을 정의하여, 의미 클래스가 아닌 트리거에 기반한 엄격한 선택성을 부과함으로써 기존 클래스 단위 공격과 구별합니다.
2. 새로운 최적화 전략: 공격 목표와 은폐 목표의 적대적 성격을 명시적으로 처리하면서 주 공격 목표를 희생하지 않는 우선순위 인식 기울기 정렬로 강화된 메타 학습 프레임워크를 제안합니다.
3. 이론적 분석: 제안된 타원형 업데이트 방향이 기울기가 불일치할 때도 공격 목표의 효과적인 최적화를 보장함을 보여주는 이론적 보장을 제공합니다.
4. 실증적 검증: 높은 공격 성공률을 유지하면서 분포적 은폐성을 유지함을 입증하는 광범위한 실험을 수행했습니다.

실험 결과
이 방법은 CIFAR-10-C, CIFAR-100-C, ImageNet-C 에서 패치 및 SIG 트리거를 사용하여 다섯 가지 TTA 프로토콜 (TENT, RPL, EATA, SAR, DeYO) 에 대해 평가되었습니다.

• 공격 성공률 (ASR): 제안된 방법은 적응형 기준선 (RTTDP, FCA) 보다 훨씬 높은 ASR 을 달성합니다. CIFAR-10-C 에서 TTA 방법별 ASR 은 **89.59% 에서 95.90%**까지 범위를 보이며, 기준선은 25~63% 입니다. ImageNet-C 에서 ASR 은 대부분의 설정에서 95% 이상을 초과합니다.
• 은폐성 (분포 일관성): 큰 KL 발산 (예: >0.03) 과 확률 급증을 유발하는 클래스 단위 공격과 달리, 제안된 방법은 레이블 분포를 정상 기준 (KL $\approx$ 0.006) 과 거의 동일하게 유지합니다.
• 방어에 대한 강인성: 이 공격은 기존 방어 기법에도 효과적입니다.
  • 샘플 필터링: 엔트로피 기반 필터링은 공격이 성공을 보장하기 위해 불확실성을 최소화하여 저엔트로피 적대적 샘플을 생성하기 때문에 실패합니다.
  • MedBN: 표준 BN 에서 최적화된 적대적 궤적이 효과적으로 전이되기 때문에, 이 공격은 중앙값 배치 정규화 (Median Batch Normalization) 에 대해 높은 ASR (~80%) 을 유지합니다.
  • 지수 이동 평균 (EMA): EMA 는 초기에 ASR 을 감소시키지만, 적대적 샘플에 대한 간단한 데이터 증강으로 ASR 을 약 41% 로 회복시킬 수 있어 이 방어는 쉽게 우회될 수 있음을 시사합니다.

의의 및 주장
본 논문은 현재 TTA 배포 패러다임의 치명적인 취약점을 드러냈다고 주장합니다. 즉, 적대자가 표준 분포 변화 경보를 유발하지 않고 표적 오분류 ('침묵'하는 실패) 를 주입할 수 있다는 점입니다. 저자들은 기존 TTA 프레임워크가 이러한 회피 중심 위협에 대한 내재적 강인성이 부족하다고 강조합니다. 출력 분포의 통계적 자연스러움을 유지하면서 고정밀 공격을 수행할 수 있음을 입증함으로써, 이 연구는 자율 주행 및 의료 영상과 같은 안전 필수 응용 분야에서 적응형 모델의 보안 인식 설계 필요성을 부각시킵니다. 저자들은 트리거가 있는 샘플과 피해자 샘플의 동시 배치 의존성 및 정상 정확도 감소가 2 차 탐지 신호로 작용할 수 있다는 등의 한계를 겸손하게 언급하지만, 제안된 공격이 온라인 적응의 보안 위험을 이해하는 데 중요한 진전이라고 주장합니다.