기술 요약: ReACT-CLIP

문제 정의

CLIP과 같은 시각-언어 모델(VLM)은 다양한 다운스트림 태스크를 위해 고정된 시각 인코더에 의존하며, 이는 적대적 공격에 대해 집중된 실패 지점(concentrated point of failure)을 형성한다. 적대적 훈련(adversarial training)과 프롬프트 튜닝(prompt tuning)이 강건성을 제공할 수 있지만, 이는 종종 재학습을 요구하고, 특정 공격 분포에 과적합될 위험이 있으며, 깨끗한 정확도(clean accuracy)를 희생하여 강건성을 얻는다. 결과적으로, 훈련이 필요 없는 테스트 단계 방어(training-free test-time defenses)가 실용적인 대안으로 등장했다.

그러나 기존의 테스트 단계 방어법들은 근본적인 한계점을 가진다: 이들은 **고정된 개입 전략(fixed-intervention strategies)**을 사용한다는 점이다. 고정된 프롬프트 업데이트, 고정된 역공격 예산(counterattack budgets), 또는 고정된 특징 교정 스케일(예: 앵커 구축을 위한 전역 가우시안 노이즈 스케일)을 사용하는 방식은 추론 시의 다양한 공격 심각도에 적응할 수 없다. 배포 시에는 공격 예산($\epsilon$)을 알 수 없으며, 동일한 명목상의 예산 내에서도 샘플마다 요구되는 교정 강도는 크게 달라진다. 논문에서 입증된 바와 같이, 약한 공격에 적합하도록 설정된 고정 구성은 강한 공격에 대해 "미달(undershoot)"하는 경향이 있는 반면, 강한 공격에 맞춰 튜닝된 구성은 "과잉(overshoot)"하여 깨끗하거나 약하게 섭동된 입력에 대한 성능을 저하시킨다. 이러한 불일치는 기존의 방어법들이 공격 강도가 증가함에 따라 성능이 급격히 저하되는 원인이 된다.

방법론: ReACT-CLIP

ReACT-CLIP(Response-Aware Correction at Test-Time for CLIP)은 테스트 단계 방어를 **샘플별 결정 프로세스(sample-specific decision process)**로 재정의함으로써 이 문제를 해결한다. 전역적으로 고정된 교정을 적용하는 대신, ReACT-CLIP은 각 입력에 대해 두 가지 뚜렷한 속성을 결정한다:

1. 방어적 개입이 필요한지 여부.
2. 입력을 얼마나 강하게 교정해야 하는지.

이 방법은 사전 학습된 모델을 수정하거나 프롬프트 훈련을 요구하지 않고 작동한다. 이는 두 가지 핵심 메커니즘에 의존한다:

1. 응답 조건부 앵커 구축 (교정 강도 결정)

필요한 교정 강도를 추정하기 위해, ReACT-CLIP은 두 단계의 가우시안 노이즈($\sigma_{low}$ 및 $\sigma_{high}$)로 입력을 프로브(probe)하고, 그에 따른 시각적 특징 공간의 드리프트(drift)를 측정한다.

• 관찰: 단일 노이즈 수준에서의 절대적 드리프트는 모호할 수 있지만(적대적 특징은 약한 노이즈 하에서 기만적으로 안정적으로 보일 수 있음), 상대적 교차 노이즈 드리프트(relative cross-noise drift)($r(x)$)는 명확하고 단계적인 신호를 제공한다. 이는 저노이즈에서 고노이즈로의 상대적 드리프트 증가량으로 정의된다:
  $$r(x) = \frac{d_{high}(x) - d_{low}(x)}{d_{low}(x)}$$
• 메커니즘: 이 상대적 드리프트는 교정 요구량에 대한 샘플별 대리 지표 역할을 한다. ReACT-CLIP은 단일 데이터셋(Caltech256)에서 한 번 캘리브레이션된 선형 매핑을 사용하여 $r(x)$를 샘플별 교정 스케일 $\sigma_{corr}(x)$로 매핑한다.
• 적용: 이 스케일은 가우시안 노이즈가 가해진 뷰들로부터 노이즈 평균 특징 앵커($f_{anc}$)를 구축하는 데 사용된다. 이후 원래의 시각적 특징은 이 앵커를 향해 그리고 그 너머로 외삽(extrapolate)된다. 작은 $r(x)$는 작은 노이즈 스케일과 완만한 교정을 생성하며, 큰 $r(x)$는 더 큰 스케일과 더 강력한 교정 범위를 생성한다.

2. 선택적 방어 개입 (필요성 결정)

조건 없이 교정을 적용하는 것은 이미 올바르게 분류된 깨끗한 입력에 해를 끼칠 수 있다. 개입 여부를 결정하기 위해, ReACT-CLIP은 상대적 드리프트와 **예측 불안정성 점수(prediction-instability score)**를 결합한다.

• 관찰: 깨끗한 입력은 약한 공간적 증강(spatial augmentation) 하에서도 안정적인 클래스 확률 분포를 유지하는 반면, 적대적 입력은 더 큰 변동성을 보인다.
• 메커니즘: 예측 불안정성 점수 $J(x)$는 원래의 예측과 약한 확률적 증강 $T(x)$ 하에서의 예측 사이의 젠슨-샤논 발산(Jensen–Shannon divergence)을 사용하여 계산된다.
• 결정: 최종 방어 개입 점수는 $s_{int}(x) = r(x) + J(x)$이다. 만약 $s_{int}(x)$가 임계값 $\tau$를 초과하면 교정이 적용되며, 그렇지 않으면 원래의 특징을 유지한다. 이를 통해 시스템은 드리프트만으로는 모호할 수 있는 영역인 약한 공격 상태의 입력과 깨끗한 입력을 구분할 수 있다.

주요 기여

1. 응답 조건부 앵커 구축: 본 논문은 전역적으로 고정된 교정 강도가 최적이 아님을 식별하였다. 저자는 상대적 교차 노이즈 드리프트를 샘플별 교정 스케일로 변환하는 방법을 도입하여, 재학습 없이도 공격 예산과 개별 샘플의 특성 모두에 적응할 수 있는 방어 범위를 제공한다.
2. 선택적 방어 개입: 저자들은 상대적 드리프트와 예측 불안정성을 결합한 융합 개입 점수를 제안한다. 이는 드리프트 기반 탐지만으로는 모호했던 약한 공격 환경에서의 탐지 능력을 개선하고 깨끗한 정확도를 보존한다.
3. 광범적인 강건성 평가: 이 방법은 12개의 다운스트림 데이터셋, ImageNet 및 그 분포 변화 버전(distribution-shifted variants)에 대해 PGD-10, PGD-100, C&W-10, AutoAttack 환경에서 평가되었다.

결과

• 강건성 이득: 12개 다운스트림 데이터셋의 PGD-10 공격 하에서, ReACT-CLIP은 공격 예산 $\epsilon=1/255$에서 $\epsilon=16/255$까지 약 60%의 강건 정확도를 유지한다.
• 베이스라인과의 비교: $\epsilon=16/255$에서 가장 강력한 기존 베이스라인인 Defend-CLIP보다 최대 46.50 퍼센트 포인트 높은 성능을 보인다. 기존 방어법들이 공격이 강해짐에 따라 급격히 저하되는 것과 달리, ReACT-CLIP은 안정적인 성능을 유지한다.
• 깨끗한 정확도: 이 방법은 깨끗한 입력에 대해 가장 강력한 방어법과 0.76% 이내의 차이를 유지하며 깨끗한 정확도를 보존한다.
• 일반화: 단일 데이터셋에서 캘리브레이션된 교정 강도 선형 매핑은 ImageNet 및 그 분포 외(OOD) 변형들에 효과적으로 일반화되며, 다른 방어법들이 무너지는 공격 예산($\epsilon=24, 32$) 범위까지 성공적으로 외삽된다.
• 어블레이션(Ablation): 실험 결과는 응답 조건부 앵커 구축이 중강도 공격 예산에서의 강건성을 주도하는 반면, 선택적 개입 점수는 주로 깨끗한 정확도를 보호하고 약한 공격 환경에서의 성능을 개선함을 확인시켜 준다.

의의 및 주장

본 논문은 ReACT-CLIP이 전역적이고 고정된 개입에서 입력별, 응답 조건부 결정으로 전환함으로써 훈련이 필요 없는 테스트 단계 방어의 새로운 패러다임을 구축한다고 주장한다. 노이즈에 의한 특징 드리프트의 상대적 역동성과 예측 안정성을 활용함으로써, 이 방법은 추론 시 공격 파라미터에 대한 지식 없이도 알려지지 않은 공격 예산과 다양한 샘플 심각도에 적응한다.

저자들은 이러한 접근 방식이 하나의 고정된 구성을 통해 매우 약한 공격부터 매우 강한 공격에 이르기까지 넓은 스펙트럼의 공격 예산에 걸쳐 효과적으로 기능할 수 있게 하며, 동시에 사전 학습된 CLIP 모델의 제로샷(zero-shot) 능력을 대부분 보존할 수 있다고 강조한다. 이 연구는 고정된 방어 구성과 가변적인 공격 강도 사이의 "불일치"가 현재의 테스트 단계 방어법들이 실패하는 주요 원인이며, 응답 인식 조건화(response-aware conditioning)가 필수적인 단계임을 시사한다.