기술 요약: T-VSS (Test-Time Visual Subspace Steering)

1. 문제 정의

CLIP과 같은 시각-언어 모델(Vision-Language Models, VLMs)은 제로샷 시각 인식을 탁월하게 수행하지만, 적대적 섭동(adversarial perturbations)에 매우 취약합니다. 인간이 인지할 수 없는 수준의 입력 변화조차도 심각한 예측 실패를 야기할 수 있으며, 이는 의료 AI나 자율 주행과 같은 안전 필수 분야에서 위험을 초사합니다.

기존의 방어 전략들은 두 가지 주요 한계점에 직면해 있습니다:

1. 학습 단계 방법론(Training-Time Methods): 적대적 훈련(adversarial training), 강건한 미세 조정(robust fine-tuning), 확산 기반 정화(diffusion-based purification)와 같은 접근 방식은 라벨링된 데이터, 비용이 많이 드는 재학습, 또는 보조 모델을 필요로 하므로, 고정된(frozen) 대규모 VLM에는 적용하기 부적합합니다.
2. 테스트 단계 적응(Test-Time Adaptation, TTA) 방법론: 최근의 TTA 접근 방식들은 재학습 없이 추론 시의 강건성을 개선하려고 시도하지만, 종종 간접적인 최적화 경로에 의존합니다:
   • 프롬프트 기반 (예: R-TPT): 학습 가능한 텍스트 프롬프트를 최적화합니다.
   • 입력 공간 기반 (예: TTP, TTC): 픽셀 수준의 패딩이나 역공격(counterattack) 섭동을 최적화합니다.
     이러한 방법들은 계산 비용이 많이 들며, 적대적 공격의 주 타겟인 시각적 표현(visual representation) 자체의 손상을 직접적으로 해결하지 못합니다.

2. 방법론: T-VSS (Test-Time Visual Subspace Steering)

T-VSS는 테스트 시점에 **시각적 특징 공간(visual feature space)**을 적응시키는 가볍고 직접적인 방어를 제안합니다. 프롬프트나 픽셀을 튜닝하는 대신, 공격받은 이미지의 멀티 뷰(multi-view) 특징으로부터 유도된 압축적이고 샘플 특화적인 저계수 부분 공간(low-rank subspace) 내에서 공유된 교정(correction)을 학습합니다.

이 방법은 다음 세 가지 주요 단계로 작동합니다:

A. 국소 시각적 부분 공간 추정 (Local Visual Subspace Estimation)

적대적 테스트 이미지 $x_0$와 그 $N$개의 증강된 뷰 $\{x_1, \dots, x_N\}$가 주어지면, 모델은 고정된 CLIP 이미지 인코더를 사용하여 고정된 시각적 특징 $\{f_i\}$를 추출합니다.

• 잔차 구성 (Residual Construction): 모든 증강 뷰의 특징에서 원본 공격 뷰($f_0$)의 특징을 빼서 앵커 기반 잔차 행렬 $R$을 구성합니다:
  $$R = [(f_1 - f_0)^\top, \dots, (f_N - f_0)^\top]^\top$$
• 부분 공간 추출 (Subspace Extraction): $R$에 특이값 분해(SVD)를 적용합니다. 이 방법은 상위-$m$개의 우특이 벡터($V_m$)로 정의되는 저계수 부분 공간을 선택합니다. 랭크 $m$은 누적 특이값 에너지가 임계값 $\rho$(예: 0.9)를 초과하도록 적응적으로 선택됩니다.
• 직관: 모든 뷰는 동일한 공격받은 이미지에서 기원하므로, 이들의 특징 변화는 공통된 성분을 공유합니다. 잔차 구조는 저계수 기하학 구조로 붕괴되며, 이를 통해 공격으로 인한 국소적 변동을 격리하는 동시에 뷰 공유 오프셋(view-shared offsets)을 억제할 수 있습니다.

B. 공유 저계수 특징 스티어링 (Shared Low-Rank Feature Steering)

T-VSS는 추출된 부분 공간 $V_m$ 내에서 단일한 공유 교정 벡터 $\Delta$를 학습합니다:

• 학습 가능한 계수 벡터 $\alpha \in \mathbb{R}^m$는 0으로 초기화됩니다.
• 교정값은 $\Delta = V_m \alpha$로 계산됩니다.
• 이 이동량은 모든 뷰에 동시에 적용됩니다: $\tilde{f}_i = \text{norm}(f_i + \Delta)$.
• 이러한 설계는 각 뷰에 대해 독립적이고 불안정한 업데이트를 허용하는 대신, 저계수 기하학에 의해 제약된 합의된 교정(consensus correction)을 강제합니다.

C. 신뢰도 인식 최적화 및 집계 (Reliability-Aware Optimization and Aggregation)

모든 증강 뷰가 공격 하에서 동일하게 신뢰할 수 있는 것은 아닙니다. T-VSS는 신뢰도 가중치 메커니즘을 포함합니다:

• 신뢰도 점수 (Reliability Score): 각 뷰 $i$에 대해, 특징 공간 내 상위-$K$개의 최근접 이웃과의 평균 유사도를 기반으로 점수 $r_i$를 계산합니다.
• 가중치 부여 (Weighting): 이 점수들은 온도 조절된 소프트맥스(temperature-scaled softmax)를 통해 가중치 $w_i$로 변환됩니다. 특징적 일치도가 높은 뷰는 높은 가중치를 받으며, 불안정한 이상치는 억제됩니다.
• 손실 함수 (Loss Function): 계수 벡터 $\alpha$는 예측된 클래스 확률의 신뢰도 가중치 적용 점진적 엔트로피(reliability-weighted pointwise entropy)를 최소화함으로써 최적화됩니다:
  $$\mathcal{L}_{\text{T-VSS}} = \sum_{i=0}^{N} w_i \mathcal{H}(p(\tilde{f}_i))$$
• 최종 예측 (Final Prediction): 최종 예측은 적응된 모든 뷰로부터 얻은 확률의 신뢰도 가중 평균입니다.

3. 주요 기여

1. 직접적인 특징 공간 적응: T-VSS는 학습 가능한 프롬프트나 픽셀의 간접적이고 비용이 많이 드는 최적화를 피하고, 학습된 저계수 부분 공간 내에서 손상된 시각적 표현을 직접 적응시키는 최초의 VLM용 테스트 단계 방어 기법입니다.
2. 샘플 특화 저계수 기하학: 멀티 뷰 특징의 앵커 기반 잔차로부터 부분 공간을 구성함으로써, 이 방법은 공격의 국소적 교차 뷰 기하학을 포착하고 업데이트를 기하학적으로 타당한 방향으로 제한합니다.
3. 신뢰도 인식 메커니즘: 뷰 신뢰도 가중치의 통합은 적응 과정과 최종 집계가 불안정한 증강 뷰(적대적 환경에서 흔히 발생하는 문제)에 대해 강건하도록 보장합니다.
4. 효율성: 이 방법은 고정된 인코더에 대한 단 한 번의 순전파(forward pass)만을 필요로 합니다. 최적화는 고차원 프롬프트 벡터나 픽셀 그리드가 아닌 작은 계수 집합(랭크 $m$)에 대해 수행되므로 추론 지연 시간을 크게 줄입니다.

4. 실험 결과

저자들은 세 가지 CLIP 백본(ResNet-50, ViT-B/16, ViT-L/14)을 사용하여 8개의 세밀한(fine-grained) 데이터셋, ImageNet, 그리고 4개의 ImageNet OOD 벤치마크에서 T-VSS를 평가했습니다.

• 적대적 강건성: T-VSS는 모든 백본과 데이터셋에서 일관되적으로 가장 우수한 평균 적대적 정확도를 달ien했습니다.
  • CLIP-ResNet-50을 사용한 세밀한 데이터셋에서, T-VSS는 평균 강건 정확도를 **48.5%**까지 향상시켜 이전 최고 성능인 R-TPT보다 3.3포인트 앞섰습니다.
  • ImageNet에서 **50.1%**의 강건 정확도를 달성하여 R-TPT(47.7%) 및 기타 베이스라인을 능가했습니다.
  • 도전적인 세밀한 카테고리(예: Cars, Flower102, Aircraft)에서 우수한 성능을 보였으며, OOD 벤치마크(ImageNet-A, V2, R, S) 전반에서도 이득을 유지했습니다.
• 클린 정확도 (Clean Accuracy): T-VSS는 공격적인 테스트 단계 교정과 관련된 상당한 정확도 저하를 피하면서 경쟁력 있는 클린 정확도를 유지했습니다.
• 효율성: T-VSS는 가장 빠른 적응형 방어였습니다. UCF101에서 T-VSS는 이미지당 0.383초 만에 52.5%의 강건 정확도를 달성하여, R-TPT(0.533s) 및 TTP(0.408s)보다 빨랐습니다. 또한 줄어든 뷰 예산(예: 16개 뷰)에서도 강력한 성능을 유지했습니다.
• 일반화: 이 방법은 다양한 공격 유형(PGD, CW, DeepFool, FGSM)에 대해 강건함을 보여주었으며, 이는 특정 공격 메커니즘에 과적합되지 않았음을 나타냅니다.

5. 의의 및 주장

본 논문은 T-VSS가 강건한 제로샷 VLM 추론을 위한 프롬프트 기반 및 픽셀 공간 적응의 단순하고 실용적이며 효율적인 대안을 제공한다고 주장합니다.

• 직접성: 시각적 특징 공간을 직접 스티어링함으로써, T-VSS는 간접적인 방법들보다 취약성의 근본 원인(손상된 시각적 표현)을 더 효과적으로 해결합니다.
• 강건성-효율성 트레이드오프: 제한된 저계수 적응은 기존의 테스트 단계 방어들에 비해 낮은 계산 오버헤드로 더 높은 강건성을 제공하는 우수한 트레이드오프를 산출합니다.
• 한계점: 저자들은 다른 증강 기반 방어들과 마찬가지로, T-VSS가 확률적 멀티 뷰 증강에 의존한다는 점을 인정합니다. 이는 적대자가 동일한 변환에 대한 기대값을 명시적으로 최적화하는 경우(방어 인지 공격, defense-aware attacks) 잠재적인 공격 표면이 될 수 있으며, 이는 현재 TTA 패러다임이 공유하는 한계점입니다.

결론적으로, T-VSS는 테스트 단계 적응을 압축적이고 샘플 특화적인 시각적 부분 공간으로 제한하는 것이 고정된 시각-언어 모델의 적대적 강건성을 향상시키는 실행 가능하고 효과적인 전략임을 입증합니다.