기술 요약: 비전 언어 모델의 적대적 강건성을 위한 폐루프 양방향 프롬프팅

1. 문제 제기

CLIP과 같은 비전 언어 모델 (VLM) 은 시각 및 텍스트 모달리티를 공동 임베딩 공간에 정렬함으로써 강력한 성능을 달성합니다. 그러나 이러한 긴밀한 교차 모달 결합은 취약점을 생성합니다: 입력 이미지에 대한 작은 적대적 교란이 이미지와 해당 텍스트 간의 의미 정렬을 방해하여 오분류를 초래할 수 있습니다.

기존 방어 메커니즘은 다음과 같은 특정 한계를 겪고 있습니다:

• 적대적 파인튜닝 (AFT): 효과적이기는 하지만, 시각 인코더를 재학습해야 하므로 계산 비용이 많이 들며 사전 학습된 특징 다양체 (manifold) 를 왜곡할 위험이 있어 종종 깨끗한 데이터에서의 일반화 성능을 저하시킵니다.
• 적대적 프롬프팅 튜닝 (APT): 이러한 방법들은 백본을 고정된 채로 유지하면서 소프트 프롬프트를 최적화합니다. 그러나 일반적으로 모든 입력에 걸쳐 공유되는 정적 프롬프트를 생성하거나 단방향 투영 (예: 텍스트에서 시각으로만) 에 의존합니다. 이는 인스턴스별 교란에 적응하지 못하며 모달리티 간 상호 수정 메커니즘이 부족합니다.
• 테스트 시간 방어: 많은 방법들이 교란 특성보다는 시각적 측면의 일관성에 초점을 맞추거나, 근본적인 교차 모달 정렬을 복원하는 데 집중하지 않습니다.

식별된 핵심 한계는 대부분의 방어가 모달리티를 독립적으로 처리하거나 한쪽 브랜치만 조정하고 다른 쪽을 고정된 컨텍스트로 간주한다는 점입니다. 적대적 공격이 특히 이러한 브랜치들의 분리를 목표로 하므로, 시각 및 텍스트 특징이 능동적으로 상호작용하여 정렬을 재설정하는 양방향 복구를 요구하는 방어가 필요합니다.

2. 방법론: 폐루프 양방향 프롬프팅 (CLBP)

저자들은 사전 학습된 인코더를 고정된 채로 유지하고 시각 및 텍스트 브랜치 사이에 동적 피드백 루프를 도입하는 테스트 시간 방어인 **폐루프 양방향 프롬프팅 (CLBP)**을 제안합니다.

핵심 구성 요소

1. 시맨틱 앵커 (시맨틱 부트스트래핑):
   반복적 업데이트가 사전 학습된 의미 다양체에서 벗어나는 것을 방지하기 위해, 루프는 "시맨틱 앵커"로 초기화되고 제약받습니다. 이는 일반적인 클래스 템플릿 (예: "{클래스}의 사진") 에서 파생된 고정 텍스트 임베딩입니다. 이는 안정적인 사전 지식 (prior) 으로 작용합니다.

2. 양방향 피드백 루프:
   이 방법은 두 개의 경량 어댑터를 번갈아 가며 처리합니다:

   • 텍스트 - 시각 (T2V) 노이즈 제거: 현재 텍스트 임베딩 (초기에는 앵커) 이 T2V 어댑터에 의해 처리되어 시각 프롬프트를 생성합니다. 이러한 프롬프트는 이미지 패치 앞에 추가됩니다. 그런 다음 시각 인코더는 이러한 프롬프트에 조건부 (conditioned) 로 이미지를 처리하여, 안정적인 언어 신호에 대한 교차 어텐션을 통해 시각 특징 내의 적대적 노이즈를 필터링합니다.
   • 시각 - 텍스트 (V2T) 정제: 결과적으로 정제된 시각 특징은 V2T 어댑터에 의해 텍스트 프롬프트에 적용되는 인스턴스별 이동 ($\delta$) 으로 매핑됩니다. 이는 텍스트 설명을 데이터셋 전체에 공유되는 것이 아니라 현재 이미지 인스턴스에 특이적으로 업데이트합니다.

   이 과정은 폐루프를 형성합니다: $W^{(k)} \xrightarrow{T2V} z^{(k)} \xrightarrow{V2T} W^{(k+1)}$.

3. 이론적 안정성:
   저자들은 루프를 단위 구 (unit sphere) 상의 고정점 사상 (fixed-point map) 으로 모델링합니다. 앵커 초기화 하에서 합성 연산자가 국소 리프시츠 상수 $q \approx 10^{-4}$를 갖는 **축약 (contraction)**임을 증명합니다. 이는 다음을 의미합니다:

   • 루프는 고유한 고정점으로 수렴합니다.
   • 후속 반복이 미미한 개선을 제공하므로 단일 양방향 업데이트 ($N=1$) 만으로도 고정점에 도달하기에 충분합니다.
   • 깨끗한 고정점에서의 편차는 입력 교란에 비례하여 선형적으로 증가하지만 반복 깊이에 의존하지 않으므로 안정성이 보장됩니다.

4. 다중 뷰 집계:
   개별 증강으로 인한 샘플링 노이즈를 처리하기 위해 CLBP 는 입력의 $V$개 무작위 증강 뷰에 대한 예측을 집계합니다. 합의에 동의하지 않는 이상치 뷰를 억제하기 위해 유사도 가중 소프트맥스를 사용하여 재학습 없이 강건성을 향상시킵니다.

5. 학습 목적 함수:
   어댑터는 적대적 예제에 대한 복합 손실 함수를 사용하여 학습됩니다:

   • 교차 엔트로피 ($L_{ce}$): 표준 분류 손실.
   • 마진 손실 ($L_{mar}$): 적대적 로짓에 특징 공간 마진을 부과합니다.
   • KL 발산 ($L_{kl}$): 깨끗한 예측을 적대적 브랜치로 증류하여 깨끗한 정확도를 보존합니다.

3. 주요 기여

• 양방향 피드백 메커니즘: 이 논문은 기존 방어에서 모달리티를 독립적으로 처리하는 것을 주요 약점으로 식별하고, 고정된 인코더를 수정하지 않고 추론 시 시각 및 텍스트 특징이 서로를 조건부로 설정하고 상호 수정하는 CLBP 를 제안합니다.
• 시맨틱 앵커 및 수렴 분석: 반복을 제약하기 위한 시맨틱 앵커의 도입은 루프의 축약적 성질을 증명하는 이론적 분석으로 보완됩니다. 저자들은 단일 업데이트가 수렴에 충분함을 경험적 및 이론적으로 입증합니다.
• 포괄적 평가: 이 방법은 11 개 데이터셋에서 세 가지 regimes(교차 데이터셋 제로샷, 퓨샷 적응, 베이스 - 투 - 뉴 일반화) 하에서 검증되었습니다.

4. 실험 결과

저자들은 화이트박스 공격 (PGD, AutoAttack, Carlini-Wagner, EOT-PGD) 하에서 CLBP 를 적대적 파인튜닝 (AFT), 적대적 프롬프팅 튜닝 (APT), 그리고 테스트 시간 방어 (예: TTC, SCC, R-TPT) 와 비교 평가했습니다.

• 교차 데이터셋 제로샷 강건성: 10 개 데이터셋에서 CLBP 는 평균 강건 정확도 **52.77%**를 달성하여 가장 강력한 테스트 시간 방어 (49.71% 의 SCC) 및 학습 기반 베이스라인 (예: 24.37% 의 AdvMaPLe) 을 크게 능가했습니다. 특히, AFT 에서 관찰되는 정확도 - 강건성 트레이드오프를 피하면서 **59.99%**의 깨끗한 정확도를 유지하여 바닐라 CLIP(59.60%) 과 거의 동일했습니다.
• 퓨샷 적응: 11 개 데이터셋에 걸친 16 샷 설정에서 CLBP 는 **65.08%**의 평균 강건 정확도를 달성하여 다음으로 가장 좋은 베이스라인 (34.61% 의 FAP) 보다 약 두 배 높은 성능을 보였습니다. 저샷 regime(1 샷) 에서 CLBP 는 41.13% 의 강건성을 유지하는 반면, 정적 프롬프트 베이스라인은 약 2.43% 로 하락했습니다.
• 베이스 - 투 - 뉴 일반화: CLBP 는 베이스 클래스에 과적합되지 않음을 나타내는 미시 "New" 클래스에서 **54.92%**의 강건 정확도를 유지하며, FAP 의 21.86% 보다 우수한 전이성을 입증했습니다.
• 공격 다양성: CLBP 는 AutoAttack 앙상블, Carlini-Wagner 마진 공격, 그리고 적응형 EOT-PGD 공격에 대해 최첨단 성능을 유지하여 강건성이 그라디언트 은폐의 산물이 아님을 확인했습니다.
• 효율성: 이 방법은 효율적입니다; 강건 정확도는 8 개의 증강 뷰만으로도 포화되며 단일 루프 반복으로 충분합니다.

5. 의의 및 주장

이 논문은 CLBP 가 교차 모달 정렬의 분리가 취약점의 근본 원인인 VLM 의 보안을 위한 중요한 진전이라고 주장합니다.

• 파라미터 효율성: AFT 와 달리 CLBP 는 거대한 사전 학습된 인코더를 재학습할 필요가 없으므로 리소스가 제한된 환경이나 배포된 시스템에 적합합니다.
• 동적 적응: 양방향 루프를 통해 인스턴스별 프롬프트를 생성함으로써 CLBP 는 이전 프롬프팅 튜닝 방법들의 정적 성격을 극복하여 다양한 적대적 패턴에 적응할 수 있습니다.
• 이론적 기반: 이 연구는 폐루프 동역학이 축약적이며 빠르게 수렴함을 보여줌으로써 방어 안정성에 대한 이론적 근거를 제공합니다.
• 깨끗한 성능 보존: 이 방법은 적대적 학습에서 흔히 발생하는 실패 양상인 깨끗한 데이터 정확도 희생 없이 최첨단 강건성을 달성합니다.

저자들은 분석이 CLIP 과 같은 듀얼 타워 아키텍처에 초점을 맞추고 있으며, 이론적 경계는 경험적으로 엄격하지만 인수분해된 근사에 의존한다는 한계를 인정합니다. 또한 이 방법이 근본적인 고정 백본에서 편향을 계승한다는 점도 지적합니다. 그럼에도 불구하고 CLBP 는 비전 - 언어 모델의 적대적 방어를 위한 강건하고 효율적이며 이론적으로 기반을 둔 솔루션으로 제시됩니다.