기술 요약: MirrorCheck: 비전 - 언어 모델을 위한 효율적인 적대적 방어

1. 문제 제기

비전 - 언어 모델 (VLM) 은 이미지 캡셔닝, 시각적 질문 응답 (VQA), 이미지 - 텍스트 검색과 같은 작업에서 최첨단 성능을 달성했습니다. 그러나 이들은 점점 더 정교한 적대적 공격에 취약해지고 있습니다. 전통적인 이미지 분류 방어와 달리, VLM 을 위한 기존 전략들은 종종 작업별 튜닝, 비용이 많이 드는 재학습에 의존하거나 단일 모달리티에 국한되어 복잡한 시각 - 언어 상호작용을 고려하지 못합니다. 또한, 많은 현재의 방어 체계는 모델에 대한 화이트박스 접근 권한을 가진 공격자가 체계적으로 방어 메커니즘을 우회하는 **적응형 공격 (adaptive attacks)**에 취약합니다. 재학습 없이 효과적으로 작동하고 적응형 위협을 견딜 수 있는 견고하고 모델에 구애받지 않는 탐지 프레임워크에 대한 시급한 필요성이 있습니다.

2. 방법론: MirrorCheck

MirrorCheck 는 단일 모달리티와 멀티모달리티 환경 모두를 위해 설계된 플러그 - 앤 - 플레이 방식의 모델에 구애받지 않는 적대적 탐지 프레임워크입니다. 이는 적대적 교란이 입력 이미지와 VLM 이 생성한 텍스트 설명 사이의 의미적 일관성을 왜곡한다는 핵심 직관에 기반합니다.

2.1. 핵심 파이프라인 (Vanilla MirrorCheck)

이 프레임워크는 세 단계의 프로세스를 따릅니다:

1. 추출 (Extract): 입력 이미지 $x_{in}$을 피해 VLM($\mathcal{F}_\theta$) 에 통과시켜 텍스트 출력 (캡션, 답변, 또는 클래스 설명) $t$를 생성합니다.
2. 생성 (Generate): 생성된 텍스트 $t$를 사전 학습된 텍스트 - 이미지 (T2I) 모델 ($G_\psi$) 에 입력하여 합성 이미지 $x_{gen}$을 재구성합니다.
3. 비교 (Compare): 원본 이미지 $x_{in}$과 생성된 이미지 $x_{gen}$을 사전 학습된 이미지 인코더 ($I_\phi$) 를 사용하여 인코딩하여 특징 임베딩 ($z_{in}$ 및 $z_{gen}$) 을 얻습니다. 이러한 임베딩 간의 유사도는 코사인 유사도를 사용하여 계산됩니다.
   • 판단: 유사도 점수 $S(z_{in}, z_{gen})$이 임계값 $\tau$ 미만이면, 입력은 적대적인 것으로 플래그가 지정됩니다.

주요 설계 선택 사항:

• 이미지 - 이미지 유사성: 입력 이미지를 텍스트와 직접 비교하는 대신, 이 방법은 입력 이미지를 재구성된 이미지와 비교합니다. 이는 위치 관계 및 동사 사용과 관련된 VLM 의 한계를 피하여, 직접적인 텍스트 - 이미지 유사성이 신뢰할 수 없게 되는 문제를 해결합니다.
• 임베딩 공간: 이 방법은 시각적 표현이 다를 때에도 의미적 동등성을 포착하기 위해 픽셀 수준 지표 (SSIM 또는 FID 등) 대신 벡터 임베딩을 사용합니다.

2.2. 확률적 MirrorCheck (Robustness Enhancement)

공격자가 유사도를 최대화하도록 교란을 최적화하려는 적응형 공격에 대응하기 위해, MirrorCheck 는 세 가지 주요 혁신을 도입한 확률적 (Stochastic) 변형을 소개합니다:

1. 무작위 T2I 선택: 시스템은 T2I 생성기들의 "모델 동물원 (model zoo)"을 유지합니다. 추론 시 하나의 모델이 무작위로 선택되어 공격자가 고정된 생성기에 대해 최적화하는 것을 방지합니다.
2. 확률적 인코더 배포: 더 큰 풀에서 이미지 인코더의 부분 집합이 각 추론을 위해 무작위로 선택됩니다.
3. 일회용 (OTU) 교란: 특징 추출 전에 선택된 인코더의 매개변수에 작은 무작위 노이즈 ($\gamma$) 가 주입됩니다. 이는 공격자가 정적 인코더에 대해 사전 계산된 그래디언트에 의존할 수 없도록 보장합니다.

이러한 확률적 요소들은 공격자의 탐색 공간을 기하급수적으로 증가시켜, 화이트박스 적응형 공격을 계산적으로 처리 불가능하게 만듭니다.

2.3. 적응형 공격 시뮬레이션

견고성을 검증하기 위해 저자들은 시스템에 대한 완전한 지식을 가진 최악의 경우 적응형 공격자를 시뮬레이션합니다. 공격자는 다음을 사용합니다:

• BPDA (Backward Pass Differentiable Approximation): VLM 의 비미분 가능한 텍스트 샘플링을 처리하기 위해, 학습 가능한 어댑터가 VLM 의 연속 은닉 상태를 T2I 조건부 공간에 매핑합니다.
• EoT (Expectation over Transformation): T2I 샘플링 및 OTU 교란의 무작위성을 처리하기 위해, 공격자는 확률적 샘플링 노이즈에 대한 그래디언트를 평균화합니다.

3. 주요 기여

1. MirrorCheck 프레임워크: T2I 재생성 및 임베딩 일관성을 활용하는 VLM 을 위한 새로운, 학습이 불필요하며 모델에 구애받지 않는 탐지 프레임워크.
2. 확률적 방어 전략: 무작위 모델 선택 및 OTU 교란을 도입하여 적응형 공격을 특히 저지하는 프레임워크의 확장.
3. 포괄적 평가: 다양한 VLM 아키텍처 (예: BLIP, LLaVA, MiniGPT-4) 와 공격 유형 (예: AttackVLM, Attack-Bard, FGSM/PGD 와 같은 표준 분류 공격) 에서 MirrorCheck 가 기존 베이스라인을 능가함을 보여주는 광범위한 실험.
4. 일반화: 이 방법이 수정 없이 단일 모달리티 작업 (이미지 분류) 으로도 일반화됨을 보여주는 증거.

4. 실험 결과

이 논문은 여러 피해 모델 및 공격 시나리오에 걸쳐 2,000 개의 이미지 (1,000 개의 깨끗한 이미지, 1,000 개의 공격된 이미지) 에서 MirrorCheck 를 평가합니다.

• 탐지 정확도: MirrorCheck 는 **65% 에서 99%**까지의 탐지 정확도를 달성합니다. 확률적 변형에서는 일관되게 베이스라인을 능가합니다. 예를 들어, AttackVLM-Q 하의 BLIP-2 모델에서 확률적 MirrorCheck 는 0.99의 정확도를 달성하여 다음으로 가장 좋은 베이스라인 (0.85) 을 크게 능가합니다.
• 유사도 점수: 깨끗한 이미지는 일관되게 높은 유사도 점수 (예: ~0.70–0.80) 를 산출하는 반면, 적대적 예시는 현저히 저하된 점수 (예: ~0.30–0.50) 를 보여 명확한 결정 경계를 생성합니다.
• 적응형 공격에 대한 견고성: 강력한 화이트박스 적응형 공격 (BPDA+EoT) 하에서도 탐지 정확도는 높게 유지됩니다. 인코더의 앙상블 크기를 증가시키고 (1 에서 10 으로) OTU 노이즈를 적용하면 견고성이 더욱 향상되어, 7 개 이상의 인코더를 사용하는 구성은 적응형 조건에서도 **98%**를 초과하는 정확도를 보입니다.
• 베이스라인 비교: MirrorCheck 는 단일 모달리티 방어 (MagNet, PuVAE, DiffPure) 와 멀티모달리티 전용 방법 (CIDER, JailGuard, SmoothVLM) 을 일관되게 능가하며, 종종 큰 차이 (예: 일부 설정에서 >0.13 의 개선) 로 우위를 점합니다.

5. 중요성 및 주장

이 논문은 멀티모달 적대적 방어를 위한 새로운 패러다임을 확립한다고 주장합니다. 그 중요성은 다음과 같습니다:

• 실용성: 피해 모델을 재학습하거나 내부 그래디언트/로그트에 접근할 필요가 없는 플러그 - 앤 - 플레이 솔루션입니다.
• 확장성: 다양한 VLM 아키텍처 전반에 걸쳐 일반화되며 단일 모달리티 작업에도 적용할 수 있습니다.
• 보안성: 이전 방어 체계들의 일반적인 실패 지점인 적응형 공격에 대한 경험적 보장을 제공합니다.

저자들은 MirrorCheck 가 진화하는 적대적 위협에 대비하여 차세대 AI 시스템을 보호하기 위한 견고한 기반을 제공하며, 방어 메커니즘에서 시각 및 언어 모달리티 간의 격차를 효과적으로 해소한다고 결론지었습니다.