기술 요약: VLM 에서의 교차 쿼리 응답 조작을 위한 어텐션 하이재킹

1. 문제 정의

이 논문은 비전 - 언어 모델 (VLM) 에 대한 기존 적대적 공격의 중요한 한계를 다룹니다. 현재 방법론들은 고정된 이미지 - 질문 쌍에 대해 모델의 출력을 특정 목표 응답으로 성공적으로 유도할 수 있지만, 교란된 이미지가 다른 텍스트 쿼리와 짝지어질 경우 그 효과는 현저히 저하됩니다. 이러한 교차 쿼리 전이성 (cross-query transferability) 의 부재는 단일 이미지가 다양한 사용자 지시를 마주할 수 있는 동적 환경에서 공격의 실용성을 저해합니다.

핵심 연구 질문은 다음과 같습니다: 단일 적대적 예시가 다양한 쿼리에 걸쳐 사전 정의된 목표 응답을 유도하도록 일반화될 수 있는가?

2. 방법론: 어텐션 하이재킹

2.1 핵심 통찰: 어텐션 패턴의 안정성

기존 공격 (특히 프로젝티드 그래디언트 디센트를 사용하는 LLM 로그잇 공격) 에 대한 심층 분석을 통해, 저자들은 성공적인 교차 쿼리 전이가 내부 어텐션 분포의 안정성과 밀접하게 연관되어 있음을 관찰했습니다.

• 관찰: 성공적인 전이 사례에서 모델은 응답 생성 동안 이미지 우세 어텐션 패턴을 유지하며, 이 경우 응답 토큰은 텍스트 토큰보다 이미지 토큰에 더 강하게 어텐션합니다.
• 실패 모드: 전이가 실패할 때, 이 이미지 우세 패턴이 무너지고 모델은 특정 텍스트 쿼리의 문구에 의존하게 됩니다.
• 가설: 전이성을 달성하기 위해서는 공격이 특정 텍스트 지시에서 출력을 분리하는 지속적이고 이미지 우세한 어텐션 패턴을 명시적으로 강제해야 합니다.

2.2 제안된 공격: 어텐션 하이재킹

저자들은 VLM 의 내부 어텐션 분포를 지속 가능한 이미지 우세 패턴으로 명시적으로 유도하는 새로운 적대적 공격인 **어텐션 하이재킹 (Attention Hijacking)**을 제안합니다.

주요 구성 요소:

1. 어텐션 재할당 손실 ($L_{AR}$):
   이 방법은 시각 토큰이 목표 응답 토큰에 미치는 영향을 증폭시키고 텍스트 토큰의 경쟁적 영향을 억제하도록 설계된 손실 항을 도입합니다.

   • 목표 응답 토큰 $y$에 대한 시각 토큰 ($\bar{A}_{img \to y}$) 과 텍스트 토큰 ($\bar{A}_{txt \to y}$) 의 평균 어텐션 가중치를 정의합니다.
   • 시각 어텐션과 텍스트 어텐션의 비율이 임계값 $r$을 초과하도록 제약을 부과합니다:
     $$\frac{\bar{A}_{img \to y}}{\bar{A}_{txt \to y} + \tau} \geq r$$
   • 이 손실은 선택된 레이어와 어텐션 헤드에 대한 힌지 스타일 패널티로 공식화되어, 이 비율이 충족되지 않는 경우를 패널티화합니다.

2. 전체 목적 함수:
   전체 최적화 목적 함수는 표준 목표 응답 로그 (로그잇 손실) 와 어텐션 재할당 손실을 결합합니다:
   $$L = L_{logits} + \lambda L_{AR}$$
   여기서 $\lambda$는 어텐션 유도 강도를 조절합니다.

3. 동적 스텝 크기 스케줄링:
   후기 단계에서의 최적화 불안정성 (고정된 스텝 크기가 종종 성공과 실패 사이의 진동을 유발함) 을 완화하기 위해, 저자들은 동적 스텝 크기 스케줄 ($\alpha^{(i)} = \alpha_0 \cdot \gamma^i$) 을 사용합니다. 이를 통해 초기에는 어텐션 패턴을 빠르게 유도하고 후기 반복에서는 더 정교하고 안정적인 수렴을 가능하게 합니다.

4. 텍스트 중심 변형:
   이 원리는 시각 토큰보다 텍스트 토큰을 우선시하도록 어텐션 비율을 반전시켜 텍스트 입력을 교란하는 경우 (텍스트 중심 공격) 에도 적용되어, 어텐션 재할당 전략의 일반성을 입증합니다.

3. 주요 기여

1. 한계 식별: 이 논문은 기존 공격에서 교차 쿼리 전이가 실패하는 원인이 유도된 어텐션 패턴의 불안정성, 특히 다양한 쿼리에 걸쳐 이미지 우세 초점을 유지하지 못하는 능력과 연관되어 있음을 규명합니다.
2. 새로운 공격 방법: 텍스트 토큰에서 시각 토큰으로 어텐션을 명시적으로 재할당하여 전이 가능한 이미지 우세 응답 생성 패턴을 확립하는 어텐션 하이재킹을 제안합니다.
3. 광범위한 검증: LLaVA-1.5, InternVL-2.5, Qwen2.5-VL, DeepSeek-VL 등 여러 VLM 과 VLGuard, VQAv2 데이터셋에 대한 포괄적인 실험을 통해 PGD, MIM, VMA 와 같은 베이스라인에 비해 우수한 교차 쿼리 전이성을 입증했습니다.
4. 일반성: 이 방법은 자일브레이킹, 환각 유도, 스펀지 예제 생성 (추론 비용 증가) 을 포함한 기타 공격 시나리오로 효과적으로 확장됨이 입증되었습니다.

4. 실험 결과

4.1 교차 쿼리 전이성

실험은 세 가지 조건 하에서 공격 성공률 (ASR) 을 평가했습니다:

• Exact (정확): 테스트 질문이 최적화 질문과 동일함.
• Similar (유사): 의미적으로 재구성된 질문.
• Irrelevant (무관): 전혀 관련 없는 질문.

결과:

• 베이스라인 방법 (PGD, MIM, VMA) 은 "Exact" 쿼리에서는 높은 ASR 을 달성했으나 "Similar" 및 "Irrelevant" 쿼리에서는 큰 하락을 겪었습니다 (예: InternVL-2.5 에서 PGD 는 Exact 에서 92.8% 에서 Irrelevant 에서 3.5% 로 하락).
• 어텐션 하이재킹은 모든 카테고리에서 높은 ASR 을 유지했습니다. InternVL-2.5 에서 유사 쿼리에서 **97.1%**의 ASR 을, 무관 쿼리에서 **95.7%**의 ASR 을 달성하여 모든 베이스라인을 크게 능가했습니다.
• 이 방법은 다양한 모델과 목표 응답 길이에서 견고했습니다.

4.2 확장 시나리오

• 자일브레이킹: 이 방법은 보이지 않는 유해한 질문들 전반에 걸쳐 유해한 지시에 대한 긍정적 응답을 성공적으로 유도하여 베이스라인을 능가했습니다.
• 환각: 다양한 질문에 대해 모델이 "아니요, 이미지에는 아무것도 없습니다"라고 주장하도록 효과적으로 유도하여 강력한 전이성을 보여주었습니다.
• 스펀지 예제: 이 방법은 베이스라인에 비해 보이지 않는 쿼리에서 훨씬 더 긴 생성 길이를 유도하여, 지속을 선호하는 안정적인 내부 상태를 나타냈습니다.

4.3 제거 실험 (Ablation Studies)

• 어텐션 재할당: 이 구성 요소를 제거하면 전이성 (특히 무관 쿼리에서) 이 급격히 하락하여 그 중심적인 역할을 확인시켰습니다.
• 동적 스텝 크기: 최적화 안정성과 성능을 개선했습니다.
• 레이어/헤드 선택: 모든 레이어에 어텐션 재할당을 적용했을 때 가장 좋은 결과가 나왔으며, 어텐션 헤드의 중간 비율 (40%) 로 제한하면 성능과 최적화 난이도 사이의 균형이 이루어졌습니다.

5. 의미 및 주장

이 논문은 어텐션 하이재킹이 단순히 출력 로그잇을 최적화하는 것을 넘어 내부 어텐션 안정성을 조작함으로써 VLM 의 적대적 공격에 대한 새로운 관점을 제공한다고 주장합니다.

• 메커니즘: 저자들은 모델이 응답 생성에 시각 토큰에 의존하도록 강제함으로써 공격이 출력을 특정 텍스트 쿼리에서 분리하여 강력한 전이성을 달성한다고 봅니다.
• 보안 시사점: 이 연구는 단일 이미지 공격이 광범위한 사용자 상호작용 전반에 걸쳐 응답을 조작할 수 있어 자율 주행, 의료, 공공 보안 분야의 응용 프로그램에 상당한 보안 위험을 초래한다는 점을 강조합니다.
• 겸손함: 저자들은 이 방법이 특정 모델 (화이트박스) 내에서 강력한 교차 쿼리 전이성을 달성하지만, 베이스라인 방법과 마찬가지로 교차 모델 전이성 (블랙박스) 은 약하다고 인정합니다. 이는 서로 다른 모델 간의 비전 인코더 및 어텐션 레이아웃의 구조적 차이 때문이며, 교차 모델 전이성을 개선하는 것은 향후 연구의 열린 과제로 지적합니다.

결론적으로, 이 논문은 안정적이고 이미지 우세한 어텐션 패턴을 강제하는 것이 비전 - 언어 모델에서 전이 가능한 응답 조작을 달성하기 위한 핵심적이고 효과적인 전략임을 입증합니다.