Misguiding BLIP with Adversarial Patches: Multi-level Attacks with Cross-modal Attention Graphs in BLIP

기술 요약: 어드버셜 패치를 통한 BLIP의 오도 (MAGA)

문제 정의
BLIP과 같은 퓨전 기반 아키텍처를 포함한 시각-언어 사전 학습(VLP) 모델은 텍스트 토큰과 시각적 패치 사이의 미세한 상호작용을 구축하기 위해 교차 모달 어텐션(cross-modal attention) 메커니즘에 의존한다. 기존의 VLP 모델에 대한 어드버셜 공격은 주로 픽셀 수준의 섭동(이미지 픽셀을 직접 수정)이나 특징 수준의 교란(잠재 공간에서 이미지-텍스트 임베딩을 분리)에 집중되어 왔으나, 내부의 **교차 모달 어텐션 구조(cross-modal attention structures)**의 취약성은 아직 충분히 탐구되지 않았다. 저자들은 퓨전 인코더 내의 조밀한 교차 모달 어텐션 그래프(Cross-modal Attention Graphs, CAGs)가 결정적인 실패 지점이라고 주장한다. 현재의 공격 방식은 텍스트 개념을 시각적 증거에 접지(grounding)시키는 데 필수적인 토큰-패치 연관성의 위상적 재배선(topological rewiring)을 명시적으로 겨냥하는 데 실패하는 경우가 많다. 결과적으로, 언어적으로는 유창하지만 시각적 입력과는 의미론적으로 일치하지 않는 "자연스럽지만 틀린(natural but wrong)" 환각(hallucination)을 유도하기 위해 어텐션 수준의 취약성을 구체적으로 겨냥하는 공격 방법이 필요하다.

방법론: 다층 어텐션 그래프 공격 (MAGA)
본 논문은 BLIP을 교란하기 위해 설계된 범용 어드버셜 패치 공격 프레임워크인 MAGA를 제안한다. 이 방법은 공격자가 훈련 중에 대상 모델의 파라미터와 중간 어텐션 행렬에 접근할 수 있지만, 배포 시에는 학습된 패치만을 사용하는 화이트박스 위협 모델 하에서 작동한다.

프레임워크는 세 가지 핵심 구성 요소로 이루어져 있다:

1. 교차 모달 어텐션 그래프 (CAGs):
   저자들은 텍스트 토큰과 시각적 패치 사이의 어텐션 관계를 나타내는 CAGs를 구축한다. 헤드(heads)를 가로질러 어텐션 점수를 평균화하고 임계값 $\delta_g$를 적용함으로써, 어텐션 점수 행렬을 가중치가 있는 이분 그래프(bipartite graph)로 변환한다. 노드는 토큰과 패치를 나타내며, 엣지는 어텐션 가중치를 나타낸다. 공유된 그래프 합성곱 신경망(GCN)은 깨끗한(clean) CAG와 어드버셜(adversarial) CAG를 모두 그래프 수준의 표현($g_{clean}$ 및 $g_{adv}$)으로 인코딩한다.

2. 다층 목적 함수 (Multi-Level Objective Function):
   MAGA는 세 가지 뚜렷한 목적을 결합한 총 손실 함수($L_{total}$)를 최소화함으로써 범용 어드버셜 패치 $p_\theta$를 공동 최적화한다:

   • 어텐션 수준 목적 함수 ($L_{attention}$): 이 방법의 참신한 핵심이다. 이는 깨끗한 CAG와 어드버셜 CAG 표현 사이의 코사인 거리를 최대화한다. 그래프 구조를 분리하도록 강제함으로써, 이 공격은 특정 토큰-패치 연결(예: "말(horse)"과 말이 포함된 시각적 영역 사이의 연결을 약화시킴)을 방해하여 모델의 내부 추론을 효과적으로 재배선한다.
   • 특징 수준 목적 함수 ($L_{feature}$): 이 구성 요소는 픽셀 왜곡을 최소화하고 SSIM을 통해 구조적 비유사성을 줄이는 시각적 충실도 제약을 포함하고, 정렬 교란 항을 포함함으로써 공격이 범용 패치로 남을 수 있도록 보장한다. 이는 깨끗한 이미지의 시각적 특징과는 일관성을 유지하면서, 어드버셜 이미지와 쌍을 이루는 텍스트 사이의 유사성을 감소시킨다.
   • 캡션 수준 목적 함수 ($L_{caption}$): 퇴보적이거나 반복적인 출력을 방지하기 위해 의미론적 분산 항이 도입된다. 이는 생성된 어드버셜 캡션과 정답(ground-truth) 캡션 사이의 거리를 최대화하는 동시에, 미니 배치 내의 캡션 간 다양성을 장려한다. 이는 유창하고 다양하면서도 사실적으로는 틀린 설명을 생성하도록 촉진한다.

3. 최적화 및 배포:
   패치 생성기는 고정된 잠재 코드(latent code)와 공간 마스크를 사용하여 훈련된다. 최적화 과정 동안 대상 BLIP 모델의 파라参数는 고정된 상태를 유지하며, 오직 패치 생성기와 보조 그래프 인코더만이 업데이트된다. 일단 훈련되면, 범용 패치는 대상 모델이나 그 그래디언트에 대한 추가적인 접근 없이도 보지 못한 이미지에 적용될 수 있다.

주요 기여

• 어텐션 취약성 식별: 본 연구는 BLIP 퓨전 인코더의 교차 모달 어텐션 분포가 픽셀 또는 글로벌 특징 취약성과는 별개인, 구체적이고 착취 가능한 취약점임을 조사하고 입증한다.
• CAG 기반 공격 공식화: 저자들은 토큰-패치 연관의 구조적 표현으로서 교차 모달 어텐션 그래프(CAGs)를 도입한다. 이들은 깨끗한 CAG와 어드버셜 CAG 사이의 불일치를 최대화하여 모델의 내부 어텐션을 효과적으로 "재배선"하는 방법을 제안한다.
• 다층 공격 프레임워크 (MAGA): 어텐션 수준의 교란, 특징 수준의 정렬, 캡션 수준의 의미론적 분산을 공동으로 최적화하는 통합 프레임워크를 제안한다.
• 다양성 정규화를 통한 은닉성: 다양성 정규화 항을 도입함으로써, 이 방법은 모델이 시각적 내용과는 분리되어 있으면서도 언어적으로는 그럴듯한 캡션을 생성하게 하여 "자연스럽지만 틀린" 환각을 성공적으로 유도한다.

실험 결과
저자들은 이미지-텍스트 검색, 이미지 캡셔닝, 시각적 질의응답(VQA) 작업에 걸쳐 MS COCO, Pascal Sentences, BLIP-VQA 벤치마크에서 MAGA를 평가했다.

• 검색 (Retrieval): MAGA는 (PGD, UAP, AdvPatch, AdvCLIP을 포함한) 베이스라인들을 크게 능가했다. MS COCO에서, 가장 강력한 베이스라인인 AdvCLIP이 20.0%를 기록했을 때, MAGA는 Image-to-Text Recall@1을 깨끗한 상태의 72.3%에서 9.0%로 감소시켰다. 또한 분포 외(out-of-distribution) 데이터셋인 Pascal Sentences에 대해서도 강력한 전이성을 보여주었다.
• 캡셔닝 (Captioning): 이 공격은 높은 어휘 다양성(Distinct-2 점수 0.40)과 합리적인 퍼플렉시티(perplexity)를 유지하면서도 CIDEr 점수를 급격히 떨어뜨렸다 (82.0에서 12.8로). 이는 "자연스럽지만 틀린" 현상을 확인시켜 주었다.
• VQA: MAGA는 전체 VQA 정확도를 78.5%에서 12.4%로 감소시켰으며, Yes/No, 개수 세기(Counting), 공간(Spatial) 질문 카테고리 전반에서 80% 이상의 공격 성공률(ASR)을 기록했다.
• 절제 연구 (Ablation Studies): 실험을 통해 어텐션 수준의 목적 함수(CAG 교란)가 특징 수준 또는 캡션 수준의 공격 단독 사용보다 유의미한 성능 향상을 제공함을 확인하였으며, 이는 다층 접근 방식의 필요성을 입증한다.

의의 및 주장
본 논문은 MAGA가 멀티모달 파운데이션 모델의 추론 메커니즘에 있는 결정적인 취약점을 부각시킨다고 주장한다. 글로벌 특징을 섭동시키는 것보다 교차 모달 어텐션의 토폴로지를 교란하는 것이 더 효과적임을 입증함으로써, 본 연구는 입력-출력 매핑뿐만 아니라 내부 어텐션 구조의 견고성을 평가하는 것이 중요함을 강조한다. 유창하지만 시각적으로 일치하지 않는 출력을 생성하는 능력은, 시각적 접지가 방해받을 때 현재의 VLP 모델들이 내부 언어 사전(language priors)에 크게 의존할 수 있음을 시사하며, 이는 안전이 중요한 애플리케이션에서 이러한 모델을 신뢰성 있게 배포하는 데 위험 요소가 될 수 있다. 저자들은 미래의 멀티모달 시스템의 신뢰성을 보장하기 위해서는 견고성 평가가 퓨전 인코더 내부의 미세한 상호작용까지 확장되어야 한다고 결론짓는다.