기술 요약: 대규모 시각-언어 모델(LVLM)의 유니버설 적대적 섭동을 위한 비전 인코더 취약점 공격

문제 정의

대규모 시각-언어 모델(LVLM)은 멀티모달 작업에서 뛰어난 성능을 달 achievement 했으나, 적대적 섭동(adversarial perturbations)에 매우 취약한 상태로 남아 있다. 기존의 적대적 공격 전략은 일반적으로 비전 인코더를 단일하고 균일하게 취약한 표면으로 취급하며, 인코더의 최종 출력 임베딩을 대상으로 섭동을 최적화한다. 그러나 이러한 접근 방식은 인코더의 내부 구조적 이질성을 무시하며, 강건한 구성 요소를 타겟팅함으로써 적대적 효과를 희석시킬 가능성이 있다. 또한, 대부분의 기존 방법은 이미지별 섭동에 의존하므로 계산 비용이 높고 대규모 이미지 세트에 대한 강건성 평가의 확장성이 제한적이다. 어떤 내부 구성 요소가 다운스트림 언어 모델의 행동에 가장 결정적인지, 그리고 어떻게 이러한 취약점을 효율적으로 공략할 수 있는지에 대한 체계적인 분석이 부족한 실정이다.

방법론: VEV-UAP

저자들은 **비전 인코더 취약 구성 요소 타겟형 유니버설 적대적 섭동(VEV-UAP)**을 제안한다. 이 프레임워크는 최적화 과정에서 텍스트 입력이나 언어 모델을 개입시키지 않고도, 다양한 이미지와 작업에 걸쳐 성능을 저하시키는 단일한 유니버설 섭동을 생성하도록 설계되었다. 방법론은 다음 두 단계로 진행된다.

1. 구조적 취약성 분석

저자들은 비전 인코더 내 어텐션 메커니즘의 구성 요소 및 레이어별 체계적인 분석을 수행하여 "표현 강건성(Representation Robustness, RR) 점수"를 식별한다. 이 점수는 다양한 레이어에서 특정 어텐션 구성 요소(Attention weights, Query, Key, Value 벡터)를 섭동하기 전과 후의 다운스트림 대규모 언어 모델(LLM) 은닉 상태(hidden states) 간의 코사인 유사도를 측정한다.

• 핵심 발견: 분석 결과, 적대적 취약성은 균일하게 분포되어 있지 않다. 대신, 비전 인코더의 중간 레이어에 위치한 Value 벡터에 구조적으로 집중되어 있다. 이러한 특정 구성 요소를 섭동하는 것이 LLM의 은닉 상태에서 가장 큰 발산을 유도하는 반면, 초기/후기 레이어나 다른 구성 요소(Query, Key, Attention weights)를 섭동하는 것은 현저히 낮은 영향만을 미친다.

2. 공격 최적화

취약성 분석을 바탕으로, VEV-UAP는 일련의 입력 이미지 $X$에 대해 식별된 취약한 중간 레이어($L_{vul}$)의 Value 벡터의 발산을 최대화함으로써 유니버설 섭동 $\delta$를 최적화한다.

• 목적 함수: 최적화 과정은 레이어 $l \in L_{vul}$에 대하여 깨끗한 이미지의 Value 벡터 $V_l(x)$와 섭동된 이미지의 Value 벡터 $V_l(x+\delta)$ 사이의 RR 점수를 최소화(코사인 거리는 최대화)한다.
• 제약 조건: 섭동은 가시성을 보장하기 위해 $L_\infty$ 노름($\|\delta\|_\infty \leq \epsilon$)에 의해 제한된다.
• 효율성: 이 과정은 전적으로 비전 인코더 기반으로 이루어진다. LLM으로부터의 그래디언트(gradient)를 필요로 하지 않으며, 최적화 중에 텍스트 프롬프트를 사용하지 않고, 모든 이미지에 공유되는 단일 섭동을 생성하여 이미지당 최적화 비용을 제거한다.

주요 기여

1. 취약 구성 요소 식별: 본 논문은 LVLM 비전 인코더에 대한 최초의 체계적인 구성 요소 및 레이어별 분석을 제공하며, 중간 레이어의 Value 벡터가 언어 모델로 이어지는 적대적 효과의 주요 전파 경로임을 식별하였다.
2. VEV-UAP 프레임워크: 저자들은 이러한 특정 취able 구성 요소를 타겟팅하는 유니버설 적대적 섭동 방법을 도입하였다. 이 접근 방식은 작업 불가지론적(task-agnostic)이며 학습 중 텍스트 감독이나 LLM 접근이 필요하지 않으면서도 높은 공격 성공률(ASR)을 달성한다.
3. 효율성 및 전이성: 제안된 방법은 전체 모델 최적화 베이스라인에 비해 우수한 계산 효율성을 입증한다. 결정적으로, 특정 비전 인코더에서 최적화된 단일 VEV-UAP는 동일한 비전 인코더를 공유하면서 서로 다른 언어 모델과 결합된 경우에도 효과적으로 전이된다.

실험 결과

저자들은 여러 LVLM(LLaVA-1.5, LLaVA, InstructBLIP, MiniGPT-4, Qwen2.5-VL)과 작업(이미지 분류, 이미지 캡셔닝, 시각적 질의응답)에 대해 VEV-UAP를 평가하였다.

• 공격 성공률 (ASR): VEV-UAP는 기존 베이스라인(Text-Emb, Img-Emb, Both-Emb)보다 일관되게 높은 성능을 보였다. 예를 들어, LLaVA-1.5 분류 작업에서 VEV-UAP는 가장 우수한 베이스라인이 29.9%를 기록한 것에 비해 96.1%($\tau=0.9$에서)의 ASR을 달성했다. VQA 작업에서는 모델 점수를 거의 제로 수준으로 낮추었다 (예: LLaVA-1.5의 VQAv2에서 0.3).
• 전이성: EVA-CLIP 비전 인코더를 사용하여 생성된 단일 섭동은 서로 다른 언어 백본(Vicuna-13B vs. LLaMA2-7B)을 사용하는 InstructBLIP와 MiniGPT-4를 모두 기만하는 데 성공했다. 마찬가지로, CLIP-336 기반의 섭동은 LLaVA와 LLaVA-1.5 모두에 영향을 미쳤다.
• 방어 기제에 대한 강건성: JPEG 압축($Q=90$) 환경에서도 VEV-UAP는 베이스라인보다 현저히 높은 ASR을 유지했다 (예: Qwen2.5-VL 분류에서 88.5% vs. 65.9%).
• 계산 비용: VEV-UAP는 최적화 시간을 UAP당 약 3.19시간으로 단축하여, 전체 LVLM 아키텍처를 통해 최적화하는 방법 대비 6.4배의 속도 향상을 제공했다.
• 정성적 분석: 시각화를 통해 VEV-UAP가 Value 벡터 분포를 서로 다른 입력 이미지 간에 불변하게 만들고, 다운스트림 LLM에서 흐릿하고 정렬이 어긋난 어텐션 패턴을 유발하여 반복적이거나 의미론적으로 관련 없는 출력을 생성함을 보여주었다.

의의 및 주장

본 논문은 LVLM의 적대적 취약성이 균일하게 분포된 것이 아니라 구조적으로 집중되어 있다고 주장한다. 언어 모델로 투영되기 전 특징 통합을 매개하는 특정 "병목(bottleneck)" 구성 요소(중간 레이어 Value 벡터)를 식별하고 타겟팅함으로써, VEV-UAP는 멀티모달 파이프라인의 더욱 효율적이고 강력한 교란을 달성한다.

저자들은 VEV-UAP를 단순한 공격 도구가 아니라 확장 가능한 강건성 평가를 위한 실용적인 프레임워크로 포지셔닝한다. 이미지 및 프롬프트별 최적화가 필요 없고 비전 인코더에만 의존하기 때문에, 대규모 이미지 세트와 동일한 시각적 백본을 공유하는 다양한 모델 아키텍처에 대해 신속한 강건성 평가를 가능하게 한다. 이 연구는 향-LVLM의 강건성을 개선하기 위한 미래의 노력이 이러한 취약한 중간 레이어의 Value 표현을 명시적으로 강화하는 데 집중해야 함을 시사한다.