기술 요약: VLMGuard

문제 정의

시각-언어 모델(Vision-Language Models, VLMs)은 악의적인 조작이 가해진 입력과 정상적인 입력이 혼재된 오픈 월드 환경에 점점 더 많이 배치되고 있습니다. 텍스트 전용 모델과 달리, VLM은 시각적 채널, 텍계적 채널, 또는 두 채널 모두를 조작하여 유해한 콘텐츠를 생성하거나 의도하지 않은 도구 동작을 실행하도록 유도하는 공격 표면이 확장됩니다.

VLM을 위한 안전 장치를 개발하는 데 있어 주요 과제는 악의적인 프롬프트와 정상적인 프롬프트가 모두 포함된 고품질의 레이블링된 데이터셋이 부족하다는 점입니다. 이러한 데이터를 큐레이션하려면 상당한 인간의 노력과 진화하는 공격 전략에 따른 지속적인 업데이트가 필요합니다. 결과적으로, 수동 주석(manual annotation)에 크게 의존하지 않고도 실제 배포 환경에서 자연스럽게 발생하는 방대한 양의 **레이블 없는 사용자 프로ンプ트(unlabeled user prompts)**를 사용하여 악의적인 프롬프트를 효과적으로 탐지할 수 있는 방법론이 절실히 필요합니다.

방법론: VLMGuard

저자들은 레이블 없는 데이터로부터 악의적 프롬프트 탐지기를 부트스트래핑하기 위해 설계된 2단계 학습 프레임워크인 VLMGuard를 제안합니다. 이 프레임워크는 레이블 없는 사용자 프롬프트가 허버 오염 모델(Huber contamination model)을 따른다는 가정하에 작동하며, 여기서 데이터 분포 $P_{unlabeled}$은 정상 분포($P_{benign}$)와 악의적 분포($P_{malicious}$)가 작은 혼합 비율 $\pi$로 섞여 있는 형태입니다.

1단계: 잠재 서브스페이스를 통한 자동 악의성 추정

첫 번째 단계는 사전 학습된 VLM의 내부 표현(internal representations)을 활용하여 레이블 없는 혼합 데이터 내에서 정상 샘플과 악의적 샘플을 구분합니다.

1. 표현 추출(Representation Extraction): 각 프롬프트 $(x_v, x_t)$에 대해, VLM의 특정 레이어 $\ell$에서 $d$차원 표현 $f$를 추출합니다.
2. 서브스페이스 식별(Subspace Identification): 저자들은 중심화된 임베딩 행렬(centered embedding matrix)에 대해 특이값 분해(SVD)를 수행합니다. 이론적 분석에 따르면, 허버 오염 모델 하에서 표현 클라우드의 주요 특이 방향(leading singular directions)은 희소한 악의적 샘플에 의한 편향(deviations) 쪽으로 치우치게 됩니다.
3. 스코어링(Scoring): 각 프롬프트에 대한 악의성 추정 점수 $\kappa_i$는 상위 $k$개의 지배적인 특이 방향에 대한 투영 에너지(projection energy)를 특이값(singular values)에 따라 가중치를 두어 계산합니다:
   $$\kappa_i = \frac{1}{k} \sum_{j=1}^{k} \lambda_j \cdot \langle f_i - \mu, v_j \rangle^2$$
   여기서 $\mu$는 경험적 평균, $v_j$는 우특이 벡터(right singular vectors), $\lambda_j$는 특이값입니다.
4. 의사 분할(Pseudo-Partitioning): 프롬프트는 임계값 $T$를 사용하여 후보 악의적 집합 $\mathcal{M}$(높은 점수)과 후보 정상 집합 $\mathcal{B}$(낮은 점수)로 분할됩니다. 이는 레이블 없는 데이터에 대한 노이즈가 있는 의사 레이블링(pseudo-labeling)을 생성합니다.

2단계: 안전 가드용 프롬프트 분류기 학습

두 번째 단계는 직접적인 투영 점수(projection scores)가 악의적 의도를 반영하지 않는 표면적인 변화(예: 패러프레이징)에 민감할 수 있다는 취약성을 해결합니다.

1. 분류기 학습(Classifier Training): 경량 바이너리 분류기(3개 층의 MLP)를 로지스틱 손실(logistic loss)을 사용하여 의사 레이블링된 집합 $\mathcal{M}$(레이블 1)과 $\mathcal{B}$(레이블 0)에 대해 학습시킵니다.
2. 강건성(Robustness): 저자들은 이 분류기가 지배적 서브스페이스 에너지와 거짓 상관관계를 갖는 "방해 변수(nuisance variations)"(예: 정상 프롬프트의 어휘적 또는 구문적 변화)를 무시하는 법을 학습함으로써, 테스트 시 탐지를 위한 더 강건한 결정 경계를 제공한다고 주장합니다.

주요 기여

1. 프레임워크 정식화: 레이블 없는 사용자 프롬프트를 활용하여 악의적 프로ンプ트 탐지를 정식화하고, 데이터 부족 문제에 대한 실질적인 해결책을 제시하는 VLMGuard라는 2단계 프레임워크를 도입했습니다.
2. 원칙적인 스코어링 함수: SVD를 통해 VLM 표현으로부터 유도된, 프롬프트가 악의적일 가능성을 추정하는 스코어링 함수를 개발했습니다. 논문은 투영 에너지가 지배적인 공분산 방향에 투영될 때, 정상과 악의적 평균 사이의 분리 정도에 비례하는 클래스 조건부 간극(class-conditional gap)을 생성한다는 이론적 근거를 제공합니다.
3. 실증적 검증: VLMGuard의 효능, 확장성(예: 72B 파라미터 모델), 그리고 실제적인 프롬프트 변형 및 비정상적인 정상 데이터에 대한 강건성을 입증하는 광범위한 실험을 수행했습니다.

실험 결과

저자들은 세 가지 실제 시나리오에 대해 다섯 가지 데이터셋(JailBreakV, GPT4V, VLGuard, MLLMGuard, MSSBench)과 두 가지 백본 VLM(LLaVA-1.6-7B 및 Qwen2.5-VL-7B/72B)을 사용하여 VLMGuard를 평가했습니다.

• 성능: VLMGuard는 모든 시나리오에서 최첨단 성능을 달립했습니다. 평균적으로 기존의 최고 방법인 GPT-5.4보다 AUROC(Area Under the Receiver Operating Characteristic Curve)를 5.39% 향상시켰으며, 불확실성 기반 및 활성화 기반 베이스라인 모델들을 크게 압도했습니다.
• 낮은 유병률에 대한 강건성: 방법론은 레이블 없는 훈련 세트 내의 악의적 비율 $\pi$가 매우 낮을 때(예: $\pi=0.001$)에도 88.16%의 AUROC를 달성하며 효과적으로 작동했습니다.
• 일반화: 본 프레임워크는 한 데이터셋에서 학습되어 다른 악의적 벤치마크에서 테스트될 때 높은 탐지 정확도를 유지하는 강력한 전이 능력을 보여주었습니다.
• 절제 연구(Ablation Studies):
  • 분류기의 필요성: SVD 투영 점수를 직접 사용하는 것은 2단계 접근 방식보다 낮은 성능을 보였으며, 이는 디노이징(denoising)과 프롬프트 변형 처리에 있어 분류기의 역할을 확인시켜 줍니다.
  • 레이어 선택: VLM의 중간 레이어가 초기 및 최종 레이어보다 탐지에 가장 적합한 표현을 제공했습니다.
  • 확장성: 7B에서 72B 파라미터 모델로 규모를 키울수록 성능이 향상되었습니다.

의의 및 주장

본 논문은 VLMGuard가 실제 VLM 배포를 위한 실용적이고 유연한 접근 방식을 제공한다고 주장합니다. 추가적인 인간의 주석이나 외부 모델(예: 별도의 판사 모델이나 디노이징을 위한 확산 모델) 없이도, 이 프레임워크는 VLM을 보호하기 위한 자급자족형 솔루션을 제공합니다.

저자들은 자신들의 방법이 실제적인 프롬프트 변형(어휘적 및 구문적 변화)에 강건하며, 비정상적이지만 정상적인 데이터가 존재하는 상황에서도 악의적 의도를 구별할 수 있음을 강조합니다. 이 연구는 레이블된 데이터 부족이라는 근본적인 병목 현상을 해결함으로써, 레이블 없는 프롬프트 데이터셋을 활용하는 미래의 연구에 영감을 주는 것을 목표로 합니다.