Vision Token Manipulation Attacks on Cloud-Edge Inference of Large Vision-Language Models

기술 요약: 대규모 시각-언어 모델(LVLM)의 클라우드-엣지 추론에 대한 비전 토큰 조작 공격

문제 정의
본 논문은 클라우드-엣지 대규모 시각-언어 모델(LVLM) 추론 시스템의 치명적인 보안 취약점을 다룹니다. 이 아키텍처에서는 자원이 제한된 엣지 장치가 경량화된 시각적 인코딩을 수행하고, 중간 단계인 **비전 토큰(vision tokens)**을 클라우드 서버로 전송하며, 연산 집약적인 텍hell 인코더와 대규모 언어 모델(LLM) 백본은 클라우드에 위치합니다. 저자들은 엣지와 클라우드 사이의 통신 링크가 새롭고 탐구되지 않은 공격 표면임을 식별했습니다. 원시 시각 입력(예: 적대적 섭동)이나 텍스트 프롬프트를 대상으로 하는 전통적인 공격과 달리, 본 연구는 비전 토큰 조작(Vision Token Manipulation, VTM) 공격에 초점을 맞춥니다. 핵심 문제는 블랙박스 중간자 공격(Man-in-the-Middle, MitM) 환경에서 동작하는 공격자가 전송되는 비전 토큰의 일부를 가로채고 조작할 수 있다는 점입니다. 비전 토큰은 의미론적 내용을 인코딩하는 고차원의 압축된 표현이므로, 이를 조작하면 공격자가 모델 가중치나 원시 이미지 데이터에 접근할 필요 없이 LVLM의 공간적 관계 및 의미론적 단서에 대한 이해를 방해하여 심각한 추론 실패를 유도할 수 있습니다.

방법론
저자들은 공격자가 엣지나 클라우드 양측의 모델 파라미터에 접근할 수 없는 제약된 블랙박스 설정 하에서의 VTM-공격 제품군을 제안합니다. 이 공격은 두 가지 주요 제약 조건을 따릅니다:

1. 차원 일관성(Dimensional Consistency): 조작된 토큰은 즉각적인 탐지나 파이프라인 실패를 피하기 위해 원래의 형태($L_v \times d$)를 유지해야 합니다.
2. 조작 예산(Manipulation Budget): 공격자는 은밀함을 유지하기 위해 토큰 조작 비율($\rho$)로 정의된 토큰의 일부($I$)만을 수정할 수 있습니다.

방법론은 두 가지 구성 요소로 나뉩니다:

1. 나이브 공격 전략(Naïve Attack Strategies): 저자들은 무작위로 선택된 토큰에 적용되는 네 가지 베이스라인 조작 전략을 설계했습니다:

   • 순열(Permutation, 구조 기반): 선택된 토큰의 값은 보존하면서 위치 배열을 섞어 구조적 일관성을 무너뜨립니다.
   • 마스킹(Masking, 값 기반): 선택된 토큰을 제로(zero)로 만들어 정보 함량을 제거합니다.
   • 가우시안 섭동(Gaussian Perturbation, 값 기반): 선택된 토큰에 노름(norm) 스케일링된 노이즈를 주입하여 확률적으로 크기와 방향을 변화시킵니다.
   • 부호 반전(Sign Flip, 값 기반): 임베딩 공간에서 선택된 토큰의 방향을 반전시키는 동시에($\hat{v}_i = -v_i$) 노름은 보존합니다. 이는 표현 공간에서 큰 변위를 생성합니다.

2. 최적화 기반 토큰 선택(Optimization-based Token Selection): 무작위 선택이 최적이 아님을 인지하고, 저자들은 가장 영향력 있는 비전 토큰을 식별하기 위한 최적화 전략을 제안합니다. 블랙박스 설정에서는 출력 분포의 직접적인 영향 측정이 불가능하므로, 저자들은 **자기 주의 집중 교란(Self-Attention Disruption)**을 대리 지표로 사용합니다. 이들은 원래의 토큰과 조작된 토큰 간의 자기 주의 집중 출력 차이를 최대화하는 목적 함수($L_{SA}$)를 공식화합니다. 고노름(high-norm) 토큰으로의 선택 편향(다운스트림 레이어에서 정규화될 수 있음)을 방지하기 위해, **노름 인식 정규화 항(norm-aware regularization term, $L_{norm}$)**을 도입합니다. 최종 목적 함수는 투영 경사 상승법(projected gradient ascent)을 사용하여 $L_{SA} - \lambda L_{norm}$을 최대화함으로써 조작할 최적의 토큰 세트를 결정하며, 이후 이 토크들을 부호 반전 전략으로 공격합니다.

주요 기여

• 새로운 공격 표면 식별: 본 논문은 클라우드-엣지 비전 토큰 전송 인터페이스를 실질적이고 취약한 LVLM의 공격 표면으로 공식 정의했습니다.
• VTM-공격 프레임워크: 구조 기반(순열) 및 값 기반(마스킹, 가우시안, 부호 반전) 조작 전략을 포함하는 포괄적인 토큰 수준 공격 제품군을 도입했습니다.
• 최적화 전략: 자기 주의 집중 교란과 노름 인식 정규화를 활용하여 제한된 예산 하에서 공격 효과를 크게 향상시키는 새로운 최적화 기반 토큰 선택 방법을 제안했습니다.
• 실증적 평가: 6개의 최첨단 LVLM(3B에서 72B 파라미터 범위)과 4개의 다양한 벤치마크(OCRBench, MMBench, HallusionBench, MathVista)에 대해 광범적인 평가를 제공합니다.

실험 결과
실험은 클라우드-엣지 LVLM 추론이 낮은 조작 예산($\rho = 0.1$, 즉 토큰의 10%)에서도 VTM-공격에 매우 취약함을 입증합니다:

• 영향의 심각성: 토큰의 10%만을 조작해도 정확도를 최대 **88.31%**까지 감소시킬 수 있습니다. 예를 들어, MMBench 벤치마크에서 부호 반전 공격은 Qwen2.5-VL-72B-Instruct의 정확도를 88.39%에서 0.23%로 떨어뜨렸습니다.
• 부호 반전의 효과성: 나이브 전략들 중 **부호 반전(Sign Flip)**이 일관되게 가장 파괴적인 성능 저하를 일으켰으며, 종종 MMBench와 HallusionBench에서 모델 성능을 거의 제로에 가깝게 붕괴시켰습니다. 이는 토큰의 의미론적 방향을 반전시키는 것이 섞거나 마스킹하는 것보다 더 파괴적임을 시사합니다.
• 모델 강건성 편차: 모델 제품군 간에 상당한 강건성 차이가 관찰되었습니다. Qwen2.5-VL 모델들은 다양한 공격 하에 파괴적인 저하를 보인 반면, InternVL3.5 모델들은 상당히 높은 강건성을 입증했습니다. 또한, 스케일링 법칙(scaling laws)은 일관되지 않았습니다. 더 큰 InternVL 모델들이 일반적으로 더 강건했지만, 이러한 경향은 Qwen 모델에서는 일관되게 나타나지 않았습니다.
• 최적화 이득: 최적화 기반 토근 선택 전략은 무작위 선택에 비해 공격 효과를 더욱 증폭시켰습니다. 예를 들어, HallusionBench에서 최적화 전략은 무작위 선택 대비 InternVL3.5-4B와 InternVL3.5-38B의 공격 성공률을 각각 5.79%와 21.09% 향상시켰습니다.

의의
본 논문은 이러한 결과가 클라우드-엣지 환경에서 LVLM을 배포할 때 발생하는 치명적인 취약점을 드러낸다고 주장합니다. 연구 결과는 중간 표현을 전송하는 통신 링크가 지금까지 입력 공간 공격이나 텍스트 전용 모달리티에 집중했던 기존 보안 문헌에서 간과되어 온 고위험 벡터임을 나타냅니다. 이 연구는 비전 토큰의 제한적이고 은밀한 조작만으로도 시각-언어 상호작용을 근본적으로 방해하여 완전한 추론 실패를 초래할 수 있음을 강조합니다. 이는 분산형 LVLM 시스템의 중간 표현 레이어를 위해 설계된 보안 전송 프로토콜과 강력한 방어 메커니즘이 시급히 필요함을 시사합니다.