기술 요약: Semantic Router: 단일 적대적 섭동을 통한 MLLM 하이재킹의 타당성 연구

1. 문제 정의: 의미론적 인지 하이재킹 (Semantic-Aware Hijacking)

본 논문은 멀티모달 거대 언어 모델(MLLM)에 대한 새로운 위협인 **의미론적 인지 하이재킹(Semantic-Aware Hijacking)**을 조사한다. MLLM은 역사적 맥락을 유지하지 않고 개별 프레임을 처리하는 상태 비저장(stateless) 시스템(예: 자율 주행, 로보틱스)에 점점 더 많이 배치되고 있는데, 본 연구는 이러한 원자적 결정들의 시퀀스를 **단일한 범용 적대적 섭동(universal adversarial perturbation)**을 통해 무력화할 수 있는 가능성을 탐구한다.

기존의 범용 적대적 섭동(UAP)이 다양한 입력을 단일 타겟으로 매핑하거나 성능을 전반적으로 저하시키는 무타겟 노이즈를 생성하는 것과 달리, 제안된 위협은 **의미론적 인지 범용 섭동(SAUP)**을 포함한다. SAUP는 "의미론적 라우터(semantic router)"로서 작동하며, 입력 프레임의 시각적 의미를 능동적으로 인지하고 오직 해당 입력의 콘텐츠에 기반하여 입력을 공격자가 정의한 별개의 타겟으로 라우팅한다. 예를 들어, 자율 주행 시나리오에서 단일 섭동은 모델이 교차로를 감지하면 "우회전"하도록 강제하고, 라운드어바웃을 감지하면 "정지"하도록 하여, 에이전트를 악의적인 목적지로 단계적으로 유도할 수 있다.

핵심 과제는 잠재 공간(latent space)의 기하학적 제약에 있다. 즉, 섭동은 모든 입력을 자연스러운 매니폴드로부터 멀어지게 만드는 동시에(지배적 이동, Dominant Shift), 미세한 의미 차이를 보존하고 증폭하여 특정하고 구별된 타겟으로 편향시켜야 한다(의미론적 편향, Semantic Deflection).

2. 방법론: SORT 및 이론적 프레임워크

이론적 분석

저자들은 화이트박스 설정 하에서 MLLM의 잠재 공간에 대한 기하학적 특성을 분석하여 위협 모델을 정형화한다. 이들은 비전 인코더의 섭동된 입력 $x + \delta$에 대한 반응을 1차 테일러 전개를 통해 두 가지 구성 요소로 분해한다:

1. 지배적 이동 ($\mu_\delta$): 섭동 $\delta$는 지배적 이동 $\phi(\delta)$를 생성하여, 입력 클러스터를 결정 경계가 밀집된 적대적 부분 공간으로 이동시킨다.
2. 의미론적 편향 ($\nu_c$): 섭동은 야코비안 행렬(Jacobian matrix) $J_\delta$를 활용하여 입력 $x(c)$의 고유한 의미적 차이를 추출하고, 특징들을 특정 대리 타겟 임베딩(proxy target embeddings)으로 편향시킨다.

저자들은 성공적인 매핑을 위해서는 섭동의 확장 능력(야코비안의 스펙트럴 노름)이 입력 임베딩 간의 거리와 타겟 임베딩 간의 거리 비율을 초과해야 한다는 이론적 경계(정리 3.4)를 도출한다. 이는 입력 간 거리가 작은 미세한 의미론적 구조를 공격하는 것이 어렵다는 점을 강조한다.

SORT 알고리즘

이러한 최적화 문제를 극복하기 위해, 본 논문은 두 가지 핵심 요소로 구성된 SORT(Semantic-ORienTed) 최적화 전략을 제안한다.

1. 정규화된 공간 최적화 (NSO): 불안정한 그래디언트와 지역 최솟값(local minima)을 초래하는 픽셀 공간 $[0, 1]$에서 직접 최적화하는 대신, SORT는 정규화된 비제약 공간으로의 변수 변환을 도입한다. 이는 최적화 지형을 안정화하고 일관된 스텝 사이즈를 보장한다.
2. 의미론적 분리 최적화 (SSO): 편향 잠재력을 명시적으로 최대화하기 위해, 저자들은 표준 크로스 엔트로피 손실과 함께 마진 기반 손실($L_{Margin}$)을 도입한다. 이 손실 함수는 서로 다른 의미론적 클래스의 섭동된 특징들이 출력 공간에서 분리되도록 강제하며, 이를 통해 특징들이 하나의 클러스터로 붕괴되지 않고 각각의 대리 타겟 임베딩과 정렬되도록 보장한다.

데이터셋: RIST

미세한 의미론적 하이재킹을 평가하기 위해, 저자들은 **RIST (Real Image Sequence Trajectories)**를 도입한다. 일반적인 분류 벤치마크와 달리, RIST는 연속적인 비디오(AutoDriving 및 RoboTasking 시나리오)의 순차적 프레임으로 구성된다. 이는 시각적으로는 유사하지만 서로 다른 컨텍스트 인지적 행동이 필요한 미세한 의미론적 카테고리(예: 특정 교차로 유형 또는 로봇 조작 상태)를 특징으로 한다.

3. 주요 결과

저자들은 세 가지 대표적인 MLLM인 LLaVA-1.5, Qwen2.5-VL, InternVL3를 대상으로, 두 가지 데이터셋(조밀한 의미론을 위한 ImageNet 및 미세한 의미론을 위한 RIST)에 대해 광범위한 실험을 수행했다.

• 의미론적 라우팅의 타당성: 실험은 단일 SAUP가 여러 개의 상태 비저장 결정을 성공적으로 하이재킹할 수 있음을 보여준다. Qwen 모델에서 단일 섭동은 단일 프레임을 사용하여 5개의 서로 다른 타겟에 대해 **66%의 공격 성공률(ASR)**을 달 기록했다.
• 미세한 제어 능력: RIST 데이터셋에서 SAUP는 RoboTasking 시나리오(2개 타겟)에서 평균 **72%**의 ASR을, AutoDriving 시나리오(5개 타겟)에서 **62%**의 ASR을 달성하여, 미세한 의미론적 변이(예: 서로 다른 도로 조건)를 구별하여 "가속" 또는 "조향"과 같은 특정 명령을 트리거하는 능력을 입증했다.
• 장문 생성 제어: 공격은 긴 텍스트 생성 제어로 확장된다. 2개의 타겟을 대상으로 할 때, SAUP는 타겟이 10개 단어로 구성된 경우에도 83%의 ASR을 유지했다. 5개의 타겟을 대상으로 할 때는 4개 단어 타겟에 대해 54%의 ASR을 달성했다.
• 정보 용량: 연구는 "정보 용량" 한계를 식별한다. 타겟의 수가 증가함에 따라 ASR이 감소하며, 특히 공간적 제약이 있는 섭동(예: 코너 패치 vs 전체 프레임)에서 두드러진다. 프레임 제약(7,056 픽셀)이 코너 제약(1,600 픽셀)보다 타겟 수가 늘어남에 따라 더 높은 성공률을 유지했는데, 이는 제한된 픽셀 예산 내에 여러 결정 경계를 인코딩하는 데 병목 현상이 존재함을 시사한다.
• 절제 연구 (Ablation Studies): NSO를 제거했을 때 성능이 급격히 저하되어(평균 49.5% ASR 감소) 최적화 안정성에 필수적임을 확인했다. SSO를 제거하면 멀티 타겟 시나리오에서 성능이 낮아졌으며, 이는 의미론적 클러스터를 분리하는 역할을 강조한다.

4. 의의 및 주장

본 논문은 단일 섭동이 의미론적 라우터 역할을 수행하여 Stateless MLLM의 결정을 하이재킹할 수 있다는 근본적인 타당성을 입증한다고 주장한다. 이 연구의 의의는 다음과 같다:

• 새로운 위협 모델: 단순한 오분류나 단일 타겟 하이재킹을 넘어, 단일 섭동이 시각적 컨텍스트에 따라 입력을 동적으로 서로 다른 악의적 타겟으로 라우팅하는 "다대다(many-to-many)" 범용 공격으로 나아갔다.
• 기하학적 통찰: 잠재 공간에서의 "지배적 이동"과 "의미론적 편향" 메커니즘에 대한 이론적, 경험적 이해를 제공하며, 범용 섭동이 어떻게 복잡한 매핑을 인코딩할 수 있는지에 대한 원칙적인 프레임워크를 제시한다.
• 실제적 영향: 본 연구는 디지털 화이트박스 환경에서 수행되었으나, 저자들은 이러한 취약성이 자율 주행 및 로보틱스 분야의 상태 비저장 에이전트에 실질적인 위험을 초래할 수 있다고 주장한다. 예를 들어, 공격자는 웹 광고나 시각적 환경에 정교하게 제작된 SAUP를 심어 에이전트가 일련의 악의적인 결정(예: 개인 데이터를 업로드한 후 "제출" 명령을 실행하도록 유도)을 내리도록 강제할 수 있다.

저자들은 물리적 요인(조명, 모션 블러) 및 블랙박스 환경에 대한 견고성과 물리적 배포 문제에 대해서는 신중한 입장을 유지하며, 이는 향후 연구가 필요한 중요한 과제임을 인정한다. 그러나 입증된 디지털적 타당성은 복잡한 에이전트 환경에서 의미론적 하이재킹을 이해하고 완화하기 위한 중요한 출발점 역할을 한다고 기술한다.