MIRAGE: Context-Aware Prompt Injection against Mobile GUI Agents via User-Generated Content

기술 요약: MIRAGE

문제 정의
비전 - 언어 모델 (VLM) 에 의해 구동되는 모바일 그래픽 사용자 인터페이스 (GUI) 에이전트는 화면을 렌더링된 픽셀로 인식하며 구조화된 코드로는 인식하지 않습니다. 결과적으로 이러한 에이전트는 신뢰할 수 있는 인터페이스 요소와 댓글, 리뷰, 프로필 소개와 같은 사용자 생성 콘텐츠 (UGC) 를 신뢰성 있게 구별하지 못합니다. 이 한계는 적대자가 악성 지시를 건전한 UGC 영역에 주입할 수 있는 새로운 공격 표면을 만들어냅니다. 에이전트, 애플리케이션 코드, 또는 운영 체제를 수정하는 이전의 공격들과 달리, 이 위협 모델은 공격자가 스크린샷 내의 일반 사용자 콘텐츠 영역만 제어할 수 있다고 가정합니다. GUI 에이전트를 위한 기존 프롬프트 주입 공격들은 종종 수동으로 제작된 벡터에 의존하거나, 과도하게 관대한 위협 모델 (예: DOM 수준 접근) 을 전제하거나, 웹 환경에 특화되어 있어, 스크린샷 전용 모바일 에이전트가 현실적이고 문맥 인식형 시각적 주입에 얼마나 취약한지에 대한 이해의 공백을 남겨두고 있습니다.

방법론: MIRAGE 파이프라인
저자들은 타겟 에이전트, 애플리케이션, 또는 OS 를 수정하지 않고 건전한 모바일 스크린샷을 현실적인 프롬프트 주입 샘플로 변환하도록 설계된 3 단계 자동화 파이프라인인 MIRAGE(Mobile Injection of Realistic Adversarial GUI Examples) 를 제안합니다.

1. 로컬라이저 (적응형 주입 지점 국소화):

   • 목표: 스크린샷에서 사용자가 제어 가능한 영역 (예: 리뷰 본문, 댓글, 게시물) 을 식별합니다.
   • 프로세스: VLM 이 유형과 제어 가능성으로 태그가 지정된 거친 후보 영역을 생성합니다. 광학 문자 인식 (OCR) 통과 (EasyOCR) 가 이러한 상자를 감지된 텍스트 영역으로 정밀하게 조정하여 높은 신뢰도의 텍스트가 없는 영역은 폐기합니다. 마지막으로, 독립적인 VLM 심사자가 심각도 기준에 따라 상자를 반복적으로 정제 (삭제, 조정, 확장, 또는 영역 추가) 하여 심각한 문제가 남지 않을 때까지 수행합니다.
   • 결과: 엄격하게 경계된, 유형이 지정된 주입 영역 집합.

2. 생성기 (문맥 인식 페이로드 생성):

   • 목표: 에이전트를 공격자가 지정한 행동으로 유인하면서도 일반 콘텐츠처럼 보이는 페이로드를 합성합니다.
   • 프로세스:
     • 목표 합성: VLM 이 "모호성 규칙"을 적용하여 건전한 사용자 목표를 생성합니다. 이 규칙에 따라 적어도 하나의 사용자 제어 가능 영역은 합리적인 경쟁 대상이 남아 있어야 하므로, 실패가 지시 취약성 때문이지 인식 어려움 때문이 아님을 보장합니다.
     • 페이로드 생성: VLM 이 스크린샷, 영역 컷, 영역 유형, 합성된 목표, 그리고 타겟 의도를 조건으로 하여 페이로드를 생성합니다.
     • 검토: 사전 렌더링 LLM 검토자가 사용자 목표와 중복되거나, 의도의 의미적 역할을 놓치거나, 명시적인 시스템 명령처럼 읽히는 페이로드를 거부합니다. 실패한 페이로드는 최대 3 회까지 재생성됩니다.
     • 렌더링: 이미지 편집 모델 (gpt-image-2) 이 페이로드를 주입 영역에 인페인팅하여 텍스트 영역의 경우 애플리케이션의 네이티브 타이포그래피와 스타일을 일치시키거나, 미디어 영역의 경우 네이티브처럼 보이는 캡션을 생성합니다.

3. 큐레이터 (현실성 심사 및 균형 잡힌 샘플링):

   • 목표: 렌더링 아티팩트를 필터링하고 데이터셋이 애플리케이션, 영역 유형, 공격 의도 간에 균형 잡히도록 보장합니다.
   • 프로세스: 사후 렌더링 VLM 심사자가 아티팩트 분류 (예: 폰트 불일치, 오버플로우, 글리프 누출) 에 따라 렌더링을 점수화합니다. 고심각도 문제가 있는 샘플은 피드백을 받아 재렌더링되며, 나머지는 주석과 함께 통과됩니다.
   • 균형 조정: 파이프라인은 과소 대표된 (의도, 영역 유형) 조합에 샘플 예산을 할당하는 사전 생성 할당자, 과대표된 조합을 하위 샘플링하는 사후 생성 트리밍, 그리고 심사를 통과하지 못한 주입 지점에 대한 샘플을 재생성하는 커버리지 복구 통과를 사용합니다.

주요 기여

• 위협 모델 정의: 이 논문은 공격자가 특권 접근 없이 일반 UGC 영역만 제어하는 현실적인 런타임 위협 모델을 특징화하며, 11 가지 고유한 공격 의도에 대한 의도 - 행동 매핑을 정의합니다.
• 자동화 파이프라인: MIRAGE 는 에이전트 미세 조정이나 앱 코드 수정 없이 다양한 애플리케이션의 건전한 스크린샷에서 시각적으로 타당하고 문맥 인식형 주입 샘플을 합성하는 최초의 자동화 방법론입니다.
• 실증적 보안 연구: 저자들은 5 개의 VLM 기반 GUI 에이전트, 10 개의 모바일 애플리케이션, 그리고 1,111 개의 공격 사례에 걸쳐 MIRAGE 를 평가했습니다.
• 메커니즘 발견:
  • 비연관된 현실성과 성공: 연구 결과, 샘플별 시각적 현실성과 공격 성공률 (ASR) 은 상관관계가 없습니다 ($\rho = -0.03$). 이는 시각적 품질 필터링만으로는 이러한 유형의 공격에 대해 신뢰성 있게 방어할 수 없음을 시사합니다.
  • 의도 주도 취약성: 공격 성공은 모델 정체성이나 시각적 현실성보다 공격 의도에 더 크게 좌우됩니다. 저자들은 세 가지 활용 계층을 확인했습니다: 시간/주의 유인 (최고 성공), 행동 리디렉션 (중간), 상호작용 원시 조작 (최저).

실험 결과

• 취약성: 평가된 모든 5 개 에이전트 (GPT-4o-mini, GLM-4.5V, Qwen3-VL 변형 포함) 는 취약합니다. 모델 간 공격 성공률은 23.0% 에서 30.2% 사이입니다.
• 애플리케이션 간 견고성: MIRAGE 는 평가된 모든 애플리케이션과 공격 의도에서 19% 를 초과하는 ASR 을 유지합니다. UGC 가 지배적인 애플리케이션 (예: Amazon, Facebook, X) 은 미디어 중심 앱에 비해 더 높은 취약성 (≥30% ASR) 을 보입니다.
• 현실성과 이전 작업 비교: 가장 강력한 이전 공격 (AgentHazard) 과 비교하여 MIRAGE 는 동등한 공격 효과를 유지하면서 인간이 평가한 현실성을 훨씬 더 높게 달성합니다 (5 점 척도에서 3.02 대 2.52).
• 방어 시사점: 시각적 품질을 기반으로 주입된 스크린샷을 필터링하려는 경량 VLM 분류기는 런타임 방어로서 실패했으며, 건전한 UI 에서 높은 오탐율 (36.5%) 을 보인 반면 공격을 58.7% 만 차단했습니다.

중요성과 주장
이 논문은 시각 채널 프롬프트 주입이 단일 모델 계열이나 정렬 체계에 국한되지 않고 VLM 기반 GUI 에이전트 패러다임의 구조적 취약점이라고 주장합니다. 저자들은 시각적 타당성이 공격 성공을 예측하지 못하므로, 시각적 품질 필터링에만 의존하는 방어는 불충분하다고 단언합니다. 효과적인 완화는 대신 페이로드 의미론, 행동 기반 제약, 또는 애플리케이션의 사용자 제어 가능 표면 정의에서 수행되어야 합니다. MIRAGE 는 레드팀링과 견고성 평가를 위한 벤치마크 역할을 하며, 현재 세대의 모바일 GUI 에이전트가 신뢰할 수 있는 인터페이스 요소를 공격자가 제어하는 콘텐츠와 신뢰성 있게 분리하지 못함을 강조합니다.

한계
저자들은 몇 가지 한계를 지적합니다:

• 에이전트 커버리지: 이 연구는 로컬 GPU 호스팅이 필요한 네이티브 GUI 전문 에이전트 (예: UI-TARS) 를 제외하고, 범용 VLM 백본에 초점을 맞춥니다.
• 평가 범위: 공격은 단일 단계 상호작용에서 측정되며, 다단계 전파와 하류 피해는 평가되지 않았습니다.
• 다양성: 이 벤치마크는 균형 잡힌 통제된 커버리지를 위해 원시 임베딩 다양성을 희생하여, 수동 작성 베이스라인에 비해 낮은 CLIP 분산을 초래합니다.
• 의존성: 파이프라인은 렌더링과 심사를 위해 독점 생성 모델 (gpt-image-2, OpenAI API) 에 의존하며, 이는 재현성과 비용에 영향을 미칩니다.