Are GUI Agents Focused Enough? Automated Distraction via Semantic-level UI Element Injection

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 최근 시각 - 언어 모델 (VLM) 을 기반으로 한 GUI 에이전트 (모바일, 데스크톱, 웹 인터페이스 조작) 의 성능이 급격히 향상되고 있습니다. 그러나 이러한 에이전트들이 작업과 관련된 UI 요소에 정확하게 주의를 집중하는 것 (Visual Grounding) 은 여전히 주요 병목 현상입니다.
• 기존 연구의 한계:
  1. 백박스 (White-box) 공격 의존: 기존 적대적 공격 (Adversarial Perturbations) 은 모델의 그래디언트 접근이 필요하여, 상용 시스템이나 블랙박스 환경에서는 적용이 불가능합니다.
  2. 안전성 필터 회피의 어려움: 프롬프트 인젝션 (Prompt Injection) 공격은 강력한 안전 정렬 (Safety Alignment) 기술로 인해 increasingly 차단되고 있습니다. 또한, 기존 공격들은 종종 악의적인 콘텐츠나 비의미적인 노이즈를 포함하여 필터에 걸리기 쉽습니다.
• 핵심 문제: 안전 정렬이 된 상용 GUI 에이전트들을 대상으로, 실제적인 위협 모델 하에서 시각적 주의를 흐트러뜨릴 수 있는 새로운 공격 벡터가 필요합니다.

2. 제안 방법론 (Methodology)

저자들은 **"Semantic-level UI Element Injection (시맨틱 수준의 UI 요소 주입)"**이라는 새로운 레드팀 (Red-teaming) 패러다임을 제안합니다.

2.1 핵심 개념

• 안전하고 해롭지 않은 요소 주입: 악성 코드나 비의미적인 노이즈 대신, 실제 GUI 데이터셋에서 추출한 안전하고 의미 있는 UI 아이콘 (예: 뒤로 가기 화살표, 검색 돋보기, 메뉴 버튼 등) 을 스크린샷 위에 오버레이합니다.
• 시각적 착각 유도: 이러한 아이콘은 실제 인터페이스의 일부처럼 보이지만, 공격자가 의도적으로 배치하여 에이전트의 시각적 주의를 실제 타겟에서 멀어지게 합니다.
• 블랙박스 환경 적합성: 그래디언트 접근이 불필요하며, 콘텐츠가 안전 필터를 통과하므로 상용 시스템에서도 실행 가능합니다.

2.2 시스템 아키텍처 (Editor-Overlapper-Victim Pipeline)

시스템은 세 가지 모듈로 구성됩니다:

1. Editor (편집기): 스크린샷, 작업 지시문, 정답 (Ground-truth) 바운딩 박스를 입력받아 "어떤 요소를 어디에 배치할지" 제안합니다.
   • 반복적 정밀 탐색 (Iterative Depth-Refinement Search): 단일 시도 대신, 이전 실패 기록을 기반으로 전략을 수정하며 여러 번의 시도를 누적합니다.
   • 그리디 누적 (Greedy Cumulative Carry-forward): 이전 단계에서 성공적으로 배치된 아이콘은 캔버스에 유지되며, 다음 단계에서는 이를 기반으로 더 나은 교란 요소를 추가합니다.
   • 피드백 기반 전략 선택: 에이전트의 실패 패턴 (예: 좌표 고정, 거의 성공했으나 실패, 필터링됨 등) 을 진단하여 6 가지 전략 (시각적 쌍둥이 군집, 행/열 혼란, 주의력 탈취 등) 중 최적의 전략을 동적으로 선택합니다.
2. Overlapper (오버레이어): Editor 의 텍스트 설명을 기반으로 FAISS 인덱스를 통해 가장 유사한 실제 아이콘을 검색하고, 스크린샷에 합성합니다.
   • 비자명성 (Non-triviality) 제약: 공격 요소가 정답 요소를 가리지 않도록 (IoU 제한) 하고, 정답과 시각적으로 너무 유사하지 않도록 (Cosine Similarity 제한) 하여 필터링합니다.
3. Victim (피해자 모델): 합성된 스크린샷을 입력받아 행동을 예측합니다. 정답 박스 밖을 클릭하면 공격 성공 (L1), 주입된 아이콘을 클릭하면 더 엄격한 성공 (L2) 으로 간주합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 공격 패러다임 제안: 안전 정렬된 해롭지 않은 UI 아이콘을 오버레이하여 에이전트의 시각적 주의를 흐트러뜨리는 Semantic-level UI Element Injection을 최초로 제안했습니다. 이는 기존 백박스 의존적 공격이나 악성 프롬프트 인젝션의 한계를 극복합니다.
2. 고도화된 탐색 알고리즘 개발: 반복적 정밀 탐색 (Iterative Refinement) 과 피드백 기반 전략 선택 메커니즘을 결합하여, 제한된 쿼리 예산 내에서 최적의 교란 구성을 자동으로 발견하는 시스템을 구축했습니다.
3. 모델 중립적 취약성 발견: UI-TARS 와 GUI-Owl 등 서로 다른 소스 모델에서 최적화된 공격 아이콘이 다른 타겟 모델에서도 거의 동일한 성공률을 보였습니다. 이는 특정 모델의 결함이 아닌, GUI 의 보편적인 시맨틱 - 시각적 모호성에 기반한 취약점임을 입증했습니다.
4. 지속적인 매력체 (Persistent Attractor) 효과: 공격이 한 번 성공한 후에도, 에이전트는 무작위 주입 (1% 미만) 과 달리 주입된 아이콘을 지속적으로 클릭하는 경향 (15% 이상) 을 보였습니다. 이는 공격이 단순한 우연이 아니라, 에이전트의 주의를 지속적으로 끌어당기는 인과적 (Causal) 메커니즘임을 증명합니다.
5. 모듈형 레드팀 인프라 구축: 재사용 가능한 인터페이스를 가진 분산형 레드팀 프레임워크를 공개하여, 향후 취약점 발견 및 방어 연구의 기반을 마련했습니다.

4. 실험 결과 (Results)

• 대상 모델: 5 가지 주요 GUI 에이전트 (UI-TARS-1.5-7B, GUI-Owl-7B, OpenCUA-7B, Qwen3-VL-8B, Qwen2.5-VL-7B) 및 추가 10 개 모델 (Claude-Sonnet-4.6, UI-Venus, EvoCUA 등) 포함 총 15 개 모델 평가.
• 성공률 (ASR):
  • 무작위 주입 (Random Injection) 대비 최대 4.4 배 높은 공격 성공률을 기록했습니다.
  • 가장 강력한 모델 (UI-TARS-1.5-7B) 에서도 D=5 단계에서 약 **33%**의 성공률을 달성했습니다.
  • 약한 모델 (Qwen2.5-VL-7B) 에서는 88% 이상의 성공률을 보였습니다.
• 전이성 (Transferability): 한 모델 (예: UI-TARS) 에 최적화된 아이콘이 다른 모델 (예: GUI-Owl) 에 적용될 때도 성공률이 거의 동일하게 유지되어, 모델 중립적 취약성을 확인했습니다.
• 지속성 분석: 첫 성공 후에도 에이전트가 주입된 아이콘을 클릭하는 비율 (L2 ASR) 은 전략적 공격의 경우 15% 이상인 반면, 무작위 공격은 1% 미만으로, 공격의 지속적 효과를 입증했습니다.
• 모델 규모와 강건성: 일반 목적 모델 (Qwen3-VL) 은 규모가 커질수록 강건성이 향상되었으나, GUI 특화 모델 (GUI-Owl, OpenCUA) 은 규모가 커져도 강건성이 크게 향상되지 않거나 오히려 취약해지는 경향을 보였습니다. 이는 특화 모델이 국소적인 시각 패턴에 과도하게 의존할 수 있음을 시사합니다.

5. 의의 및 결론 (Significance)

• 안전성 평가의 새로운 기준: 기존 벤치마크가 놓치고 있던 '시각적 주지 (Grounding) 의 강건성'이 GUI 에이전트 보안의 핵심 요소임을 강조합니다.
• 실제 위협 시나리오: 공격자가 악성 코드를 사용하지 않고도, 합법적인 UI 요소를 조작하여 에이전트를 오작동시킬 수 있음을 보여주어, 상용 시스템의 보안 위험을 경고합니다.
• 방어 전략의 필요성: 단순한 콘텐츠 필터링을 넘어, 교차 모달 일관성 검증 (Cross-modal consistency auditing) 및 주의 영역 검증 (Attention-region verification) 과 같은 새로운 방어 전략의 개발이 시급함을 주장합니다.

이 논문은 GUI 에이전트가 복잡한 인터페이스 환경에서 얼마나 쉽게 주의를 흐트러뜨릴 수 있는지를 체계적으로 증명하며, 향후 더 안전한 에이전트 개발을 위한 중요한 통찰을 제공합니다.