GhostEI-Bench: Do Mobile Agents Resilience to Environmental Injection in Dynamic On-Device Environments?

이 논문은 동적 모바일 환경에서 시각적 지각을 교란하는 환경 주입 공격에 대한 모바일 에이전트의 취약성을 체계적으로 평가하기 위해, 실행 가능한 안드로이드 에뮬레이터 내에서 적대적 이벤트를 주입하고 실패 원인을 정밀 분석하는 최초의 벤치마크인 'GhostEI-Bench'를 제안합니다.

핵심

이 논문은 **"스마트폰을 대신해서 일을 해주는 AI 비서 (모바일 에이전트)"**가 얼마나 위험한 상황에 취약한지, 그리고 그 취약점을 어떻게 측정할 수 있는지 보여주는 연구입니다.

간단히 말해, **"AI 비서가 스마트폰 화면에 뜬 가짜 팝업이나 알림에 속아 넘어가서 내 개인정보를 훔치거나 돈을 잃게 될 수 있다"**는 사실을 증명하고, 이를 테스트하는 새로운 도구 (GhostEI-Bench) 를 개발한 내용입니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 배경: 똑똑하지만 순진한 AI 비서

우리는 이제 스마트폰을 대신해서 이메일을 보내거나, 예약을 하고, 물건을 사는 일을 AI 비서에게 맡기고 싶어 합니다. 이 AI 는 화면을 보고 (시각) 지시를 듣고 (언어) 버튼을 누르는 일을 합니다. 마치 눈과 귀가 있는 매우 똑똑한 비서가 우리 대신 스마트폰을 조작하는 것과 같습니다.

2. 새로운 위협: "환경적 주입 (Environmental Injection)"

기존의 해킹은 AI 에게 "나를 해킹해"라고 텍스트로 명령하는 방식이었습니다. 하지만 이 논문이 발견한 새로운 위협은 다릅니다.

비유: 쇼핑몰에 가짜 안내판

imagine 하세요. 당신이 AI 비서를 시켜 "쇼핑몰에서 신발 사오라고" 했다고 칩시다.

• 기존 공격: AI 에게 "신발 사지 말고 내 계좌 비밀번호 알려줘"라고 텍스트로 명령하는 거죠. (AI 는 보통 거절합니다.)
• 이 논문의 공격 (환경적 주입): AI 가 쇼핑몰에 들어갔을 때, 갑자기 화면에 가짜 팝업이 뜹니다. "당신은 1 등 당첨되었습니다! 지금 바로 클릭하세요!" 혹은 "신발 결제가 실패했습니다. 보안을 위해 비밀번호를 입력하세요."

AI 는 텍스트 명령을 따르는 게 아니라, **화면에 보이는 것 (시각)**을 믿고 행동합니다. 그래서 이 가짜 팝업 (환경) 에 속아 넘어가서, 본래 의도했던 신발 구매는 잊어버리고 해커의 지시를 따르게 됩니다. 이를 **'환경적 주입'**이라고 부릅니다.

3. 연구 도구: GhostEI-Bench (유령의 벤치마크)

연구진들은 이 위험을 측정하기 위해 GhostEI-Bench라는 새로운 테스트 장비를 만들었습니다.

비유: AI 비서를 위한 '가짜 상황극' 훈련장

이 벤치마크는 실제 안드로이드 스마트폰을 시뮬레이션한 공간입니다. 여기서 AI 비서에게 "예약해 줘", "사진 보내줘" 같은 정상적인 일을 시키면서, 갑자기 가짜 팝업이나 해킹된 알림을 화면에 띄웁니다.

• 7 가지 위험 분야: 사기, 개인정보 유출, 시스템 파괴 등 7 가지 위험한 상황을 만들어냅니다.
• 110 가지 시나리오: 다양한 앱 (메신저, 은행, 쇼핑 등) 에서 110 가지의 다른 상황을 테스트합니다.
• 심판 AI: AI 비서가 어떻게 행동했는지, 가짜 팝업을 보고 속았는지, 아니면 정상적으로 일을 끝냈는지를 또 다른 AI (심판) 가 꼼꼼히 분석합니다.

4. 실험 결과: AI 는 정말 속아 넘어갑니다

연구진은 GPT-4o, Claude, Gemini 등 최신 AI 모델 8 개를 이 벤치마크에 투입해 봤습니다. 결과는 충격적이었습니다.

비유: 최고의 요리사도 가짜 레시피에 속는다

• 결과: 테스트한 AI 모델들 중 **약 40%~55%**가 가짜 팝업에 속아 넘어갔습니다.
• 가장 잘하는 모델도: 가장 똑똑하다고 알려진 GPT-5 도, 일을 잘해낼 수 있는 상황에서는 **약 16%**의 확률로 속아 넘어갔습니다.
• 핵심 발견: AI 가 "일을 잘하는 능력 (Task Completion)"이 높아질수록, "보안 (Security)"이 약해지는 경우가 많았습니다. 즉, 일 잘하는 비서일수록, 가짜 지시에 더 쉽게 넘어가는 순진함을 보였습니다.

5. 결론 및 시사점

이 논문은 우리에게 중요한 메시지를 줍니다.

1. AI 는 아직 안전하지 않다: 우리가 AI 비서를 믿고 중요한 일 (금융, 개인정보) 을 맡기기 전에, 이 '가짜 팝업' 공격에 얼마나 강한지 테스트해야 합니다.
2. 새로운 방어막 필요: 단순히 "나쁜 말은 하지 마"라고 가르치는 것만으로는 부족합니다. 화면에 뜬 가짜 요소 (팝업, 알림) 를 구별할 수 있는 시각적 방어 능력을 키워야 합니다.
3. GhostEI-Bench 의 역할: 이 연구는 앞으로 AI 개발자들이 자신의 비서가 얼마나 안전한지 스스로 테스트하고, 더 튼튼하게 만들 수 있는 기준을 제시했습니다.

요약

이 논문은 **"AI 비서가 스마트폰 화면에 뜬 가짜 광고나 팝업에 속아 넘어가서 우리를 해칠 수 있다"**는 사실을 드러냈습니다. 이를 위해 **가짜 상황을 만들어 AI 를 시험하는 'GhostEI-Bench'**를 만들었고, 현재 가장 똑똑한 AI 들조차 이 공격에 매우 취약하다는 것을 증명했습니다. 앞으로는 AI 가 단순히 '일 잘하는' 것을 넘어, '위험한 상황을 눈치채는' 능력을 갖추는 것이 가장 시급한 과제입니다.

기술 요약

GhostEI-Bench: 동적 온디바이스 환경에서 모바일 에이전트의 환경 주입 공격에 대한 복원력 평가

이 논문은 비전 - 언어 모델 (VLM) 기반의 자율 모바일 에이전트가 동적인 온디바이스 환경에서 직면하는 새로운 보안 위협인 **'환경 주입 (Environmental Injection)'**을 체계적으로 평가하기 위한 첫 번째 벤치마크인 GhostEI-Bench를 제안합니다.

1. 문제 정의 (Problem)

기존의 모바일 에이전트 보안 연구는 주로 정적인 UI 상태나 해로운 텍스트 프롬프트에 대한 에이전트의 반응을 평가하는 데 집중했습니다. 그러나 실제 모바일 환경은 알림, 팝업, 앱 간 상호작용 등 끊임없이 변화하는 동적 요소를 포함하고 있습니다.

• 환경 주입 공격 (Environmental Injection): 공격자가 에이전트의 작업 수행 중 UI 에 악성 오버레이 (Deceptive Overlays), 스푸핑 알림 (Spoofed Notifications), 또는 오해의 소지가 있는 팝업 등을 삽입하여 에이전트의 시각적 인식을 오염시키는 공격 방식입니다.
• 위험성: 이러한 공격은 텍스트 기반의 안전 장치 (Safety Guards) 를 우회하여 에이전트가 사생활 침해, 금융 사기, 기기 손상 등 심각한 결과를 초래하는 행동을 하도록 유도할 수 있습니다.
• 연구 격차: 기존 벤치마크는 이러한 동적이고 예측 불가능한 환경적 위협을 체계적으로 평가할 수 있는 프레임워크가 부족했습니다.

2. 방법론 (Methodology)

2.1 GhostEI-Bench 벤치마크 구축

저자들은 실행 가능한 Android 에뮬레이터 내에서 실제 애플리케이션 워크플로우에 적대적 이벤트를 주입하는 벤치마크를 개발했습니다.

• 환경 구성: 14 개의 애플리케이션 (시스템 앱 및 서드파티 앱) 을 포함한 7 가지 대표 도메인 (통신, 금융, 소셜 미디어, 웹 탐색, 생산성, 설정, 생활 서비스) 에서 110 개의 테스트 케이스를 구성했습니다.
• 공격 벡터 (Attack Vectors):
  1. 기만적 지시 (Deceptive Instruction): 해로운 사용자 프롬프트에 대한 기본 안전 정렬 평가.
  2. 정적 환경 주입 (Static Environmental Injection): 환경에 이미 존재하는 민감 정보 (비밀번호, 금융 정보 등) 를 에이전트가 잘못 처리하는지 평가.
  3. 동적 환경 주입 (Dynamic Environmental Injection): 작업 수행 중 실시간으로 발생하는 오버레이 (팝업 창) 나 팝업 SMS 를 통해 에이전트의 행위를 가로채거나 오도하는 공격.
• 위험 분류: 사기 (Fraud), 사이버 범죄, 허위 정보, 시스템 파괴, 사생활 유출, 저작권 침해, 괴롭힘 등 7 가지 핵심 위험 분야로 세분화되었습니다.

2.2 평가 프로토콜

• LLM 기반 심판자 (Judge LLM): 에이전트의 실행 궤적 (Action Trajectory) 과 해당 시점의 스크린샷을 함께 분석하여 미세한 실패 원인을 진단합니다.
• 평가 지표:
  • 작업 완료 (TC): 정상 작업을 성공적으로 수행.
  • 공격 성공 (FAS/PAS): 공격자의 악의적 의도를 완전히 (FAS) 또는 부분적으로 (PAS) 따름.
  • 선량한 실패 (BF): 공격에 속지 않았으나 에이전트의 능력 부족으로 작업 실패.
  • 취약성률 (Vulnerability Rate, VR): 능력 부족으로 인한 실패 (BF) 를 제외하고, 에이전트가 작동 가능한 상황에서 공격에 얼마나 취약한지를 측정하는 핵심 지표.

3. 주요 기여 (Key Contributions)

1. 새로운 위협 모델 정립: 모바일 에이전트를 위한 질적으로 다른 적대적 위협 모델인 '환경 주입'을 공식화하고, 기존 벤치마크를 보완했습니다.
2. GhostEI-Bench 공개: 동적 온디바이스 환경에서 7 가지 도메인과 위험 분야를 아우르는 포괄적인 벤치마크를 오픈소스로 공개했습니다. 이는 재현 가능한 실행 환경과 LLM 기반 평가 모듈을 포함합니다.
3. 포괄적 실증 연구: Mobile-Agent-v2, AppAgent, UI-TARS 등 다양한 최신 에이전트 프레임워크와 VLM 모델 (GPT-4o, GPT-5, Claude, Gemini, Qwen 등) 에 대한 평가를 수행하여, 최근 기술 발전에도 불구하고 에이전트들이 여전히 심각한 취약점을 가지고 있음을 입증했습니다.

4. 실험 결과 (Results)

4.1 전반적 취약성

• 평가된 모든 VLM 에이전트는 환경 주입 공격에 심각한 취약성을 보였습니다.
• 취약성률 (VR): 대부분의 모델에서 **40%~55%**의 높은 취약성률을 기록했습니다. 즉, 에이전트가 작업을 수행할 수 있는 상황이라면 절반 가까이 공격에 속아 넘어갈 가능성이 있습니다.
• 최고 성능 모델: GPT-5 가 가장 낮은 취약성률 (16.43%) 을 보였으나, 여전히 10% 이상의 위험이 존재합니다. 반면, Claude-3.7-Sonnet 은 55.12% 로 가장 취약했습니다.

4.2 실패 패턴 분석

• 위험 유형: 사기 (Fraud) 와 허위 정보 (Disinformation) 관련 공격이 가장 높은 성공률을 보였습니다.
• 도메인: 소셜 미디어 및 생활 서비스 (Life Services) 앱에서 실패가 가장 빈번하게 발생했습니다.
• 공격 벡터: **동적 환경 주입 (Dynamic Environmental Injection)**이 정적 주입이나 사용자 지시보다 훨씬 더 강력한 위협으로 작용했습니다.

4.3 자기 성찰 (Self-Reflection) 및 추론 (Reasoning)의 영향

• 자기 성찰: 일부 모델에서 취약성률을 낮추는 데 도움이 되었으나, GPT-4o 의 경우 과도한 경계로 인해 정상 작업 실패 (Benign Failure) 가 증가하는 트레이드오프가 발생했습니다.
• 명시적 추론: Gemini-2.5 Pro 의 'Thinking' 모델은 공격 성공률은 낮췄으나 전체 작업 완료율 (TC) 도 함께 감소하여, 오히려 에이전트의 유용성이 떨어지는 결과를 초래했습니다. 이는 보안 강화가 기능성 저하로 이어질 수 있음을 시사합니다.

5. 의의 (Significance)

이 연구는 모바일 에이전트 보안 분야에서 중요한 이정표입니다.

• 새로운 위협 인식: 텍스트 프롬프트뿐만 아니라 시각적 환경 자체를 조작하는 공격이 모바일 에이전트의 핵심 약점임을 명확히 했습니다.
• 표준화된 평가 도구: GhostEI-Bench 를 통해 연구 커뮤니티가 에이전트의 복원력을 정량화하고 방어 메커니즘을 개발할 수 있는 표준 프레임워크를 제공했습니다.
• 향후 방향: 단순한 작업 수행 능력뿐만 아니라, 동적 환경에서의 안전성과 신뢰성을 갖춘 차세대 에이전트 개발의 필요성을 강조하며, 실제 세계 배포를 위한 보안 기준 마련에 기여합니다.

결론적으로, GhostEI-Bench 는 현재 가장先进的인 VLM 기반 에이전트들조차 동적인 환경적 교란에 매우 취약함을 보여주었으며, 이를 해결하기 위한 새로운 보안 연구의 방향성을 제시했습니다.