SecureWebArena: A Holistic Security Evaluation Benchmark for LVLM-based Web Agents

1. 문제 제기 (Problem)

• 배경: 대규모 비전 - 언어 모델 (LVLM) 기반 웹 에이전트는 복잡한 웹사이트 탐색, 폼 작성, 다단계 의사결정 등 강력한 자동화 능력을 갖추고 있습니다.
• 위협: 이러한 에이전트가 실제 환경 (민감한 데이터 처리, 중요 워크플로우) 에 배포됨에 따라 심각한 보안 위협에 노출되고 있습니다. 주요 위협으로는 팝업 공격 (Pop-up attacks) 및 프롬프트 인젝션 (Prompt injections) 등이 있습니다.
• 기존 벤치마크의 한계:
  • 기존 보안 평가 벤치마크는 사용자 수준의 프롬프트와 환경 수준의 위협을 분리하여 평가하는 경향이 있습니다.
  • 공격 벡터의 다양성이 부족하고, 에이전트의 실패 원인을 단순한 '성공/실패' 지표로만 측정하여 내부 추론 과정의 취약점을 파악하지 못합니다.
  • 따라서 실제 웹 에이전트가 직면하는 포괄적인 취약점 스펙트럼을 제대로 평가하지 못합니다.

2. 방법론 (Methodology)

이 논문은 SecureWebArena라는 최초의 통합적 (Holistic) 보안 평가 벤치마크를 제안합니다.

가. 위협 모델 (Threat Model)

에이전트의 의사결정 과정에 영향을 미치는 두 가지 주요 공격 지점을 정의합니다.

1. 사용자 수준 위협 (User-Level Threats): 악성 사용자가 에이전트의 목표 (Goal) 를 조작.
   • 직접 프롬프트 인젝션 (DP Injection): 정상 지시문에 악성 문장을 삽입.
   • 재일브레이크 (Jailbreak): 안전 장치를 우회하도록 최적화된 지시문 사용.
2. 환경 수준 위협 (Environment-Level Threats): 신뢰할 수 없는 외부 웹사이트의 DOM, CSS, 콘텐츠를 조작.
   • 팝업 공격 (Pop-up Attack): 합법적인 UI 를 가장한 모달 오버레이 삽입.
   • 주의 분산 공격 (Distract Attack): 혼란스러운 시각적 요소로 의도 왜곡.
   • 광고 주입 (Ad Injection): 합법적 UI 요소로 위장한 광고 삽입.
   • 간접 프롬프트 인젝션 (IP Injection): 페이지 구조 내 악성 텍스트 주입.

나. 벤치마크 설계 (SecureWebArena Design)

• 시뮬레이션 환경: 6 가지 현실적인 웹 환경 (Wikipedia, Reddit, Shopping, Classifieds, ShoppingAdmin, GitLab) 을 통합하여 330 개의 적대적 시나리오를 구성했습니다.
• 데이터 규모: 총 2,970 개의 행동 궤적 (Adversarial Trajectories) 을 생성하여 9 가지 대표 LVLM 에이전트를 평가했습니다.
• 다층 평가 프로토콜 (Multi-Layered Evaluation Protocol): 단순한 작업 성공 여부를 넘어, 실패를 3 단계로 세분화하여 분석합니다.
  1. 내부 추론 (Internal Reasoning): 초기 사고 과정 (Thought) 에서 공격 의도를 수용했는지 평가 (RVR: Reasoning Vulnerability Rate).
  2. 행동 궤적 (Behavioral Trajectory): 실행된 행동 (Action) 이 안전한지 평가 (BCR: Behavioral Compromise Rate).
  3. 작업 결과 (Task Outcome): 최종 결과 (Outcome) 가 악의적 목표 달성에 성공했는지 평가 (PDR: Payload Delivery Rate).

3. 주요 기여 (Key Contributions)

1. 최초의 통합 벤치마크: 사용자 및 환경 출처의 6 가지 공격 벡터를 통합한 LVLM 기반 웹 에이전트 보안 평가 프레임워크인 SecureWebArena 를 구축했습니다.
2. 세분화된 평가 프로토콜: 추론, 행동, 결과의 3 단계에 걸친 다층 평가 방식을 도입하여 위험 분석의 정밀도를 높였습니다.
3. 광범위한 실험 및 통찰: 3 가지 유형 (범용, 에이전트 특화, GUI 기반) 의 9 개 LVLM 에이전트를 대상으로 실험하여, 모델 특화 (Specialization) 와 보안 간의 중요한 트레이드오프 관계를 규명했습니다.

4. 실험 결과 (Results)

9 개 모델 (GPT-5, GPT-4o, Gemini, Sonnet 시리즈, Seed-1.5-VL, GLM-4.5V, UI-TARS-1.5, Aguvis 등) 에 대한 실험 결과는 다음과 같습니다.

• 보편적인 취약성: 모든 모델이 미묘한 조작에 취약하며, 특히 **팝업 공격 (Pop-up Attack)**은 모든 모델 카테고리에서 76.67%~100% 의 높은 성공률을 보였습니다. 이는 시각적 요소와 악성 오버레이를 구분하는 능력의 근본적 결함을 시사합니다.
• 모델 유형별 패턴:
  • 범용 모델 (General-Purpose): 대부분의 공격 벡터에서 중간~높은 취약성을 보였습니다.
  • 에이전트 특화 모델 (Agent-Specialized): 보안 성능이 일관되지 않았으며, Seed-1.5-VL 은 범용 모델보다 더 취약한 경우도 있었습니다.
  • GUI 기반 모델 (GUI-Grounded): 전체적으로 가장 강력한 보안을 보였으나, 광고 주입 (AdInject) 공격에는 여전히 취약했습니다 (UI-TARS-1.5: 80% PDR).
• 공격 효과 계층: 시각적 지각을 이용하는 공격 (팝업, 광고 주입) 이 의미론적 조작 (DP Injection, IP Injection) 보다 더 효과적이었습니다.
• 단계별 취약성 변화:
  • 많은 모델이 추론 단계 (Thought) 에서 공격을 인지하지 못하지만, 실행 단계 (Action) 나 결과 단계 (Outcome) 에서 안전 장치가 발동하여 위험을 차단하는 '부분적 방어' 패턴을 보였습니다.
  • 그러나 초기 추론 단계에서의 실패는 에이전트가 공격에 부분적으로 노출되었음을 의미합니다.
• 실제 환경 검증: Amazon 과 Wikipedia 와 같은 실제 웹사이트에서도 SecureWebArena 에서 발견된 취약점 (특히 재일브레이크 및 DP 인젝션) 이 유효함이 확인되었습니다.

5. 의의 및 결론 (Significance)

• 진단 도구: SecureWebArena 는 웹 에이전트의 보안 취약점을 정밀하게 진단할 수 있는 표준 도구로 작용합니다.
• 모델 특화의 한계: 특정 작업에 최적화된 모델 (GUI 기반 등) 이라고 해서 모든 공격 벡터에 대해 견고한 것은 아니며, 오히려 새로운 취약점이 발생할 수 있음을 보여줍니다.
• 미래 방향: 단일 모델 유형이 모든 위협에 대응할 수 없으므로, 추론, 행동, 결과의 전 과정을 아우르는 다층적 보안 메커니즘 개발이 필요함을 강조합니다.
• 기여: 이 연구는 신뢰할 수 있는 웹 에이전트 개발을 위한 엄격한 기반을 마련하고, 커뮤니티가 보다 안전하고 견고한 에이전트를 구축하도록 안내합니다.

요약: SecureWebArena 는 웹 에이전트의 보안 평가를 기존 방식의 한계를 넘어, 사용자 및 환경 공격을 통합하고 추론 - 행동 - 결과의 3 단계로 세분화하여 분석하는 혁신적인 벤치마크입니다. 실험을 통해 현재 LVLM 기반 에이전트들이 시각적 조작에 특히 취약하며, 모델의 특화 여부와 상관없이 보편적인 보안 허점이 존재함을 입증했습니다.