기술 요약: WARD – 프롬프트 인젝션에 대한 웹 에이전트의 적대적 견고한 방어

1. 문제 정의

웹 에이전트는 웹 상호작용 (클릭, 입력, 탐색) 을 통해 사용자 목표를 자율적으로 실행하는 과정에서 개방형 웹 환경에 노출됨에 따라 심각한 보안 위험에 직면합니다. 공격자들은 HTML 콘텐츠나 시각적 인터페이스 (스크린샷) 내에 기만적인 지시를 삽입하여 에이전트의 의사결정을 조작하고, 데이터 유출이나 무단 실행과 같은 안전하지 않은 행동을 유발할 수 있습니다. 이러한 공격을 프롬프트 인젝션 공격이라고 합니다.

시스템 프롬프트 수정과 비전 - 언어 모델의 파인튜닝을 포함한 기존 방어 전략들은 종종 견고성이 제한적입니다. 더 유망한 접근법은 에이전트가 행동하기 전에 웹페이지 상태를 검사하기 위해 별도의 가드 모델을 사용하는 것입니다. 그러나 현재 가드 모델들은 실제 배포를 방해하는 네 가지 중요한 한계에 직면해 있습니다:

1. 제한된 일반화 능력: 이메일이나 소셜 미디어와 같은 고위험 플랫폼과 같은 미처 보지 못한 도메인으로 일반화하지 못하며, 인젝션 양식 (텍스트 전용, 시각적 전용, 또는 둘 다) 의 변화에 어려움을 겪습니다.
2. 높은 오탐지율: 튜토리얼과 같이 지시어와 유사한 언어를 포함한 정상적인 콘텐츠를 악성으로 잘못 분류하여 에이전트 워크플로우를 방해합니다.
3. 효율성 한계: 일부 방어책은 순차적 실행을 요구하거나 크고 비용이 많이 드는 모델에 의존함으로써 지연 시간을 초래합니다.
4. 적대적 공격에 대한 취약성: 기존 가드들은 가드 대상 프롬프트 인젝션 (PIG), 즉 공격자가 가드의 의사결정 논리를 직접 타겟팅하는 공격과 적응형 적대적 공격 (AAA), 즉 공격자가 가드를 우회하기 위해 전략을 반복적으로 적응시키는 공격에 취약합니다.

2. 방법론

저자들은 이러한 한계를 해결하기 위해 3 단계 훈련 파이프라인과 포괄적인 데이터 프레임워크를 통해 설계된 실용적인 가드 프레임워크인 WARD(프롬프트 인젝션에 대한 웹 에이전트 견고한 방어) 를 제안합니다.

2.1 데이터 프레임워크

WARD 는 도메인, 양식, 공격 벡터 전반에 걸쳐 다양성을 극대화하도록 구성된 두 가지 주요 데이터셋에 의존합니다:

• WARD-Base: 719 개의 고트래픽 URL 과 10 개의 시뮬레이션된 고위험 플랫폼에서 수집된 약 177,585 개의 샘플을 포함한 대규모 데이터셋입니다. 이는 2 가지 분기 파이프라인을 활용합니다:
  • 오버레이 분기: 7 개 채널 (팝업, 배너 등) 에 걸쳐 실제 웹페이지 (HTML 수정 또는 스크린샷 오버레이) 에 공격을 주입하여 인터페이스 수준의 패턴을 포착합니다.
  • 네이티브 분기: 소셜 미디어, 메시징, 이메일과 같은 고위험 플랫폼을 시뮬레이션하여 사용자 생성 콘텐츠 (댓글, 게시물, 메시지) 내에 자연스럽게 공격을 삽입합니다.
  • 이 데이터셋은 6 가지 공격 목표 (데이터 유출, 무단 실행 등) 와 4 가지 인젝션 위치 (HTML, 스크린샷, 둘 다, 없음) 를 포괄합니다.
• WARD-PIG: WARD-Base 에서 파생된 특수 데이터셋으로, 가드의 의사결정 과정을 명시적으로 타겟팅하는 프롬프트 (예: 가드에게 의심스러운 콘텐츠를 무시하라고 지시) 를 포함하는 10,500 개의 악성 샘플과 10,500 개의 정상 샘플로 구성됩니다.

2.2 훈련 파이프라인

WARD 는 세 가지 순차적 단계로 훈련됩니다:

1. WARD-Base 에 대한 지도 학습 파인튜닝 (SFT): 모델은 다양한 도메인, 양식, 공격 목표에 걸쳐 프롬프트 인젝션을 탐지하는 법을 학습합니다. HTML 과 스크린샷에 기반한 추론 궤적을 포함하여 악성/정상 레이블, 인젝션 위치, 공격 목표 등을 출력하도록 훈련됩니다.
2. WARD-PIG 에 대한 SFT: 모델은 가드를 타겟팅하는 지시를 인식하고 저항하도록 추가 파인튜닝되어, 이러한 입력을 유효한 명령이 아닌 적대적 신호로 처리하는 법을 학습합니다.
3. 적응형 적대적 공격 훈련 (A3T): 적응형 공격자, 검증자, 그리고 가드가 참여하는 반복적 공진화 프레임워크입니다.
   • 내부 루프: 과거 성공/실패와 가드 피드백을 기억하는 공격자가 현재 가드를 우회하도록 설계된 새로운 후보 공격을 생성합니다. 검증자는 현실적이고 효과적인 악성 샘플을 필터링합니다.
   • 외부 루프: 가드를 우회한 성공적인 적대적 샘플은 그룹 상대 정책 최적화 (GRPO) 를 통해 가드를 업데이트하는 데 사용됩니다.
   • 이 루프가 반복되어 가드가 점점 더 정교해지는 적응형 공격에 대해 점진적으로 강화됩니다.

2.3 모델 아키텍처

이 프레임워크는 Qwen-3.5-0.8B와 Qwen-3.5-2B와 같은 컴팩트한 오픈소스 비전 - 언어 모델을 백본으로 활용하여, 웹 에이전트와 병렬로 효율적으로 배포하면서도 상당한 지연 시간을 유발하지 않도록 합니다.

3. 주요 기여

• WARD-Base 및 WARD-PIG 데이터셋: 인젝션 채널, 위치, 가드 대상 공격을 명시적으로 모델링하고 실제 웹페이지와 시뮬레이션된 고위험 플랫폼을 모두 포괄하는 프롬프트 인젝션 탐지를 위한 최초의 대규모 멀티모달 데이터셋을 구축했습니다.
• A3T 프레임워크: 적응형 공격자에 대한 정적 훈련 분포의 취약성을 해결하기 위해 공격 전략과 가드 방어를 반복적으로 진화시키는 적응형 적대적 훈련 방식을 도입했습니다.
• 실용적인 가드 모델: 거의 완벽한 탐지율을 달성하면서도 낮은 오탐지율을 유지하고 에이전트와 병렬로 효율적으로 작동하는 방어 시스템을 제공합니다.

4. 실험 결과

광범위한 평가는 WARD 가 폐쇄형 API, 오픈소스 모델, 기존 가드 모델 (WebAgentGuard, PromptGuard 등) 을 포함한 25 개의 베이스라인보다 우수함을 입증했습니다.

• 탐지 성능: 분포 외 (OOD) 벤치마크 (Popup, EIA, VPI, WASP) 에서 WARD 는 **거의 완벽한 재현율 (100%)**과 높은 정확도 (WARD-Test 에서 99.33%) 를 달성하여, 일반화에 어려움을 겪는 경우가 많은 베이스라인을 크게 능가했습니다.
• PIG 에 대한 견고성: 가드를 타겟팅하는 프롬프트에 대해 테스트했을 때, WARD 는 모든 양식 (HTML, 스크린샷, 둘 다) 에서 100% 재현율을 유지하는 반면, 기존 모델들은 성능이 급격히 떨어졌습니다 (일부 베이스라인의 경우 재현율이 1% 미만으로 하락).
• 적응형 공격에 대한 견고성: 샘플당 최대 10 회 공격 시도를 포함하는 A3T 스트레스 테스트 하에서 WARD 는 낮은 샘플 성공률 (SSR) 과 시도 성공률 (ASR) 을 유지했습니다. 예를 들어, WARD-2B 는 10 회 시도 예산에서 **3.12%**의 SSR 만을 기록하여 베이스라인의 훨씬 높은 비율과 대조를 이루었습니다.
• 교차 도메인 견고성: 텍스트 기반 비웹 적응형 공격 환경인 PIArena 프레임워크에서 WARD 는 **약 3.08%**의 낮은 평균 공격 성공률 (ASR) 을 유지한 반면, 다른 방어책들은 45~90% 를 초과하는 ASR 로 실패했습니다.
• 유용성 보존: WARD 는 무시할 수 있는 오탐지율 (FPR < 0.5%) 을 보이며 WebArena 작업에서 최소한의 성능 저하 (PD) 를 나타내어, 종종 높은 오탐지율 (>7%) 을 유발하는 기존 가드들보다 에이전트 유용성을 더 잘 보존했습니다.
• 효율성: WARD 는 에이전트와 병렬로 실행되며, 에이전트 모델 자체보다 적은 출력 토큰과 낮은 추론 시간을 요구하여 추가 지연 시간을 방지합니다.

5. 중요성과 주장

이 논문은 WARD 가 실제 웹 에이전트 시스템을 보호하기 위한 강력하고 실용적인 기반을 제공한다고 주장합니다. 대규모 다양성 데이터와 공진화 훈련 전략을 결합함으로써 WARD 는 탐지 정확도, 적응형 적대자에 대한 견고성, 배포 효율성 사이의 근본적인 트레이드오프를 해결합니다.

저자들은 WARD 가 자연스러운 웹페이지 콘텐츠처럼 보이는 현실적인 프롬프트 인젝션 공격을 대상으로 설계되었음을 강조합니다. 그들은 WARD 가 에이전트의 내부 기울기에 접근이 필요하고 더 강력한 위협 모델이 요구되는 픽셀 수준의 환경적 공격(예: 지각 불가능한 교란) 에는 효과적이지 않을 수 있음을 겸손하게 인정합니다. 이 연구는 지시 조작에 대한 신뢰할 수 있는 방어가 필수적인 금융 및 의료와 같은 민감한 분야에서 자율 웹 에이전트를 배포하기 위한 중요한 단계로 자리매김합니다.