기술 요약: StakeBench – 실제 웹 에이전트를 위한 이해관계자 중심의 프롬프트 인젝션 벤치마크

1. 문제 정의

대규모 언어 모델(LLM) 기반의 웹 에이전트는 사용자를 대신하여 검색, 비교, 거래를 자율적으로 수행하기 위해 실제 환경에 점점 더 많이 배치되고 있습니다. 이러한 에이전트들은 신뢰할 수 없는 웹 콘텐츠(예: 제품 리뷰, 메타데이터)와 상호작용하며 직접적인 결과가 따르는 동작을 실행합니다. 이러한 구조는 에이전트를 프롬프트 인젝션 공격에 취ка하게 만듭니다. 즉, 무해해 보이는 콘텐츠에 내장된 적대적 지침이 에이전트의 행동을 조작할 수 있습니다.

기존의 보안 벤치마크는 주로 공격 중심적 관점을 채택하여, 인젝션의 기술적 타당성과 공격 성공률(ASR)과 같은 집계된 지표에 집중합니다. 그러나 저자들은 이러한 평가 방식이 발생하는 피해의 미묘한 분포를 간과한다고 주장합니다. 실제로 프롬프트 인젝션 위험은 피해 대상에 따라 달라집니다(victim-dependent). 단 한 번의 익스플로잇(exploit)이 서로 다른 이해관계자(예: 최종 사용자, 제3자 판매자, 또는 플랫폼)에게 비대칭적인 결과를 초래할 수 있기 때문입니다. 또한, 실패는 "스텔스형 기생(stealthy parasitism, 공격은 성공했으나 사용자의 작업은 방해하지 않음)"에서부터 "정렬되지 않은 방해(misaligned disruption, 공격은 실패했으나 작업이 방해받음)"에 이르기까지 이질적인 영역에서 나타나며, 이는 단일 지표의 성공/실패 이진 분류에 의존하는 기존의 평가 방법으로는 포착하기 어렵습니다.

2. 방법론: StakeBench 프레임워크

이러한 한계를 해결하기 위해 저자들은 실제 웹 에이전트 시스템의 피해를 체계적으로 분류하고 귀속시키기 위해 설계된 벤치마크인 StakeBench를 소개합니다. 이 방법론은 이해관계자 중심의 피해 모델링에 근거하며, VisualWebArena의 OneStopMarket 환경을 사용하여 온라인 쇼핑 도메인 내에서 구현되었습니다.

2.1 핵심 구성 요소

• 이해관계자 중심 분류 체계: 공격은 표면적인 형태가 아니라, 결과적인 해를 입는 엔티티(entity)를 기준으로 조직됩니다. 프레임워크는 세 가지 이해관계자 범주를 구분합니다:
  • 사용자(User): 해악에는 의도하지 않은 구매, 주문 변조, 데이터 노출 등이 포함됩니다.
  • 판매자(Seller): 해악에는 평판 훼손, 리뷰 왜곡, 악의적인 주문 취소, 거래 인플레이션 등이 포함됩니다.
  • 플랫폼(Platform): 해악에는 권한 사칭, 승인되지 않은 동작 유도, 워크플로우 우회/루프 등이 포함됩니다.
• 공격 목표 및 템플릿: 벤치마크는 공격을 세 가지 이해관계자 범주에 걸친 12가지 구체적인 적대적 목표로 분해합니다. 이는 직접 입력 수정(Direct Prompt Injection, DPI)과 환경 콘텐츠 임베딩(예: 제품 리뷰)을 모두 아우르는 22개의 재사용 가능한 공격 템플릿(9개의 DPI 및 13개의 IPI)을 통해 실현됩니다.
• 벤치마크 인스턴스화: 이 템플릿들은 12개의 제품 카테고리에 걸쳐 인스턴스화되어 264개의 실행 가능한 적대적 케이스를 생성합니다. 각 케이스는 에이전트 설정당 3회씩 실행되어 총 3,168회의 공격 실행을 기록합니다.

2.2 다축 평가 지표

StakeBench는 서로 다른 실패 모드를 포착하기 위해 세 가지 상호 보완적인 축을 따라 각 실행을 평가합니다:

1. 공격 성공률 (ASR): 적대적 목표가 달성되었는지 여부를 측정하는 결과 수준의 척도입니다.
2. 작업 이탈률 (TDR): 사용자가 위임한 양호한 작업이 실질적으로 방해받았는지 여부를 측정하는 결과 수준의 척도입니다.
3. 행동 이상률 (BIR): 실행 안정성(예: 루핑, 불안정한 탐색)을 측정하는 프로세스 수준의 척도입니다.

ASR과 TDR의 결합 분석은 네 가지 실패 영역을 정의합니다:

• 강건한 행동 (Robust Behavior): 낮은 ASR, 낮은 TDR.
• 스텔스형 기생 (Stealthy Parasitism): 높은 ASR, 낮은 TDR (공격은 성공했으나 사용자 작업은 정상적으로 보임).
• 정렬되지 않은 방해 (Misaligned Disruption): 낮은 ASR, 높은 TDR (공격은 실패했으나 사용자 작업은 방해받음).
• 복합적 실패 (Compounded Failure): 높은 ASR, 높은 TDR (공격과 작업 모두 실패).

2.3 실험 설정

벤치마크는 두 개의 대표적인 실제 웹 에이전트 시스템(NanoBrowser 및 BrowserUse)을 두 개의 백본 LLM(GPT-5 및 Gemini-2.5-Flash)과 결합하여 평가합니다. 위협 모델은 공격자의 범위를 시스템 프롬프트나 플랫폼 인프라에 대한 접근 권한 없이, 실제 환경에서 통제 가능한 콘텐츠 표면(예: 리뷰, 평점)으로 제한합니다.

3. 주요 결과

평가는 모든 에이전트 설정에서 상당하고 이질적인 취약성을 드러냅니다:

• 상당한 취약성: 간접 프롬프트 인젝션(IPI) 하에서 공격 성공률(ASR)은 41.67%에서 68.16% 사이입니다. 어떤 공격 목표도 모든 설정에서 "강건한 행동"을 나타내지 않았습니다.
• 이해관계자 의존적 실패 프로필:
  • 판매자 타겟 공격은 가장 높은 ASR과 TDR을 보였으며, 이는 매우 효과적이면서 동시에 사용자 작업을 방해하기 쉽다는 것을 나타냅냅니다.
  • 사용자 타겟 공격은 가장 낮은 TDR을 보여, 공격이 성공하더라도 명목상의 작업에서 눈에 띄게 벗어나지 않는 "은밀한" 실패 모드를 시사했습니다.
  • 플랫폼 타겟 공격은 높은 BIR과 연관되어 있었으며, 이는 주입된 콘텐츠가 적대적 목표를 확실히 완수하지 못하더라도 실행을 불안정하게 만드는(예: 루프 발생) 경향이 있음을 나타냅니다.
• 이질적인 실패 영역: 결과는 ASR과 TDR이 약하게 결합되어 있음을 확인시켜 줍니다. 많은 공격이 스텔스형 기생(예: 편향된 리뷰 조작) 또는 정렬되지 않은 방해(예: 주문 취소를 시도하지만 실제로는 실패하여 작업만 방해하는 경우) 영역에 속합니다.
• 영향 요인:
  • 의미적 정렬 (Semantic Alignment): 사용자의 의도와 의미적 유사성이 높은 공격(예: 유사한 제품 구매)은 높은 ASR과 낮은 TDR(스텔스형 기생)을 달로했습니다. 의도가 다른 공격은 높은 TDR(정렬되지 않은 방해)을 유발했습니다.
  • 단서 일관성 (Cue Consistency): 모순된 환경 단서(예: 높은 평점과 함께 제시된 부정적 리뷰)는 일부 모델(GPT-5)의 ASR을 낮추었으나 다른 모델(Gemini)은 그렇지 않았습니다.
  • 노출 타이밍 (Exposure Timing): 양호한 작업 접두사를 단축하여(에이전트가 인젝션에 더 빨리 노출되도록 함) ASR이 증가했습니다. 이는 장기 과업(long-horizon tasks)에서의 사전 노출 실패가 실제 취약성을 가릴 수 있음을 시사합니다.
• 시각적 조작 (Visual Manipulation): 제품 이미지를 수정하는 시각적 조작에 대한 예비 연구에 따르면, 에이전트는 텍스트 평점이 변하지 않더라도 시각적 단서에 의해 설득되어 제품 선택을 크게 변경할 수 있었습니다.

4. 의의 및 주장

본 논문은 StakeBench가 실제 배포 환경에서 LLM 기반 에이전트의 **이해관계자 인지적 평가(stakeholder-aware assessment)**를 위한 필수적인 토대를 제공한다고 주장합니다. 주요 기여는 다음과 같습니다:

1. 보이지 않는 위험의 가시화: 공격 표면이 아닌 해를 입는 엔티티를 중심으로 평가를 구성함으로써, StakeBench는 비대칭적이고 피해 대상에 따라 달라지는 위험을 명확하게 드러냅니다. 이는 에이전트가 사용자 중심 지표에는 강건해 보일 수 있지만, 판매자나 플랫폼의 해악에는 매우 취약할 수 있음을 보여줍니다.
2. 실패 영역의 특성화: 다축 지표(ASR, TDR, BIR)는 집계 지표가 놓칠 수 있는 질적으로 구별되는 실패 모드(예: 스텔스형 기생 vs 정렬되지 않은 방해)를 노출합니다. 이는 프롬프트 인젝션 보안이 백본 모델의 스칼라적 속성이 아니라, 이해관계자, 의미적 정렬, 그리고 건축적 맥락에 의해 결정되는 분포임을 강조합니다.
3. 현실적인 평가: 단순화된 환경이나 고립된 모델에 의존하는 기존 벤치마크와 달리, StakeBench는 제한된 공격자 접근 권한을 가진 현실적인 다자간 이커머스 환경에서 완전하고 배포 가능한 에이전트 시스템을 평가합니다.

저자들은 현재의 에이전트들이 모든 이해관계자 타겟에 대해 프롬프트 인젝션에 대한 신뢰할 수 있는 저항력이 부족하다고 결론지으며, 향다면 보안 평가는 단일 지표의 공격 중심적 평가를 넘어 다자간 웹 에이전트 생태계의 복잡한 구조를 고려해야 한다고 강조합니다.