1. 문제 정의 (Problem Statement)

대형 언어 모델 (LLM) 기반 웹 에이전트는 복잡한 웹 상호작용 작업 (양식 작성, 온라인 쇼핑, 정보 관리 등) 에서 뛰어난 성능을 보여주고 있습니다. 그러나 기존 평가 벤치마크 (WebArena, WebVoyager 등) 는 다음과 같은 한계를 가집니다:

• 과도하게 이상화된 환경: 평가가 상대적으로 안정적이고 잘 정의된 상호작용 조건 하에 이루어져, 에이전트의 실제 강건성 (Robustness) 을 과대평가할 수 있습니다.
• 실제 웹 환경의 불확실성 무시: 실제 웹에서는 레이아웃 변경, 비동기 응답 지연, 예상치 못한 팝업, DOM 구조의 불규칙성, 상호작용 의미의 변화 등 다양한 변동성이 발생합니다.
• 진단적 가치 부재: 기존 벤치마크는 에이전트의 실패 원인을 지각 (Perception), 행동 선택 (Action Selection), 실행 (Execution) 단계별로 체계적으로 분석하거나 환경에 개입하여 테스트하는 기능이 부족합니다.

따라서, 실제 웹 상호작용의 변동성 (Variability) 하에서 에이전트의 강건성을 진단할 수 있는 새로운 벤치마크가 필요합니다.

2. 방법론 (Methodology)

저자들은 StressWeb이라는 진단형 스트레스 테스트 벤치마크를 제안합니다. 이는 통제된 환경에서 구조화된 교란 (Perturbation) 을 주입하여 에이전트의 취약점을 분석하는 프레임워크입니다.

2.1 벤치마크 구성 요소

1. 참조 환경 (Reference Environments):

   • 10 개의 다양한 웹 애플리케이션 (쇼핑, 이메일, 일정 관리 등) 을 기반으로 149 개의 태스크 쿼리를 포함하는 1,043 개의 평가 세트를 구성했습니다.
   • 에이전트 주도 (Agent-driven) 웹사이트 생성 파이프라인을 사용하여 자연어 태스크 명세를 실제 기능성 웹 애플리케이션으로 변환했습니다.
   • 모든 단계 (지각, 행동 선택, 실행) 가 안정적이고 결정론적 (Deterministic) 인 'Clean' 환경을 기준선으로 설정합니다.

2. 구조화된 교란 메커니즘 (Structured Perturbations):
   상호작용 파이프라인의 3 단계에 맞춰 6 가지 유형의 교란을 도입합니다 (그림 1, 2 참조):

   • 지각 교란 (Perception Perturbations): 에이전트가 인터페이스를 관찰하는 단계에 영향을 줍니다.
     • Chaos (레이아웃 혼란): 텍스트 크기 변경, 요소 회전, 위치 이동 등 시각적 노이즈.
     • Noise (DOM 노이즈): 텍스트 분할, 숨겨진 요소, 속성 교란 등 구조적 중복 및 은폐.
   • 의미 교란 (Semantic Perturbations): 에이전트가 행동을 선택하는 규칙을 변경합니다.
     • RemapE (명시적): 인터페이스에 텍스트 지시를 통해 클릭 규칙 변경 (예: 더블 클릭 필요) 을 알림.
     • Remap (암시적): 지시 없이 단일 클릭이 선택 상태로만 전환되고, 의도된 전환은 더블 클릭으로만 발생 (에이전트가 피드백을 통해 규칙을 추론해야 함).
   • 실행 교란 (Execution Perturbations): 행동이 환경에 반영되는 단계에 영향을 줍니다.
     • Failure (실패): 클릭이나 입력이 무작위로 실패하거나 무시됨.
     • Pop-Up (인터럽션): 작업 흐름을 방해하는 팝업 창이 랜덤하게 발생.

3. 결정론적 평가 프로토콜 (Deterministic Evaluation):

   • 최종 성공 여부뿐만 아니라, 태스크 수행 중의 주요 마일스톤 (체크포인트) 에서 DOM 상태를 자동으로 검증하는 스크립트를 사용합니다.
   • 이를 통해 실패가 어느 단계 (지각, 계획, 실행) 에서 발생했는지 정밀하게 추적 (Attribution) 할 수 있습니다.

3. 주요 기여 (Key Contributions)

1. 진단형 스트레스 테스트 벤치마크 도입: 비정형적이고 변동성이 있는 상호작용 조건 하에서 웹 에이전트의 강건성을 평가하는 최초의 체계적인 프레임워크를 제시했습니다.
2. 단계 정렬 교란 메커니즘 설계: 지각, 행동 선택, 실행 단계별로 분리된 교란을 통해 에이전트의 취약점을 세분화하여 분석할 수 있게 했습니다.
3. 숨겨진 실패 모드 발견: 기존 'Clean' 벤치마크에서는 드러나지 않았던 에이전트의 심각한 강건성 격차와 실패 패턴을 규명했습니다.

4. 실험 결과 (Results)

최신 멀티모달 LLM 에이전트 (Gemini, GPT-5, Claude, Qwen 등) 를 대상으로 한 실험 결과는 다음과 같은 통찰을 제공합니다:

• 성능 저하: Clean 환경에서 46.7%61.4% 의 성공률을 보였던 에이전트들은 교란 환경에서 34.6%50.1% 로 성능이 급격히 하락했습니다. 이는 에이전트가 환경의 특정 사전 지식 (Priors) 에 과도하게 의존하고 있음을 시사합니다.
• 교란 유형별 민감도:
  • 의미 교란 (Semantic) 이 가장 치명적: 상호작용 규칙이 변경되었을 때 (Remap) 성능이 가장 크게 떨어졌습니다 (평균 26.2%~31.3%). 에이전트가 환경 피드백을 통해 규칙을 재학습하거나 적응하는 능력이 부족함을 보여줍니다.
  • 지각 및 실행 교란: 시각적 노이즈나 실행 실패에는 상대적으로 덜 민감했으나, 여전히 성능이 저하되었습니다.
• 자기 평가의 불일치 (Self-Assessment Miscalibration):
  • 에이전트는 실제 실패에도 불구하고 "작업 완료 (Success)"를 보고하는 경향이 강해졌습니다.
  • 특히 의미 교란 환경에서는 실제 성공률이 급감했음에도 에이전트가 성공했다고 주장하는 비율이 최대 5.3 배까지 증가하여, 심각한 과신 (Overconfidence) 현상을 보였습니다.
• 반복 행동 패턴: 의미 교란 하에서 에이전트는 잘못된 행동을 수정하지 못하고 동일한 행동을 반복하는 '정책 붕괴 (Policy Collapse)' 현상이 관찰되었습니다 (최대 92 회 연속 반복).

5. 의의 및 결론 (Significance & Conclusion)

• 강건성 평가의 중요성 부각: 높은 태스크 성공률이 반드시 실제 배포 환경에서의 신뢰성을 보장하지 않음을 입증했습니다. 강건성 (Robustness) 은 태스크 수행 능력과 동등하게 중요한 평가 차원으로 간주되어야 합니다.
• 온라인 적응 능력의 부재: 현재 에이전트들은 학습된 상호작용 관습에 의존할 뿐, 동적인 환경 변화에 실시간으로 적응하거나 실패를 인지하여 전략을 수정하는 능력이 부족합니다.
• 실제 배포의 함의: 에이전트가 실패를 감지하지 못하고 무작정 작업을 종료하는 '침묵하는 실패 (Silent Failure)'는 실제 웹 에이전트 배포 시 사용자 신뢰를 훼손하고 시스템 오류를 초래할 수 있습니다.

결론적으로, StressWeb 은 웹 에이전트의 취약점을 체계적으로 진단하고, 향후 더 강건하고 적응적인 에이전트 개발을 위한 필수적인 평가 도구로 자리 잡을 것입니다.