기술 요약: ShopGym

문제 정의

전자상거래 웹 에이전트 평가는 현실성과 실험적 통제 간의 상충 관계라는 근본적인 방법론적 병목 현상에 직면해 있습니다. 기존 접근 방식은 각각 중대한 한계를 지닌 두 가지 범주로 나뉩니다:

1. 실제 매장 (Live Storefronts): 자연스러운 레이아웃과 상호작용 패턴을 제공하여 높은 현실성을 갖지만, 비정상적입니다. 카탈로그, 디자인, A/B 테스트 변형이 시간이 지남에 따라 변경되므로 훈련과 평가가 재현 불가능하며, 서로 다른 실행 또는 에이전트 간에 공평하게 비교하기 어렵습니다.
2. 수동 구축 샌드박스: 통제와 재현성을 제공하지만 다양성이 부족합니다. 수동으로 구축된 환경은 레이아웃, 카탈로그 구조, 정책의 좁은 범위만을 다루며, 실제 세계 전자상거래의 복잡성을 포착하지 못합니다.

이 분야는 현실성, 다양성, 통제 가능성, 검사 가능성, 재현성을 동시에 갖춘 평가 환경을 구축할 수 있는 확장 가능한 방법론이 부재합니다.

방법론: ShopGym 프레임워크

이 격차를 해소하기 위해 저자들은 ShopArena(시뮬레이션 환경 생성) 와 ShopGuru(근거 기반 작업 생성) 라는 두 가지 시너지 요소를 통합한 ShopGym 프레임워크를 소개합니다.

1. ShopArena: 확장 가능한 시뮬레이션 환경 생성

ShopArena 는 실제 시드 매장을 2 단계 파이프라인을 통해 자체 완결형 익명화 샌드박스 상점으로 변환합니다:

• 탐색 단계 (실제 → 명세):
  • 시스템이 하나 이상의 실제 시드 매장을 자율적으로 탐색합니다.
  • 브랜드 이름, 제품 세부 정보, URL 을 엄격하게 익명화하면서 구조적 및 행동적 신호 (탐색, affordance, 페이지 구성, 카탈로그 통계) 를 추출합니다.
  • 이러한 신호는 인간이 읽을 수 있는 중간 디자인 명세 ($M$) 로 합성됩니다. 이 명세는 탐색과 생성 간의 유일한 인터페이스로 작용하여, 다중 시드 구성 (여러 소스의 구조적 다양성 병합) 과 소스를 재탐색하지 않고도 수동 편집을 가능하게 합니다.
• 생성 단계 (명세 → 샌드박스):
  • 단계별 코드 합성 파이프라인이 명세 $M$ 을 실행 가능한 샌드박스 상점으로 변환합니다.
  • 카탈로그 합성: 디자인 매뉴얼과 $M$ 의 통계를 기반으로 합성 제품 데이터 (이름, 설명, 이미지) 를 생성합니다.
  • 소스 코드 합성: 여러 에이전트에 의해 구동되는 실행–검증 루프를 사용합니다. 실행 에이전트가 코드베이스를 편집하는 동안, 별도의 검증 에이전트 (규칙 기반 확인과 멀티모달 시각 검사를 결합) 가 피드백을 제공합니다. 이 루프는 상점이 기능할 때까지 반복되어 안정성을 보장하고 장시간 코드 생성에서 흔히 발생하는 컨텍스트 창 저하를 방지합니다.
  • 그 결과, 시드 매장의 구조적, 행동적, 통계적 속성을 보존하지만 합성 브랜드 정체성과 이미지를 사용하는 합성 상점이 생성됩니다.

2. ShopGuru: 근거 기반 작업 생성

ShopGuru 는 생성된 샌드박스 상점의 데이터 (카탈로그, 탐색 그래프, 정책) 에 직접 근거한 벤치마크 작업을 합성합니다.

• 단기 작업: 원시 기술을 평가하기 위해 결정론적 규칙 기반 스크립트를 통해 생성됩니다:
  • 제품 발견: 정확한 검색 및 대체 검색.
  • 필터 선택: 컬렉션 탐색 및 특정 필터 적용 (제품 가용성 확인을 통해 실현 가능성 보장).
  • 정보 추구: 정책 페이지 (배송, 반품) 위치 확인.
• 장기 작업: 복잡한 인간 쇼핑 여정 (예: 필터 $\to$ 정렬 $\to$ 검사 $\to$ 정책 우회 $\to$ 장바구니 담기) 을 시뮬레이션하기 위해 LLM(예: GPT-5, Gemini 3 Pro) 에 의해 생성됩니다.
  • 다듬기 루프: LLM 환각 (예: 존재하지 않는 변형 요청) 을 완화하기 위해 검증자 주도 루프가 생성된 작업을 반복적으로 정제합니다. 검증자는 근거 불일치 (알 수 없는 제품, 실현 불가능한 필터) 를 확인하고 실행 가능한 오류를 LLM 에게 피드백하여 재생성을 유도합니다.

주요 기여

1. 방법론적 식별: 이 논문은 현실성 - 통제 상충 관계를 핵심 병목 현상으로 식별하고, 현실적이고 통제 가능한 환경의 확장 가능한 구축을 결여된 능력으로 주장합니다.
2. ShopArena 파이프라인: 명세 합성 및 단계별 코드 생성을 통해 실제 매장을 익명화된 자체 완결형 샌드박스 상점으로 변환하는 새로운 파이프라인으로, 다양하고 재현 가능한 환경을 가능하게 합니다.
3. ShopGuru 작업 생성기: 규칙 기반 및 LLM 기반 다듬기 루프에 의해 검증된 단기 기술 평가와 장기 E2E 쇼핑 여정을 모두 생성하는 근거 기반 작업 생성 시스템입니다.
4. 검증: 합성 상점이 실제 매장의 의미 있는 평가 신호를 보존한다는 실증적 증거를 제시합니다.

결과 및 검증

저자들은 6 개의 샌드박스 상점 (3 개는 완전히 합성, 3 개는 실제 제품 데이터를 사용하지만 합성 브랜딩을 적용한 "쌍둥이" 상점) 에서 생성된 224 개의 작업을 사용하여 ShopGym 을 검증했습니다.

• 구조적 타당성: 합성 상점과 실제 상점 간 비교는 관찰 및 상호작용 복잡성 (접근성 트리 깊이, 고유 상호작용 요소) 이 유사함을 보여주었습니다. 합성 상점은 외부 링크와 마케팅 노이즈를 의도적으로 배제했기 때문에 상태 전이가 약간 적었지만, 고유한 UI 상태의 유사한 커버리지를 유지했습니다.
• 행동적 검증: GPT-5 및 Gemini 3 와 같은 모델을 사용한 에이전트의 성능은 합성 "쌍둥이" 상점과 해당 실제 매장에서의 성능과 양의 상관관계를 보였습니다. 이는 합성 환경이 평가에 필요한 난이도와 행동 신호를 유지함을 나타냅니다.
• 작업 복잡성: 최첨단 모델은 생성된 장기 작업에서 낮은 성공률을 보였습니다 (예: BrowserGym 하네스 기준 GPT-5-mini 약 48%, GPT-5 약 62%). 이는 작업이 현재 에이전트를 도전하기에 충분히 복잡함을 보여줍니다.

중요성 및 주장

이 논문은 ShopGym 이 실제 웹 현실성과 샌드박스 통제 사이의 실용적인 중간 지대를 제공한다고 주장합니다. 자체 완결형, 검사 가능, 재설정 가능, 안정적인 평가 산물을 생산함으로써 ShopGym 은 전자상거래 웹 에이전트의 더 재현 가능하고 해석 가능한 평가를 위한 확장 가능한 기반을 제공합니다.

저자들은 ShopGym 이 재고 회전, 개인화, 지연 시간과 같은 실제 세계의 비정상성 원천을 제거하므로 실제 웹 평가를 완전히 대체하지는 않는다고 겸손하게 지적합니다. 그러나 이는 에이전트 능력을 환경 노이즈에서 분리할 수 있게 하여 표준화된 벤치마킹을 위한 더 강력한 방법론으로 기능합니다. 이 프레임워크는 무단 자동화 및 데이터 재배포에 대한 안전 장치를 마련하여 책임 있는 연구 사용을 지원하도록 설계되었습니다.