기술 요약: SimGym – 전자상거래 A/B 테스트 시뮬레이션을 위한 프레임워크

1. 문제 제기

A/B 테스트는 UI 및 테마 변경과 같은 전자상거래 스토어 수정 사항을 평가하는 데 있어 여전히 금표준 (gold standard) 으로 간주됩니다. 그러나 전통적인 테스트는 상당한 비용을 수반합니다. 이는 잠재적으로 최적이지 않은 변형으로 실제 트래픽을 분산시키고, 통계적 유의성을 달성하는 데 수주가 소요되며, 실패한 처리가 감지되기 전에 사용자 경험을 저하시킬 위험이 있습니다. 이러한 한계로 인해 상인들은 종종 혁신을 제약하는 과감한 리디자인보다는 점진적인 변경을 선호하는 위험 회피 전략을 채택하게 됩니다.

최근 대규모 언어 모델 (LLM) 과 비전 - 언어 모델 (VLM) 의 발전은 에이전트가 복잡한 인터페이스를 탐색하고 현실적인 사용자 행동을 보일 수 있음을 입증했습니다. 그러나 기존 연구는 실제 전자상거래 환경에서의 종합적인 합성 A/B 테스트 프레임워크를 제시하지 못했습니다. 이전 연구들은 페르소나 생성, 브라우저 상호작용, 또는 평가를 각각 분리하여 다루거나, 라이브 스토어의 시각적이고 역동적인 특성을 포착하지 못하는 정적 데이터셋과 오프라인 벤치마크에 의존했습니다. 특히, 기존 접근법 중 어느 것도 시뮬레이션된 에이전트가 실제 인터페이스 개입으로 인한 전환 지표 (예: 장바구니 담기 비율) 의 실제 변화를 예측할 수 있는지를 엄격하게 검증한 바 없습니다.

2. 방법론: SimGym 프레임워크

SimGym 은 라이브 브라우저 환경에서 VLM 기반 브라우저 에이전트를 사용하여 A/B 테스트를 시뮬레이션하도록 설계된 모듈식 프레임워크입니다. 이 프레임워크는 세 가지 핵심 구성 요소로 이루어집니다:

2.1 트래픽 기반 페르소나 생성 파이프라인

합성 구매자가 실제 사용자의 이질성을 반영하도록 보장하기 위해, SimGym 은 수동으로 제작되거나 일반적인 페르소나에 의존하는 대신, 상인별 생산 클릭스트림 데이터에서 직접 구매자 원형과 의도를 도출합니다. 파이프라인은 여섯 단계로 운영됩니다:

1. 세션 클러스터링: 세션은 참여도, 탐색 깊이, 퍼널 진행, 경제적 가치 등의 특징 벡터로 표현되고 k-means++ 를 사용하여 클러스터링되어 반복적인 구매 패턴을 식별합니다.
2. 제품 선호도 추출: VLM(GPT-5) 을 사용하여 각 클러스터에 대한 구조화된 제품 선호도 (카테고리 및 특정 품목) 를 추출합니다.
3. 구매자 의도 생성: 각 에이전트에 대해 구조화된 쇼핑 의도가 생성되며, 이는 클러스터 선호도에서 샘플링된 제품 목표와 구매 결정 가이드로 구성됩니다.
4. 행동 집계: 각 클러스터에 대해 세션 간 요약 (퍼널 결과, 장바구니 가치, 상호작용 기록) 이 계산됩니다.
5. 구매자 원형 구축: 가격 민감도, 탐색 깊이, 프리미엄 중시, 성능 중시, 윤리 중시라는 다섯 가지 연속적인 차원을 따라 다차원 프로필이 구축됩니다. 이는 집계된 통계와 키워드 분석에서 도출됩니다.
6. 프롬프트 구성: 최종 에이전트 페르소나는 쇼핑 의도와 구매자 원형을 짝지어, 관찰된 제품 관심사와 행동 특성을 반영하는 프로필을 생성합니다.

2.2 멀티모달 라이브 - 브라우저 에이전트 아키텍처

오프라인 시뮬레이션과 달리, SimGym 에이전트는 라이브 스토어와 직접 상호작용합니다. 아키텍처는 관찰 - 계획 - 행동 루프를 사용합니다:

• 멀티모달 웹 지각: 각 결정 단계에서 VLM 은 두 가지 모달리티를 수신합니다:
  • 텍스트 구조: 액션 타겟팅을 위한 의미적 계층 구조와 고유 참조 ID 를 제공하는 DOM 기반 접근성 트리.
  • 시각적 지각: 레이아웃, 이미지, 타이포그래피, 시각적 강조를 포착하는 페이지 스크린샷.
• 행동 계획: 에이전트는 고수준 플래너로 작용하여 현재 상태, 세션 메모리, 페르소나 제약을 기반으로 추론, 종료 결정, 제안된 행동 (예: 클릭, 스크롤) 을 포함하는 스키마 제약 응답을 생성합니다.
• 메모리 관리: 에피소드 세션 메모리는 전체 탐색 궤적 (내비게이션 컨텍스트, 관찰, 추론, 행동, 결과) 을 축적합니다. 이를 통해 에이전트는 시간적 일관성을 유지하고, 중복 행동을 피하며, 방문한 페이지를 추적할 수 있습니다.
• 가드레일: 신뢰성을 보장하기 위해 시스템은 예상치 못한 페이지 상태나 실행 오류를 유연하게 처리하기 위해 루프 보호, 단계/시간 예산, 모델 재시도 로직, 오류 전파를 강제합니다.

2.3 평가 프로토콜

이 프로토콜은 시뮬레이션된 에이전트가 실제 인간 트래픽에서 관찰된 행동 변화의 방향과 크기를 예측하는지 검증합니다.

• 그라운드 트루스 구축: 50 개의 쌍을 이루는 제어/처리 스토어 변형 데이터셋이 선별됩니다. 쌍은 충분한 트래픽과 실질적인 시각/레이아웃 차이를 기준으로 선택되되, 중복 프로모션이나 가격 변경과 같은 교란 요인은 필터링됩니다.
• 지표:
  • 방향적 유효성: 시뮬레이션된 $\Delta$A2C 의 부호가 관찰된 인간 $\Delta$A2C 의 부호와 일치하는 상점의 비율인 **정합률 (Alignment Rate)**로 측정됩니다.
  • 크기 유효성: 상점 간 시뮬레이션 및 관찰된 A2C 변화 간의 피어슨 상관계수로 측정됩니다.

3. 주요 기여

1. 종단간 프레임워크: SimGym 은 트래픽 기반 페르소나 생성, 멀티모달 라이브 - 브라우저 상호작용, 그리고 합성 A/B 테스트를 위한 엄격한 예측 검증을 통합한 최초의 통합 프레임워크입니다.
2. 트래픽 기반 합성: 파이프라인은 원시 클릭스트림 데이터를 다양한 상점별 구매자 원형과 의도로 변환하여, 수동 튜닝 없이도 시뮬레이션된 인구집단이 경험적 고객 분포를 반영하도록 보장합니다.
3. 멀티모달 라이브 상호작용: 에이전트 아키텍처는 시각적 및 구조적 웹 지각을 에피소드 메모리와 결합하여, 이질적이고 역동적으로 변화하는 인터페이스 전반에 걸쳐 일관된 쇼핑 세션을 가능하게 합니다.
4. 경험적 검증: 이 프레임워크는 시각적으로 주도된 테마 변경에 대한 실제 세계 A/B 테스트에 대해 검증되었으며, 시뮬레이션 결과와 관찰 결과 간의 강력한 정합을 입증했습니다.

4. 실험 결과

이 프레임워크는 16 개 국가와 11 개 제품 카테고리에 걸쳐 있는 50 개의 실제 스토어에서, 상점당 600 개의 에이전트를 사용하여 평가되었습니다.

• 전체 성능: 시각 통합이 적용된 Gemini 3 Flash를 사용하여 SimGym 은 관찰된 인간 장바구니 담기 (A2C) 변화와 77% 의 방향적 정합률을 달성했으며, 피어슨 상관계수는 0.55였습니다.
• 멀티모달의 필요성: 시각 입력을 제거한 경우 (텍스트 전용 Gemini 3 Flash), 정합률은 70% 로, 상관계수는 0.49 로 감소하여 DOM 구조만으로는 포착되지 않는 시각적 특징 (레이아웃, 이미지) 이 중요한 행동 신호를 제공함을 확인했습니다.
• 페르소나의 중요성: 제거 실험 (Ablation studies) 은 전체 페르소나(원형 + 의도)가 필수적임을 보여주었습니다. 구매자 원형을 제거한 경우 (쇼핑 의도만), 정합률은 44% 로 떨어졌고 상관계수는 거의 0 이 되었습니다. 제품 목표만 사용한 경우 (제품만) 는 우연 수준의 정합률 (51%) 을 보였습니다.
• 메모리의 필요성: 에피소드 세션 메모리를 제거한 경우, 에이전트가 내비게이션 루프에 갇히고 탐색 컨텍스트를 추적하지 못하게 되어 방향적 정합률은 42% 로, 상관계수는 0.00 으로 떨어졌습니다.
• 효율성: SimGym 은 실험 주기를 수주에서 1 시간 미만으로 단축합니다 (Gemini 3 Flash 를 사용하여 600 개의 에이전트로 상점당 약 5.3 분).
• 모델 견고성: 독점 모델이 가장 좋은 성능을 보였지만, 오픈소스 모델 (GPT-OSS) 도 59% 의 정합률을 달성하여 다양한 모델 능력에 걸쳐 프레임워크의 견고성을 시사했습니다.

5. 의미 및 주장

이 논문은 SimGym 이 실제 전자상거래 사용 사례에 대한 합성 A/B 테스트를 수행하기 위한 엄격한 기반을 제공한다고 주장합니다. 실제 인간 행동 변화와 강력한 방향적 정합 (77%) 과 유의미한 상관관계 (0.55) 를 달성함으로써, 이 프레임워크는 합성 에이전트가 인터페이스 변경의 영향을 효과적으로 예측할 수 있음을 입증합니다.

주요 의미는 실제 구매자를 후보 변형에 노출시키지 않고 신속한 실험을 가능하게 하는 데 있습니다. 이 기능은 상인들이 기존 A/B 테스트의 비용과 위험으로 인해 현재 위축되어 있는 혁신을 잠재적으로 해제할 수 있도록, 과감한 리디자인과 시각적으로 주도된 테마 변경을 더 낮은 위험으로 테스트할 수 있게 합니다. 저자들은 SimGym 을 자동화된 UI 탐색을 위한 잠재적인 "내부 루프"로 위치시키며, 후보 변경 사항을 배포 전에 시뮬레이션에서 제안, 선별, 우선순위 지정할 수 있다고 봅니다.

저자들은 일반화에 있어 겸손한 입장을 유지하며, 현재 연구가 단일 주요 전자상거래 플랫폼으로 제한되어 있으며, 사후 훈련 정렬이 인간 추적에 미치는 영향은 향후 검증이 필요한 열린 영역임을 지적합니다.