Shop-R1: Rewarding LLMs to Simulate Human Behavior in Online Shopping via Reinforcement Learning

1. 문제 정의 (Problem Statement)

대형 언어 모델 (LLM) 은 웹 환경에서 인간과 유사한 행동을 생성하는 잠재력을 보여주었으나, 기존 접근 방식에는 한계가 존재합니다.

• 기존 접근법의 한계: 제로샷 프롬프팅 (Zero-shot prompting) 은 개인화와 적응력이 부족하며, 기존 연구에서 사용된 합성 데이터 증강 (SFT) 방식은 생성된 논리 (rationale) 의 품질과 다양성이 이를 생성한 LLM 의 능력에 의해 제한받는 문제가 있습니다.
• 목표: 온라인 쇼핑 환경에서 실제 인간의 행동을 고도화 (High-fidelity) 하여 시뮬레이션하는 것입니다. 이는 단순히 태스크 완료 (Task completion) 를 넘어, 사용자의 의도가 명시되지 않은 상황에서도 실제 사용자가 어떻게 행동할지 확률적 분포를 학습하는 것을 의미합니다.
• 도전 과제: 웹 페이지의 동적 구조 이해, 장거리 행동 역사 (Long-horizon action history) 통합, 그리고 다음 행동을 위한 타당한 논리 추론을 동시에 수행해야 하며, 이는 희소하고 지연된 보상 신호를 가진 강화학습 (RL) 환경에서 특히 어렵습니다.

2. 방법론 (Methodology: Shop-R1)

저자들은 Shop-R1이라는 새로운 강화학습 (RL) 프레임워크를 제안하며, 인간 행동 시뮬레이션 작업을 **논리 생성 (Rationale Generation)**과 **행동 예측 (Action Prediction)**의 두 단계로 분해하고 각각에 맞춤형 보상 신호를 적용합니다.

A. 초기화: 지도 미세 조정 (SFT Cold Start)

• RL 학습 전, Claude 3.5 Sonnet 으로 생성된 논리와 행동 쌍을 사용하여 모델을 초기화합니다.
• 이는 모델이 '문맥 $\rightarrow$ 논리 $\rightarrow$ 행동'의 구조적 의존성을 학습하고, 긴 텍스트 (버튼 이름, 검색어 등) 의 형태를 파악하도록 돕는 '콜드 스타트' 역할을 하여 RL 의 안정성을 높입니다.

B. Shop-R1 의 핵심 보상 설계 (Hybrid Reward Design)

Shop-R1 은 모델의 출력을 네 가지 관점에서 평가하는 계층적 보상 구조를 사용합니다.

1. 형식 보상 (Format Reward):
   • 모델이 파싱 가능한 JSON 형식으로 응답할 때만 보상을 부여합니다. 이는 하류 평가의 신뢰성을 보장하고 reward hacking 을 방지합니다.
2. 논리 생성 보상 (Rationale Reward - Self-Certainty):
   • 실제 인간의 논리에 대한 정답 (Ground-truth) 을 얻기 어렵다는 점을 고려하여, 자기 확신 (Self-certainty) 신호를 사용합니다.
   • 모델이 생성한 논리의 확률 분포와 균일 분포 간의 KL 발산 (KL Divergence) 을 계산하여, 모델이 자신의 추론에 얼마나 확신하는지를 측정하고 이를 보상으로 활용합니다.
3. 행동 예측 보상 (Action Prediction Reward - Hierarchical & Difficulty-Aware):
   • 계층적 보상: 행동 유형 (Action Type) 과 세부 하위 행동 (Sub-action, 예: 클릭할 버튼 이름, 입력할 텍스트) 을 분리하여 평가합니다.
     • terminate (종료): 행동 유형만 평가.
     • click: 행동 유형 + 클릭 대상 (Name) 평가.
     • type_and_submit: 행동 유형 + 입력 텍스트 (Text) 평가.
   • 난이도 인식 보상 스케일링 (DARS, Difficulty-Aware Reward Scaling):
     • 복잡한 행동 (긴 텍스트 생성 등) 에는 더 높은 가중치를 부여하여, 모델이 쉬운 행동 (예: 무조건 종료) 만 반복하는 '보상 해킹 (Reward Hacking)'을 방지합니다.
     • 텍스트 유사도 (ROUGE-L) 가 임계값을 넘을 때만 보상을 부여하며, 난이도에 따라 보상을 증폭시킵니다.

C. 최적화 목표

모델은 다음과 같은 목적 함수를 최대화하도록 학습됩니다:
$$\max_{\pi_\theta} \mathbb{E}_{r,a \sim \pi_\theta(q)} [v(a) + \alpha s(r) - \beta \text{KL}(\pi_\theta \parallel \pi_{\text{ref}})]$$
여기서 $v(a)$는 행동 예측 보상, $s(r)$은 논리 생성의 자기 확신 점수이며, KL 발산 항은 참조 정책 (SFT 모델) 으로부터의 편차를 규제합니다.

3. 주요 기여 (Key Contributions)

1. RL 기반 인간 행동 시뮬레이션의 선구적 적용: 웹 쇼핑 환경에서 인간 행동 모델링을 위해 RL 을 도입한 최초의 연구 중 하나입니다. 논리 생성과 행동 예측을 분리하여 각각 다른 RL 목표를 설정했습니다.
2. 하이브리드 보상 프레임워크 (Shop-R1):
   • 논리 생성에는 정답이 없는 상황을 해결하기 위한 자기 확신 (Self-certainty) 신호를 도입했습니다.
   • 행동 예측에는 계층적 보상과 **난이도 인식 스케일링 (DARS)**을 결합하여 reward hacking 을 방지하고 세밀한 행동 정확도를 높였습니다.
3. 성능 향상 및 검증: 기존 SFT 기반 방법론 대비 65% 이상의 상대적 개선을 달성했으며, 각 구성 요소의 기여도를 분석하는 광범위한 실험을 수행했습니다.

4. 실험 결과 (Experimental Results)

• 데이터셋: SHOP-CART (52,137 개의 실제 쇼핑 세션) 를 사용하며, Qwen-2.5-3B-Instruct 모델을 베이스로 합니다.
• 성능 비교:
  • Shop-R1: **27.72%**의 정밀 일치 (Exact Match) 정확도를 기록했습니다.
  • SFT (Supervised Fine-Tuning): 16.76% 정확도.
  • SFT + RL (Binary Reward): 16.55% 정확도 (이진 보상만으로는 성능이 떨어지거나 정체됨).
  • Zero-shot: 0.32% 정확도.
• 결과 분석:
  • Shop-R1 은 단순한 행동 유형 분류뿐만 아니라, 긴 텍스트 (버튼 이름, 검색어) 를 정확하게 생성하는 능력에서도 크게 향상되었습니다.
  • Ablation Study: SFT 초기화, 형식 보상, 논리 보상, 난이도 인식 스케일링 중 어떤 요소가 제거되더라도 성능이 급격히 하락하여, 모든 구성 요소가 필수적임을 입증했습니다.
  • 모델 크기: 3B 모델이 가장 높은 성능을 보였으나, 0.5B 모델도 Shop-R1 을 통해 27.72% 의 정확도를 달성했으나, 이는 주로 쉬운 '종료 (terminate)' 행동을 과도하게 예측하여 달성된 것이므로 모델 크기가 클수록 복잡한 행동의 다양성이 보장됨을 확인했습니다.

5. 의의 및 결론 (Significance)

• 기술적 의의: 기존 RLHF(인간 피드백 기반) 의 확장성 한계와 단순 이진 보상의 비효율성을 극복했습니다. 정답이 명확하지 않은 자연어 기반 의사결정 (논리 생성) 과 정답이 명확한 행동 예측을 통합적으로 학습할 수 있는 새로운 패러다임을 제시했습니다.
• 실용적 가치: 전자상거래, 교육, 소셜 컴퓨팅 등 다양한 분야에서 실제 사용자와 유사한 가상 사용자 (Virtual User) 를 생성하여 시스템 테스트, 개인화 추천, UX 연구 등에 활용할 수 있는 고도화된 시뮬레이션 도구를 제공합니다.
• 미래 전망: 구조화된 RL 프레임워크를 통해 언어 에이전트가 해석 가능하고, 고도화된 인간 행동을 시뮬레이션할 수 있음을 입증하여, 보다 현실적인 대화형 시스템 개발의 기반을 마련했습니다.

요약하자면, Shop-R1은 LLM 이 온라인 쇼핑 환경에서 인간처럼 행동하도록 하기 위해, 논리 추론의 자기 확신과 행동의 난이도에 따른 계층적 보상을 결합한 혁신적인 강화학습 프레임워크를 제시하여 기존 방법론을 압도하는 성능을 달성한 연구입니다.