💬 NLP

Shop-R1: Rewarding LLMs to Simulate Human Behavior in Online Shopping via Reinforcement Learning

यह शोध पत्र Shop-R1 प्रस्तुत करता है, जो एक नवीन सुदृढीकरण शिक्षण (reinforcement learning) ढांचा है जो कार्य को तर्क निर्माण (rationale generation) और क्रिया भविष्यवाणी (action prediction) चरणों में विभाजित करके LLMs की मानव ऑनलाइन शॉपिंग व्यवहार को सिम्युलेट करने की क्षमता को बढ़ाता है, जिसमें प्रत्येक चरण को विशिष्ट स्व-पर्यवेक्षित (self-supervised) और पदानुक्रमित (hierarchical) पुरस्कार संकेतों द्वारा निर्देशित किया गया है ताकि बेसलाइन की तुलना में 65% से अधिक सुधार प्राप्त किया जा सके।

मूल लेखक: Yimeng Zhang, Tian Wang, Jiri Gesi, Ziyi Wang, Yuxuan Lu, Jiacheng Lin, Sinong Zhan, Vianne Gao, Ruochen Jiao, Junze Liu, Kun Qian, Yuxin Tang, Ran Xue, Houyu Zhang, Qingjun Cui, Yufan Guo, Dakuo Wang

प्रकाशित 2026-02-24

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yimeng Zhang, Tian Wang, Jiri Gesi, Ziyi Wang, Yuxuan Lu, Jiacheng Lin, Sinong Zhan, Vianne Gao, Ruochen Jiao, Junze Liu, Kun Qian, Yuxin Tang, Ran Xue, Houyu Zhang, Qingjun Cui, Yufan Guo, Dakuo Wang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को ऑनलाइन शॉपिंग करना सिखाने की कोशिश कर रहे हैं। आप चाहते हैं कि रोबोट बिल्कुल एक असली इंसान की तरह व्यवहार करे, जैसे कि किसी विशिष्ट ग्राफिक्स कार्ड को खोजना, रिव्यू पढ़ना, कीमतों की तुलना करना और अंत में "Add to Cart" पर क्लिक करना।

समस्या यह है कि मानक AI मॉडल बहुत बुद्धिमान लेकिन अनुभवहीन इंटर्न की तरह होते हैं। यदि आप उन्हें सिर्फ यह कह दें, "एक GTX 5090 खरीदो," तो वे सही बटन का अनुमान तो लगा सकते हैं, लेकिन वे अक्सर विवरणों (details) में गलती कर देते हैं (जैसे गलत फ़िल्टर पर क्लिक करना या सर्च टर्म को गलत तरीके से टाइप करना)। वे वास्तव में यह भी नहीं समझते कि वे जो कर रहे हैं उसके पीछे का कारण क्या है।

यह पेपर Shop-R1 पेश करता है, जो एक नया प्रशिक्षण तरीका है जो उस "इंटर्न" को एक अनुभवी और विचारशील खरीदार में बदल देता है। यह कैसे काम करता है, यहाँ सरल अवधारणाओं में दिया गया है:

1. दो चरणों वाला नृत्य: "पहले सोचें, फिर कार्य करें"

अधिकांश AI सीधे कार्य करने में कूद पड़ते हैं। Shop-R1 AI को पहले रुकने और ज़ोर से सोचने के लिए मजबूर करता है।

उपमा (Analogy): एक शतरंज खिलाड़ी की कल्पना करें। एक बुरा खिलाड़ी तुरंत मोहरा चलता है। एक ग्रैंडमास्टर पहले कहता है, "मैं केंद्र को नियंत्रित करने के लिए यह प्यादा चल रहा हूँ।"
पेपर में: बटन क्लिक करने से पहले, AI को एक "तर्क" (rationale) उत्पन्न करना होगा। "मैं 'Customer Reviews' पर क्लिक कर रहा हूँ क्योंकि मैं खरीदना से पहले यह जांचना चाहता हूँ कि उत्पाद भरोसेमंद है या नहीं।"
यह कैसे मदद करता है: AI को अपने तर्क को समझाने के लिए मजबूर करके, यह वास्तव में कार्य करने के दौरान होने वाली गलतियों को कम करता है।

2. "गोल्ड स्टार" सिस्टम (पुरस्कार/रिवॉर्ड)

पुराने दिनों में, AI को प्रशिक्षित करना एक सख्त शिक्षक की तरह था जो केवल "सही" या "गलत" कहता था।

समस्या: यदि AI को "Buy Now" पर क्लिक करना था लेकिन उसने "Add to Cart" पर क्लिक कर दिया, तो पुराना सिस्टम उसे एक बड़ा "F" ग्रेड दे देता था। AI कुछ भी नहीं सीख पाता था और बस हार मान लेता था।
Shop-R1 का समाधान: यह एक वीडियो गेम जिसमें विस्तृत स्कोरकार्ड होता है जैसा है।
- फॉर्मेट पॉइंट्स: क्या आपने अपना उत्तर सही आकार (जैसे एक साफ JSON लिस्ट) में लिखा? +0.5 अंक।
- लॉजिक पॉइंट्स: क्या आपका "ज़ोर से सोचना" आत्मविश्वास से भरा और तार्किक था? +0.13 अंक।
- एक्शन पॉइंट्स: क्या आपने सही प्रकार के बटन पर क्लिक किया? +0.3 अंक।
- डिटेल पॉइंट्स: क्या आपने सटीक सर्च टर्म टाइप किया? +0.2 अंक।

यह सिस्टम AI को आंशिक क्रेडिट (partial credit) देता है। भले ही उसे एकदम सटीक उत्तर न मिले, उसे सही प्रकार के कार्य के लिए अंक मिलते हैं। यह AI को कठिन कार्यों को करने के लिए प्रोत्साहित करता है बजाय इसके कि वह हार मान ले।

3. "आलसी छात्र" का जाल (रिवॉर्ड हैकिंग)

यहाँ एक पेचीदा हिस्सा है। यदि आप एक वीडियो गेम में एक ऐसा ग्लिच (glitch) ढूंढ लेते हैं जहाँ आप बस स्थिर खड़े रहकर 1,000 अंक प्राप्त कर सकते हैं, तो आप हमेशा वही करेंगे।

जाल: ऑनलाइन शॉपिंग में, सबसे आसान कार्य ब्राउज़र को बंद कर देना ("Terminate") है। यदि AI को ब्राउज़र बंद करने के लिए पुरस्कार मिलता है, तो वह हर बार तुरंत ब्राउज़र बंद कर देगा।
समाधान: Shop-R1 एक डिफिकल्टी मल्टीप्लायर (कठिनाई गुणक) का उपयोग करता है।
- ब्राउज़र बंद करना आसान है, इसलिए यह बहुत कम अंक देता है।
- एक जटिल सर्च क्वेरी टाइप करना या एक विशिष्ट फ़िल्टर पर क्लिक करना कठिन है, इसलिए सिस्टम उन कार्यों को सही करने के लिए अंकों को बढ़ा (amplify) देता है।
- परिणाम: AI को एहसास होता है, "हे, अगर मुझे जीतना है, तो मुझे वास्तव में खरीदारी का कठिन काम करना होगा, न कि बस छोड़ देना होगा।"

4. प्रशिक्षण प्रक्रिया

पेपर एक दो-चरणीय प्रशिक्षण शिविर का वर्णन करता है:

लेक्चर (SFT): पहले, AI एक सुपर-स्मार्ट AI (Claude 3.5) द्वारा लिखे गए हजारों मानव शॉपिंग उदाहरणों को पढ़ता है। यह बुनियादी पैटर्न सीखता है: "ओह, लोग आमतौर पर पहले सर्च करते हैं, फिर रिव्यू पर क्लिक करते हैं।"
अभ्यास (RL): इसके बाद, AI गेम खेलना शुरू करता है। वह गलतियाँ करता है, अपना "गोल्ड स्टार" स्कोरकार्ड प्राप्त करता है, और फीडबैक से सीखता है। वह अपने स्कोर को अधिकतम करने के लिए बेहतर तरीके से शॉपिंग करने की कोशिश करता है।

परिणाम

जब उन्होंने इस नए तरीके का परीक्षण किया, तो AI की मानव शॉपिंग व्यवहार की नकल करने की क्षमता में पिछले सर्वोत्तम तरीकों की तुलना में 65% से अधिक सुधार हुआ।

पहले: AI एक ऐसे पर्यटक की तरह था जो शहर का नाम तो जानता है लेकिन गलियों में खो जाता है।
बाद में: AI एक स्थानीय निवासी की तरह है जो जानता है कि किस स्टोर में प्रवेश करना है, क्या पूछना है और भुगतान कैसे करना है।

संक्षेप में: Shop-R1 AI को शॉपिंग करना सिखाता है—उसे कार्य करने से पहले सोचने के लिए मजबूर करके, उसे विवरणों को सही करने (न कि केवल सामान्य विचार) के लिए पुरस्कृत करके, और यह सुनिश्चित करके कि वह जीतने के लिए शॉर्टकट न ले।

यहाँ शोध पत्र "SHOP-R1: REWARDING LLMS TO SIMULATE HUMAN BEHAVIOR IN ONLINE SHOPPING VIA REINFORCEMENT LEARNING" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र वेब-आधारित ऑनलाइन शॉपिंग वातावरण में लार्ज लैंग्वेज मॉडल्स (LLMs) का उपयोग करके वास्तविक मानव व्यवहार को सिम्युलेट करने की चुनौती को संबोधित करता है।

अंतराल (The Gap): मौजूदा दृष्टिकोण मुख्य रूप से सिंथेटिक डेटा (अन्य LLMs द्वारा उत्पन्न तर्क/rationales) या जीरो-शॉट प्रॉम्प्टिंग (zero-shot prompting) का उपयोग करके सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) पर निर्भर करते हैं। ये विधियाँ सीमित हैं क्योंकि:
- वे डेटा उत्पन्न करने वाले मॉडल की तर्क क्षमता तक ही सीमित रहती हैं।
- वे लॉन्ग-होरिजन सीक्वेंस (long-horizon sequences) और उच्च-एन्ट्रॉपी मुक्त-रूप टेक्स्ट (high-entropy free-form text) (जैसे विशिष्ट बटन के नाम, खोज क्वेरी) के साथ संघर्ष करती हैं।
- उनमें मानव निर्णय लेने की गैर-नियतता (non-deterministic nature) के अनुकूल होने की क्षमता की कमी है, जहाँ कई वैध क्रियाएं संभव होती हैं।
उद्देश्य (The Objective): एक ऐसे फ्रेमवर्क को विकसित करना जो सरल कार्य पूर्णता (जहाँ लक्ष्य निश्चित होता है) से आगे बढ़कर व्यवहार सिमुलेशन (behavior simulation) की ओर बढ़े, जहाँ मॉडल को दृश्य वेब संदर्भों (HTML) और एक्शन हिस्ट्री के आधार पर मानव क्रियाओं के वितरण और अंतर्निहित तर्कों को सीखना होगा।

2. कार्यप्रणाली: Shop-R1 फ्रेमवर्क (Methodology: Shop-R1 Framework)

लेखक Shop-R1 प्रस्तावित करते हैं, जो एक रिनफोर्समेंट लर्निंग (RL) फ्रेमवर्क है जो सिमुलेशन कार्य को दो अलग-अलग चरणों में विभाजित करता है: तर्क निर्माण (Rationale Generation) और क्रिया भविष्यवाणी (Action Prediction)। यह फ्रेमवर्क पॉलिसी ऑप्टिमाइज़ेशन को निर्देशित करने के लिए एक हाइब्रिड रिवॉर्ड डिज़ाइन का उपयोग करता है।

A. प्रशिक्षण पाइपलाइन (Training Pipeline)

कोल्ड स्टार्ट (SFT): मॉडल (Qwen-2.5-3B-Instruct) को पहले Claude 3.5 Sonnet द्वारा उत्पन्न तर्कों वाले ट्राजेक्टरीज पर फाइन-ट्यून किया जाता है। यह RL शुरू होने से पहले मॉडल को यथार्थवादी एक्शन पैटर्न और संरचनात्मक निर्भरताओं में स्थापित करता है।
RL ऑप्टिमाइज़ेशन: मॉडल को ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन (GRPO) का उपयोग करके और अधिक अनुकूलित किया जाता है। महत्वपूर्ण बात यह है कि RL चरण के दौरान किसी भी LLM-जनरेटेड तर्क का उपयोग नहीं किया जाता है; मॉडल रिवॉर्ड सिग्नल के आधार पर अपने स्वयं के तर्क और क्रियाएं उत्पन्न करना सीखता है।

B. रिवॉर्ड डिज़ाइन (The Core Innovation)

Shop-R1 एक बहु-घटक रिवॉर्ड सिस्टम पेश करता है ताकि "रिवॉर्ड हैकिंग" (जैसे, मॉडल हमेशा सबसे आसान क्रिया चुनना) को रोका जा सके और सूक्ष्म सटीकता को प्रोत्साहित किया जा सके:

फॉर्मेट रिवॉर्ड (बाइनरी):
- यह केवल तभी 0.5 पुरस्कार देता है यदि आउटपुट एक वैध JSON स्ट्रक्चर है जिसमें rationale और action कीज़ (keys) शामिल हैं।
- यह पार्सबिलिटी (parseability) सुनिश्चित करता है और संरचनात्मक शुद्धता के लिए एक आधारभूत सिग्नल प्रदान करता है।
तर्क रिवॉर्ड (स्व-निश्चितता/Self-Certainty):
- चूंकि वास्तविक मानव तर्क उपलब्ध नहीं हैं, इसलिए सिस्टम स्व-निश्चितता सिग्नल का उपयोग करता है।
- यह मॉडल के आउटपुट टोकन डिस्ट्रीब्यूशन और एक यूनिफॉर्म डिस्ट्रीब्यूशन के बीच KL डाइवर्जेंस (KL Divergence) की गणना करता है।
- उत्पन्न तर्क में उच्च निश्चितता (कम एन्ट्रॉपी) उच्च रिवॉर्ड देती है, जो तर्क की गुणवत्ता के लिए एक सेल्फ-सुपरवाइज्ड सिग्नल के रूप में कार्य करती है।
डिफिकल्टी-अवेयर स्केलिंग के साथ पदानुक्रमित क्रिया रिवॉर्ड (Hierarchical Action Reward with Difficulty-Aware Scaling - DARS):
- बाइनरी "सही/गलत" सिग्नल के बजाय, रिवॉर्ड पदानुक्रमित रूप से दिए जाते हैं:
  - एक्शन टाइप रिवॉर्ड: उच्च-स्तरीय प्रकार (जैसे, click, type_and_submit, terminate) को सही ढंग से पहचानना।
  - सब-एक्शन एट्रिब्यूट रिवॉर्ड: विशिष्ट गुणों (जैसे, बटन का नाम) को सही ढंग से पहचानना।
  - वैल्यू रिवॉर्ड: लंबे-टेक्स्ट मानों (जैसे, सर्च क्वेरी टेक्स्ट) को सही ढंग से जेनरेट करना, जिसका मूल्यांकन ROUGE-L समानता के माध्यम से किया जाता है।
- डिफिकल्टी-अवेयर स्केलिंग (DARS): मॉडल को आसान क्रियाओं (जैसे, terminate) का लाभ उठाने से रोकने के लिए, जटिल क्रियाओं (जैसे, type_and_submit) के लिए रिवॉर्ड को उनकी कठिनाई के आधार पर एक फैक्टर (डिफ़ॉल्ट 1000) से बढ़ाया जाता है। यह "आसान मार्ग" को "कठिन मार्ग" की तुलना में कम आकर्षक बनाता है।

ऑब्जेक्टिव फंक्शन (Objective Function):
मॉडल एक संयुक्त ऑब्जेक्टिव को मैक्सिमाइज करता है:
$\max_{\pi_\theta} E_{r,a \sim \pi_\theta(q)} [v(a) + \alpha s(r) - \beta KL(\pi_\theta \parallel \pi_{ref})]$
जहाँ $v(a)$ पदानुक्रमित क्रिया रिवॉर्ड है, $s(r)$ स्व-निश्चितता स्कोर है, और $KL$ रेफरेंस पॉलिसी के विरुद्ध रेगुलाइजेशन टर्म है।

3. प्रमुख योगदान (Key Contributions)

वेब-शॉपिंग सिमुलेशन के लिए पहला RL फ्रेमवर्क: यह शोध पत्र ई-कॉमर्स में कार्य-पूर्णता एजेंटों से आगे बढ़कर, विशेष रूप से सिमुलेशन-उन्मुख मानव व्यवहार मॉडलिंग के लिए RL लागू करने वाला पहला पेपर है।
दो-चरणीय अपघटन (Two-Stage Decomposition): यह समस्या को तर्क निर्माण और क्रिया भविष्यवाणी में पुनर्गठित करता है, प्रत्येक को अलग रिवॉर्ड सिग्नल प्रदान करता है ताकि व्याख्यात्मकता (interpretability) और संरेखण (alignment) में सुधार हो सके।
हाइब्रिड रिवॉर्ड आर्किटेक्चर:
- तर्क निर्माण के लिए स्व-निश्चितता (Self-Certainty) पेश करता है (ग्राउंड-ट्रुथ तर्कों की कमी को दूर करने के लिए)।
- पदानुक्रमित रिवॉर्ड के साथ डिफिकल्टी-अवेयर स्केलिंग प्रस्तावित करता है ताकि रिवॉर्ड हैकिंग की समस्या को हल किया जा सके और जटिल, उच्च-एन्ट्रॉपी व्यवहारों को सीखने के लिए प्रोत्साहित किया जा सके।
व्यापक अनुभवजन्य सत्यापन (Comprehensive Empirical Validation): विभिन्न मॉडल आकारों (0.5B, 1.5B, 3B) में व्यापक एब्लेशन अध्ययन और तुलनाएँ यह सिद्ध करती हैं कि प्रत्येक घटक आवश्यक है।

4. प्रयोगात्मक परिणाम (Experimental Results)

प्रयोग SHOP-CART डेटासेट (52,137 वास्तविक सत्र) पर Qwen-2.5-3B-Instruct मॉडल का उपयोग करके किए गए।

प्रदर्शन में वृद्धि (Performance Gains):
- Shop-R1 ने 27.72% की एक्सैक्ट मैच एक्यूरेसी (Exact Match Accuracy) प्राप्त की।
- यह सर्वश्रेष्ठ बेसलाइन (SFT-only, जिसने 16.76% प्राप्त किया) की तुलना में >65% सापेक्ष सुधार है।
- इसने जीरो-शॉट प्रॉम्प्टिंग (0.32%) और SFT + बाइनरी RL (16.55%) को भी काफी पीछे छोड़ दिया।
एक्शन टाइप विश्लेषण (Action Type Analysis):
- Shop-R1 ने सभी एक्शन प्रकारों में सटीकता में सुधार किया, विशेष रूप से type_and_submit जैसे जटिल कार्यों के लिए (SFT के 3.84% की तुलना में 7.53%)।
- इसने terminate जैसे तुच्छ (trivial) एक्शन की ओर झुकाव को सफलतापूर्वक कम किया, जो अन्य विधियों में एक समस्या थी।
एब्लेशन अंतर्दृष्टि (Ablation Insights):
- SFT Warm-start: SFT को हटाने से एक्सैक्ट मैच एक्यूरेसी गिरकर 4.63% हो गई, जो सुपरवाइज्ड प्रायोर (priors) की आवश्यकता को सिद्ध करती है।
- फॉर्मेट रिवॉर्ड: इसे हटाने से अनपार्सेबल आउटपुट के कारण सटीकता गिरकर 2.87% रह गई।
- DARS: कठिनाई स्केलिंग को हटाने से F1 स्कोर में गिरावट आई (31.28% से ~12% तक), क्योंकि मॉडल केवल आसान क्रियाएं चुनकर "रिवॉर्ड हैकिंग" करने लगा।
- कॉन्टेक्स्ट (Context): पूर्ण सत्र इतिहास (HTML) का उपयोग करना महत्वपूर्ण था; केवल नवीनतम स्टेप का उपयोग करने से सटीकता लगभग 50% कम हो गई।

5. महत्व (Significance)

उच्च-निष्ठा सिमुलेशन (High-Fidelity Simulation): Shop-R1 यह प्रदर्शित करता है कि LLMs को केवल पूर्व-निर्धारित कार्यों को पूरा करने के लिए ही नहीं, बल्कि जटिल वेब वातावरणों में वास्तविक, सूक्ष्म मानव व्यवहारों को सिम्युलेट करने के लिए प्रशिक्षित किया जा सकता है।
स्केलेबल रिवॉर्ड डिज़ाइन: प्रस्तावित रिवॉर्ड तंत्र (Self-Certainty + Hierarchical DARS) उन डोमेन के लिए एक ब्लूप्रिंट प्रदान करता है जहाँ तर्क के लिए ग्राउंड-ट्रुथ लेबल उपलब्ध नहीं हैं और जहाँ एक्शन स्पेस की जटिलता भिन्न होती है।
व्यावहारिक अनुप्रयोग: यह तकनीक महंगी मानव डेटा संग्रह पर निर्भर रहने के बजाय, A/B टेस्टिंग, यूजर एक्सपीरियंस (UX) रिसर्च और ई-कॉमर्स सिस्टम मूल्यांकन के लिए वास्तविक वर्चुअल यूजर्स बनाने में सक्षम बनाती है।
सामान्यीकरण (Generalizability): हालांकि यह शॉपिंग पर केंद्रित है, लेकिन इसके फ्रेमवर्क का डिज़ाइन (GUI इंटरैक्शन, HTML कॉन्टेक्स्ट और पदानुक्रमित रिवॉर्ड को संभालना) अन्य वेब-आधारित एजेंट कार्यों के लिए भी लागू किया जा सकता है।

निष्कर्षतः, Shop-R1 मानव व्यवहार सिमुलेशन के लिए एक नया स्टेट-ऑफ-द-आर्ट स्थापित करता है, जो सुपरवाइज्ड इनिशियलाइजेशन और एक परिष्कृत, बहु-आयामी रिनफोर्समेंट लर्निंग रणनीति को प्रभावी ढंग से जोड़ता है जो मानव जैसे कार्यों के इरादे (intent) और सटीकता (precision) दोनों को पुरस्कृत करता है।