💬 NLP

Shop-R1: Rewarding LLMs to Simulate Human Behavior in Online Shopping via Reinforcement Learning

تقدم هذه الورقة Shop-R1، وهو إطار عمل جديد للتعلم التعزيزي يعزز قدرة النماذج اللغوية الكبيرة على محاكاة سلوك التسوق عبر الإنترنت البشري من خلال تفكيك المهمة إلى مرحلتي توليد المبررات وتوقع الإجراءات، حيث يتم توجيه كل منهما عبر إشارات مكافأة متميزة ذاتية الإشراف وهرمية لتحقيق تحسن يزيد عن 65% مقارنة بالنماذج المرجعية.

المؤلفون الأصليون: Yimeng Zhang, Tian Wang, Jiri Gesi, Ziyi Wang, Yuxuan Lu, Jiacheng Lin, Sinong Zhan, Vianne Gao, Ruochen Jiao, Junze Liu, Kun Qian, Yuxin Tang, Ran Xue, Houyu Zhang, Qingjun Cui, Yufan Guo, Dakuo Wang

نُشر 2026-02-24

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yimeng Zhang, Tian Wang, Jiri Gesi, Ziyi Wang, Yuxuan Lu, Jiacheng Lin, Sinong Zhan, Vianne Gao, Ruochen Jiao, Junze Liu, Kun Qian, Yuxin Tang, Ran Xue, Houyu Zhang, Qingjun Cui, Yufan Guo, Dakuo Wang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت كيفية التسوق عبر الإنترنت. تريد من الروبوت أن يتصرف تماماً مثل البشر الحقيقيين: يبحث عن بطاقة رسوميات (graphics card) محددة، يقرأ المراجعات، يقارن الأسعار، وفي النهاية ينقر على "إضافة إلى السلة".

المشكلة هي أن نماذج الذكاء الاصطناعي القياسية تشبه متدربين أذكياء جداً ولكنهم يفتقرون للخبرة. إذا قلت لهم فقط: "اذهب واشترِ GTX 5090"، فقد يخمنون الزر الصحيح للنقر عليه، لكنهم غالباً ما يخطئون في التفاصيل (مثل النقر على الفلتر الخاطئ أو كتابة مصطلح البحث بشكل غير صحيح). كما أنهم لا يفهمون حقاً "لماذا" يقومون بما يفعلونه.

تقدم هذه الورقة البحثية Shop-R1، وهي طريقة تدريب جديدة تحول هذا "المتدرب" إلى متسوق خبير ومتأنٍ. وإليك كيف يعمل ذلك، مقسماً إلى مفاهيم بسيطة:

1. الرقصة ذات الخطوتين: "فكر، ثم افعل"

معظم أنظمة الذكاء الاصطناعي تقفز مباشرة إلى الفعل. أما Shop-R1 فيجبر الذكاء الاصطناعي على التوقف والتفكير بصوت عالٍ أولاً.

التشبيه: تخيل لاعب شطرنج. اللاعب السيئ يحرك القطعة فوراً. أما اللاعب المحترف فيقول أولاً: "أنا أحرك هذه البيدق للسيطرة على المركز".
في الورقة البحثية: قبل أن ينقر الذكاء الاصطناعي على زر ما، يجب عليه توليد "تعليل" (سبب). "أنا أنقر على 'مراجعات العملاء' لأنني أريد التحقق مما إذا كان المنتج موثوقاً قبل الشراء".
لماذا يساعد ذلك: من خلال إجباره على شرح منطقه، فإنه يرتكب أخطاء أقل عند تنفيذ الإجراء الفعلي.

2. نظام "النجمة الذهبية" (المكافأة)

في الأيام الخوالي، كان تدريب الذكاء الاصطناعي يشبه معلماً صارماً لا يقول سوى "صح" أو "خطأ".

المشكلة: إذا كان من المفترض أن ينقر الذكاء الاصطناعي على "اشتري الآن" ولكنه نقر على "أضف إلى السلة"، فإن النظام القديم يعطيه درجة "F" كبيرة. هنا لا يتعلم الذكاء الاصطنا anything (أي شيء) ويستسلم فحسب.
حل Shop-R1: هذا يشبه لعبة فيديو ذات لوحة نتائج تفصيلية.
- نقاط التنسيق: هل كتبت إجابتك بالشكل الصحيح (مثل قائمة JSON مرتبة)؟ +0.5 نقطة.
- نقاط المنطق: هل بدا "تفكيرك بصوت عالٍ" واثقاً ومنطقياً؟ +0.13 نقطة.
- نقاط الإجراء: هل نقرت على نوع الزر الصحيح؟ +0.3 نقطة.
- نقاط التفاصيل: هل كتبت مصطلح البحث بدقة؟ +0.2 نقطة.

هذا النظام يعطي الذكاء الاصطناعي درجات جزئية. حتى لو لم يحصل على الإجابة المثالية، فإنه يحصل على نقاط مقابل محاولة القيام بالنوع الصحيح من الإجراءات. هذا يشجع الذكاء الاصطناعي على الاستمرار في محاولة المهام الأصعب بدلاً من الاستسلام.

3. فخ "الطالب الكسول" (تلاعب بالمكافأة - Reward Hacking)

هنا يكم Mad (جزء مخادع). في ألعاب الفيديو، إذا وجدت ثغرة تمكنك من الحصول على 1,000 نقطة بمجرد الوقوف ساكناً، فستفعل ذلك للأبد.

الفخ: في التسوق عبر الإنترنت، أسهل إجراء هو مجرد إغلاق المتصفح ("إنهاء"). إذا حصل الذكاء الاصطناعي على مكافأة لإغلاق المتصفح، فسيقوم بإغلاقه فوراً في كل مرة.
الحل: يستخدم Shop-R1 مضاعف الصعوبة.
- إغلاق المتصفح أمر سهل، لذا يعطي نقاطاً قليلة جداً.
- كتابة استعلام بحث معقد أو النقر على فلتر محدد هو أمر صعب، لذا يقوم النظام بتضخيم النقاط للحصول على هذه المهام بشكل صحيح.
- النتيجة: يدرك الذكاء الاصطناائي: "مهلاً، إذا أردت الفوز، عليّ فعلياً القيام بالعمل الشاق المتمثل في التسوق، وليس مجرد الاستقالة".

4. عملية التدريب

تصف الورقة البحثية معسكراً تدريبياً من مرحلتين:

المحاضرة (SFT): أولاً، يقرأ الذكاء الاصطناعي آلاف الأمثلة لعمليات تسوق قام بها بشر، مكتوبة بواسطة ذكاء اصطناعي فائق الذكاء (Claude 3.5). يتعلم الأنماط الأساسية: "أوه، الناس عادةً ما يبحثون أولاً، ثم ينقرون على المراجعات".
الممارسة (RL): بعد ذلك، يبدأ الذكاء الاصطناعي في اللعب. يرتكب الأخطاء، يحصل على لوحة "النجمة الذهبية"، ويتعلم من التغذية الراجعة. يحاول تعظيم درجاته من خلال اكتشاف أفضل طريقة للتسوق.

النتيجة

عندما اختبروا هذه الطريقة الجديدة، تحسنت قدرة الذكاء الاصطناعي على محاكاة سلوك التسوق البشري بنسبة تزيد عن 65% مقارنة بأفضل الطرق السابقة.

قبل: كان الذكاء الاصطناعي مثل سائح يعرف اسم المدينة ولكنه يضيع في شوارعها.
بعد: أصبح الذكاء الاصطناعي مثل شخص محلي يعرف بالضبط أي متجر يدخل، وماذا يطلب، وكيف يدفع.

باخت-القول: يعلم Shop-R1 الذكاء الاصطناعي كيفية التسوق من خلال إجباره على التفكير قبل التصرف، ومكافأته على ضبط التفاصيل (ليس فقط الفكرة العامة)، والتأكد من أنه لا يتخذ طرقاً مختصرة للفوز باللعبة.

إليك ملخص تقني مفصل لورقة البحث "SHOP-R1: REWARDING LLMS TO SIMULATE HUMAN BEHAVIOR IN ONLINE SHOPPING VIA REINFORCEMENT LEARNING".

1. بيان المشكلة

تتناول الورقة تحدي محاكاة السلوك البشري الحقيقي في بيئات التسوق عبر الإنترنت القائمة على الويب باستخدام النماذج اللغوية الكبيرة (LLMs).

الفجوة: تعتمد النهج الحالية بشكل أساسي على الضبط الدقيق الخاضع للإشراف (SFT) باستخدام بيانات اصطناعية (مبررات تم إنشاؤها بواسطة نماذج لغوية أخرى) أو التلقين بأسلوب الصفر (zero-shot prompting). وتعتبر هذه الأساليب محدودة لأنها:
- مقيدة بقدرات الاستدلال للنموذج المستخدم في توليد بيانات التدريب.
- تواجه صعوبة في التعامل مع التسلسلات طويلة المدى والنصوص حرة التشكيل عالية الإنتروبيا (مثل أسماء أزرار محددة، أو استعلامات البحث).
- تفتقر إلى القدرة على التكيف مع الطبيعة غير الحتمية لاتخاذ القرار البشري، حيث توجد إجراءات متعددة صحيحة.
الهدف: تطوير إطار عمل ينتقل من مجرد إكمال المهام (حيث يكون الهدف ثابتاً) إلى محاكاة السلوك، حيث يجب على النموذج تعلم توزيع الإجراءات البشرية والمبررات الكامنة بناءً على سياقات الويب الملحوظة (HTML) وسجل الإجراءات.

2. المنهجية: إطار عمل Shop-R1

يقترح المؤلفون Shop-R1، وهو إطار عمل للتعلم التعزيزي (RL) يقوم بتفكيك مهمة المحاكاة إلى مرحلتين متمايزتين: توليد المبررات (Rationale Generation) والتنبؤ بالإجراء (Action Prediction). يستخدم إطار العمل تصميماً هجيناً للمكافآت لتوجيه تحسين السياسة.

أ. مسار التدريب

البداية الباردة (SFT): يتم أولاً ضبط نموذج (Qwen-2.5-3B-Instruct) بدقة على مسارات تحتوي على مبررات تم إنشاؤها بواسطة Claude 3.5 Sonnet. هذا يرسخ النموذج في أنماط العمل الواقعية والتبعيات الهيكلية قبل بدء عملية التعلم التعزيزي.
تحسين التعلم التعزيزي (RL Optimization): يتم تحسين النموذج لاحقاً باستخدام تحسين السياسة النسبي للمجموعات (GRPO). ومن الأهمية بمكان أنه لا تُستخدم أي مبررات مولدة بواسطة نماذج لغوية كبيرة خلال مرحلة التعلم التعزيزي؛ بل يتعلم النموذج توليد مبرراته وإجراءاته الخاصة بناءً على إشارات المكافأة.

ب. تصميم المكافأة (الابتكار الجوهري)

يقدم Shop-R1 نظام مكافآت متعدد المكونات لمنع "اختراق المكافأة" (على سبيل المثال، اختيار النموذج دائماً لأسهل إجراء) ولتشجيع الدقة الدقيقة:

مكافأة التنسيق (ثنائية):
- تمنح 0.5 فقط إذا كان المخرج عبارة عن هيكل JSON صالح يحتوي على مفاتحي rationale و action.
- تضمن قابلية التحليل وتوفر إشارة أساسية للصحة الهيكلية.
مكافأة المبرر (اليقين الذاتي):
- بما أن المبررات البشرية الحقيقية غير متوفرة، يستخدم النظام إشارة اليقين الذاتي.
- يقوم بحساب تباعد KL (KL Divergence) بين توزيع توكنات المخرج وتوزيع موحد.
- كلما زاد اليقين (انخفاض الإنتروبيا) في المبرر المولد، حصل النموذج على مكافأة أعلى، مما يعمل كإشارة تعلم ذاتي لجودة الاستدلال.
مكافأة الإجراء الهرمية مع التدرج المدرك للصعوبة (DARS):
- بدلاً من إشارة "صحيح/خاطئ" ثنائية، يتم تخصيص المكافآت بشكل هرمي:
  - مكافأة نوع الإجراء: تحديد النوع عالي المستوى بشكل صحيح (مثل click أو type_and_submit أو terminate).
  - مكافأة سمة الإجراء الفرعي: تحديد سمات محددة بشكل صحيح (مثل اسم الزر).
  - مكافأة القيمة: توليد قيم نصية طويلة بشكل صحيح (مثل نص استعلام البحث)، ويتم تقييمها عبر تشابه ROUGE-L.
- التدرج المدرك للصعوبة (DARS): لمنع النموذج من استغلال الإجراءات السهلة (مثل terminate)، يتم رفع مكافآت الإجراءات المعقدة (مثل type_and_submit) بمعامل (الافتراضي 1000) بناءً على صعوبتها. وهذا يجعل المسار "السهل" أقل ربحية من المسار "الصعب".

دالة الهدف:
يسعى النموذج لتعظيم دالة مشتركة:
$\max_{\pi_\theta} E_{r,a \sim \pi_\theta(q)} [v(a) + \alpha s(r) - \beta KL(\pi_\theta \parallel \pi_{ref})]$
حيث $v(a)$ هي مكافأة الإجراء الهرمية، و $s(r)$ هي درجة اليقين الذاتي، و $KL$ هو حد التنظيم ضد السياسة المرجعية.

3. المساهمات الرئيسية

أول إطار عمل للتعلم التعزيزي لمحاكاة التسوق عبر الويب: تعد هذه الورقة الأولى التي تطبق التعلم التعزيزي خصيصاً لـ المحاكاة الموجهة للسلوك البشري في التجارة الإلكترونية، متجاوزةً وكلاء إكمال المهام.
التفكيك ذو المرحلتين: يعيد صياغة المشكلة إلى توليد المبررات والتنبؤ بالإجراء، مع تخصيص إشارات مكافأة متميزة لكل منهما لتحسين القابلية للتفسير والمواءمة.
بنية المكافأة الهجينة:
- تقدم اليقين الذاتي لتوليد المبررات (للتغلب على نقص المبررات الحقيقية).
- تقترح مكافأة هرمية مع تدرج مدرك للصعوبة لحل مشكلة اختراق المكافأة وتشجيع تعلم السلوكيات المعقدة وعالية الإنتروبيا.
التحقق التجريبي الشامل: تظهر دراسات الاستئصال (Ablation studies) والمقارنات الواسعة عبر أحجام نماذج مختلفة (0.5B, 1.5B, 3B) ضرورة كل مكون.

4. النتائج التجريبية

أُجريت التجارب على مجموعة بيانات SHOP-CART (52,137 جلسة واقعية) باستخدام نموذج Qwen-2.5-3B-Instruct.

مكاسب الأداء:
- حقق Shop-R1 دقة مطابقة تامة (Exact Match Accuracy) بلغت 27.72%.
- يمثل هذا تحسناً نسبياً بنسبة >65% مقارنة بأفضل خط أساس (SFT-only، الذي حقق 16.76%).
- كما تفوق بشكل كبير على التلقين بأسلوب الصفر (0.32%) وعلى (SFT + Binary RL، الذي حقق 16.55%).
تحليل نوع الإجراء:
- حسن Shop-R1 الدقة عبر جميع أنواع الإجراءات، وخاصة الإجراءات المعقدة مثل type_and_submit (7.53% مقابل 3.84% لـ SFT).
- نجح في تقليل الانحياز نحو إجراء terminate التافه، وهو ما عانى منه الآخرون.
رؤى الاستئصال (Ablation Insights):
- البداية الدافئة بـ SFT: أدى إزالة SFT إلى انخفاض دقة المطابقة التامة إلى 4.63%، مما يثبت الحاجة إلى الأولويات الموجهة.
- مكافأة التنسيق: أدى إزالتها إلى انهيار الدقة إلى 2.87% بسبب المخرجات غير القابلة للتحليل.
- DARS: أدى إزالة تدرج الصعوبة إلى انخفاض درجات F1 (من 31.28% إلى حوالي 12%)، حيث عاد النموذج إلى "اختراق المكافأة" عبر اختيار الإجراءات السهلة فقط.
- السياق: كان استخدام تاريخ الجلسة الكامل (HTML) أمراً حاسماً؛ حيث أدى استخدام الخطوة الأخيرة فقط إلى تقليل الدقة بنسبة تقارب 50%.

5. الأهمية

محاكاة عالية الدقة: يثبت Shop-R1 أن النماذج اللغوية الكبيرة يمكن تدريبها لمحاكاة سلوكيات بشرية واقعية ودقيقة في بيئات الويب المعقدة، وليس فقط لإكمال مهام محددة مسبقاً.
تصميم مكافآت قابل للتوسع: يقدم آلية المكافأة المقترحة (اليقين الذاتي + DARS الهرمي) مخططاً لتدريب وكلاء RL في المجالات التي لا تتوفر فيها تسميات (labels) حقيقية للاستدلال.
التطبيقات العملية: تتيح هذه التقنية إنشاء مستخدمين افتراضيين واقعيين لـ اختبار A/B، وأبحاث تجربة المستخدم (UX)، وتقييم أنظمة التجارة الإلكترونية دون الاعتماد على جمع البيانات البشرية المكلفة.
القابلية للتعميم: رغم التركهيز على التسوق، فإن تصميم إطار العمل (التعامل مع تفاعلات واجهة المستخدم الرسومية، سياق HTML، والمكافآت الهرمية) قابل للتطبيق على مهام الوكلاء الأخرى عبر الويب.

في الختام، يضع Shop-R1 معياراً جديداً لمحاكاة السلوك البشري من خلال الجمع الفعال بين التهيئة الخاضعة للإشراف واستراتيجية تعلم تعزيزي متطرفة ومتعددة الأوجه تكافئ كلاً من النية ودقة الإجراءات الشبيهة بالبشر.