🤖 machine learning

PageLLM: A Multi-Grained Reward Framework for Whole-Page Optimization with Large Language Models

تقدم هذه الورقة PageLLM، وهو إطار عمل للمكافأة متعدد الحبيبات يستفيد من التغذية الراجعة الضمنية للمستخدم لتحسين تماسك الصفحة الكلي (coarse page-level coherence) وتنسيق العناصر الدقيق (fine item-level placement) في آن واحد لعمليات البحث والتوصية على مستوى الصفحة الكاملة، مما يحقق تحسينات كبيرة في مقاييس التصنيف ومؤشرات الأداء الرئيسية للأعمال الإنتاجية دون الحاجة إلى عمليات تعليق بشري مكلفة.

المؤلفون الأصليون: Xinyuan Wang, Liang Wu, Dongjie Wang, Yanjie Fu

نُشر 2026-05-26

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Xinyuan Wang, Liang Wu, Dongjie Wang, Yanjie Fu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك مدير لمتجر رقمي ضخم ومزدحم. في كل مرة يدخل فيها عميل، يتعين عليك عرض مستودع هائل من المنتجات له. مهمتك ليست مجرد اختيار بعض العناصر الجيدة؛ بل يجب عليك ترتيب صفحة تسوق كاملة لهم.

هذا هو تحدي تحسين الصفحة الكاملة (WPO). لا يكفي فقط العثور على الحذاء المناسب؛ بل عليك أن تقرر:

أين تضع الأحذية في الصفحة؟
هل يجب أن تعرضها بجانب الجوارب أم بجانب خيمة؟
هل تعرض الكثير من الأحذية الحمراء ولا تعرض ما يكفي من الزرقاء؟
هل الصفحة مزدحمة للغاية، أم أنها مملة ومتكررة؟

لفترة طويلة، عانت الحواسيب لأنها كانت "غبية" للغاية لدرجة عدم قدرتها على فهم الصورة الكاملة، أو لأنها كانت تحتاج إلى مديرين بشريين مكلفين لتقييم كل تخطيط صفحة يدوياً.

إليك PageLLM، وهو نظام جديد يستخدم "مساعداً فائق الذكاء" (نموذج لغوي كبير) لتصميم هذه الصفحات تلقائياً. لكن هناك عقبة؛ فقد وجد المؤلفون أن مجرد إخبار الذكاء الاصطناعي "اصنع صفحة جيدة" لا يعمل بشكل جيد. الأمر يشبه إخبار طاهٍ: "اصنع وجبة لذيذة"، دون تحديد ما إذا كان يجب عليه التركيز على مذاق شريحة اللحم (العنصر الفردي) أم على توازن قائمة الطعام بأكملها (تخطيط الصفحة).

إليك كيف يحل PageLLM هذه المشكلة، باستخدام تشبيهات بسيطة:

1. المشكلة: الطاهي "الأعمى"

واجهت المحاولات السابقة لاستخدام الذكاء الاصطناعي في هذا المجال مشكلتين كبيرتين:

عقبة "التقييم البشري": لتعليم الذكاء الاصطناعي، تحتاج عادةً إلى بشر ينظرون إلى صفحتين مختلفتين ويقولون: "أنا أفضل الصفحة (أ) على الصفحة (ب)". القيام بهذا لملايين المستخدمين أمر مكلف وبطيء للغاية.
خطأ "الحبيبات الواحدة": نظرت معظم أنظمة الذكاء الاصطناعي إلى المشكلة بطريقة واحدة فقط.
- بعضها نظر فقط إلى العناصر الفردية (مثلاً: "هل نقر المستخدم على هذا الحذاء تحديداً؟"). هذا يشبه طاهياً يهتم فقط بنضج شريحة اللحم، متجاهلاً أن الحساء بارد والسلطة ذابلة.
- والبعض الآخر نظر فقط إلى الصفحة بأكملها (مثلاً: "هل تبدو هذه الصفحة متنوعة؟"). هذا يشبه طاهياً يهتم بتوازن القائمة ولكنه لا يلاحظ أن شريحة اللحم محترقة.

2. الحل: نظام مكافأة "بذات العينين"

أدرك المؤلفون أنه لتعليم الذكاء الاصطناعي، تحتاج إلى نوعين مختلفين من التغذية الراجعة تعملان معاً، مثل طاهٍ بعينين اثنتين: عين للتدقيق في التفاصيل، وعين للصورة الكبيرة.

لقد بنوا نظاماً يسمى PageLLM يستخدم "التغذية الراجعة الضمنية" (ما يفعله المستخدمون بالفعل، مثل النقرات والمشتريات) بدلاً من سؤال البشر لتقييم الصفحات. لقد حولوا هذه البيانات الفوضوية إلى أربعة أنواع من "سيناريوهات التدريب":

الصلة (Relevance): عرض عناصر لا يريدها المستخدم بالتأكيد.
الترتيب (Ranking): تبديل ترتيب العناصر لمعرفة ما إذا كان المستخدم يهتم بمن يأتي أولاً.
التنوع (Diversity): عرض صفحة مليئة بنوع واحد فقط من العناصر (مثل أحذية حمراء فقط) لتعليم الذكاء الاصطناعي أن التنوع أمر جيد.
التكرار (Redundancy): عرض الكثير من العناصر المتشابهة متجمعة معاً لتعليم الذكاء الاصطنا- أنه يجب توزيع الأشياء.

3. الخدعة السحرية: المكافآت "الخشنة" و"الدقيقة"

هذا هو الابتكار الجوهري. يقوم PageLLM بتدريب رأسي مكافأة منفصلين (فكر فيهما كحكمين مختلفين) على نفس البيانات:

الحكم (أ) (مدرب مستوى الصفحة): ينظر هذا الحكم إلى صفحة التسوق بأكملها دفعة واحدة. ويسأل: "هل هي قائمة متوازنة ومتماسكة؟ هل تغطي فئات مختلفة؟". إنه بارع في اكتشاف ما إذا كانت القائمة بأكملها مملة أو متكررة.
الحكم (ب) (مدرب مستوى العنصر): ينظر هذا الحكم إلى العناصر الفردية ومواقعها. ويسأل: "هل جعل نقل هذا العنصر من المركز 5 إلى المركز 2 المستخدم ينقر أكثر؟". إنه بارع في اكتشاف التفاصيل الصغيرة والحاسمة التي تغفل عنها الصورة الكبيرة.

لماذا كلاهما؟
وجد البحث أنه إذا استخدمت الحكم (أ) فقط، فسيصنع الذكاء الاصطناعي صفحة تبدو جميلة ولكنها تفقد العناصر المحددة التي يريد المستخدم شراءها. وإذا استخدمت الحكم (ب) فقط، فسيختار الذكاء الاصطناعي عناصر رائعة ولكن سيقوم بترتيبها بطريقة فوضوية ومربكة.

النتيجة: عندما تجمع بين كلا الحكمين، يصبح الذكاء الاصطناعي أفضل بنسبة 46.8% في ترتيب العناصر بشكل صحيح مقارنة باستخدام حكم واحد فقط. الأمر يشبه وجود قائد أوركسترا (الحكم أ) يضمن عزف الأوركسترا معاً، بينما يضمن مدرب العازف المنفرد (الحكم ب) أن كل عازف كمان يعزف النوتة الصحيحة.

4. إثبات من الواقع

لم يكتف الفريق باختبار ذلك في المختبر؛ بل جربوه على موقع تجارة إلكترونية حقيقي يضم 10 ملايين مستخدم.

النتيجة: زاد النظام من إجمالي حجم المبيعات (GMV) بنسبة 0.44% وعدد النقرات بنسبة 0.14%.
لماذا يهم هذا؟ في عمل تجاري يضم ملايين العملاء، تترجم نسبة ضئيلة كهذه إلى عشرات الآلاف من المبيعات الإضافية.

5. ميزة النشر "الكسول"

أحد الآثار الجانبية الذكية لهذا النظام هو سهولة نشره. نظرًا لأن "مدرب مستوى الصفحة" (الحكم أ) بارع جداً في النظر إلى القائمة بأكملها، يمكن للشركة استخدام هذا الجزء فقط على خوادم الكمبيوتر الحالية الأبطأ (CPUs) بينما يقومون بترقية خوادمهم القوية (GPUs) تدريجياً لتشغيل الذكاء الاصطناعي الكامل. إنه يشبه القدرة على استخدام مسودة للقائمة قبل أن تكون لديك الصورة الكاملة عالية الدقة جاهزة.

الملخص

PageLLM هو طريقة جديدة لتنظيم صفحات التسوق عبر الإنترنت. بدلاً من طلب تقييم البشر لكل صفحة، فإنه يعلم الذكاء الاصطناعي من خلال إظهار "أمثلة سيئة" لتخطيطات الصفحات (مكررة للغاية، ترتيب خاطئ، نقص في التنوع). إنه يستخدم حلقتي تغذية راجعة مختلفتين — واحدة للصورة الكبيرة وأخرى للتفاصيل الدقيقة — لضمان إنشاء صفحات متوازنة منطقياً وموقوتة بشكل مثالي لما يريد المستخدم النقر عليه. النتيجة هي تجربة تسوق أكثر ذكاءً وربحية دون الحاجة إلى فريق من المقيمين البشريين.

ملخص تقني: PageLLM

بيان المشكلة

يتضمن تحسين الصفحة الكاملة (WPO) توليد صفحة كاملة ومرتبة من نتائج البحث أو التوصيات توازن بين الصلة، والتنوع، والتعرض الموضعي، والتكرار. وبينما توفر النماذج اللغوية الكبيرة (LLMs) نهجًا موحدًا لـ WPO عبر معالجة توليد الصفحة كعملية توليد تسلسل مشروط، فإن تكيفها مع بيئات الويب واسعة النطاق يواجه ثلاث عقبات حرجة:

ندرة وتكلفة الإشراف: يتطلب التعلم المعزز من التغذية الراجعة البشرية (RLHF) القياسي تعليقات توضيحية بشرية مكلفة لمقارنة صفحات كاملة. وفي النطاق الصناعي، يجعل النمو الخطي لحجم الكتالوج والجمهور هذا الأمر غير مجدٍ.
محدودية المكافأة أحادية المستوى: تعتمد الطرق الحالية عادةً على دمج المكافآت في قيمة عددية واحدة (سواء على مستوى الصفحة أو مستوى العنصر). تلتقط المكافأة على مستوى الصفحة التماسك العالمي لكنها تتجاهل التحولات الموضعية الدقيقة والحرجة لمعدلات النقر (CTR). وعلى العكس من ذلك، تعمل المكافأة على مستوى العنصر على تحسين وضع كل عنصر على حدة ولكنها تفشل في ضمان تنوع الصفحة وعدم تكرارها ككل.
أنماط الفشل المتكاملة: تجادل الورقة بأن الصيغ أحادية المستوى تفشل بطرق "مرآتية"؛ حيث يؤدي إزالة إشارات مستوى الصفحة إلى تدهور التماسك العالمي للقائمة، بينما يؤدي إزالة إشارات مستوى العنصر إلى تدهور حدة التموضع. ولا تكفي أي من الإشارتين وحدها لتعظيم رضا المستخدم.

المنهجية: إطار عمل PageLLM

يقترح PageLLM إطار عمل لضبط الدقة يعتمد على المكافأة ويتكون من ثلاث مراحل، حيث يفصل الإشراف إلى مستويين متكاملين باستخدام التغذية الراجعة الضمنية للمستخدم فقط.

1. بناء البيانات من التغذية الراجعة الضمنية

بدلاً من الملصقات البشرية، يبني الإطار بيانات تدريب من سجلات تفاعل المستخدم مع العناصر (مثل مجموعة بيانات مراجعات أمازون):

القوائم الذهبية (Golden Lists): لكل مستخدم، يتم إنشاء قائمة مرتبة "ذهبية" عن طريق تصفية التفاعلات الإيجابية ( $r_{ui} > 3$ )، وإعادة الترتيب حسب الشعبية الدقيقة، وموازنة تنوع الفئات.
عائلات أزواج التفضيل (Preference-Pair Families): يتم إنشاء أربع عائلات من القوائم السلبية لتحديد أنماط فشل محددة، مما يخلق أزواجاً تباينية مقابل القائمة الذهبية:
- غير المفضلة ( $\sigma_{np}$ ): عناصر ذات تقييمات منخفضة (فشل في الصلة).
- الترتيب ( $\sigma_{rk}$ ): تبديلات متجاورة للعناصر في القائمة الذهبية (فشل في التموضع).
- التنوع ( $\sigma_{d}$ ): استبدال العناصر الفريدة بعناصر متجانسة (فشل في التنوع).
- التكرار ( $\sigma_{rd}$ ): التركيز المفرط للعناصر من فئة واحدة (فشل في التكرار).

2. نمذجة المكافأة متعددة المستويات

الابتكار الجوهري هو نموذج مكافأة مفصول بـرأسين يتم تدريبهما على نفس بيانات التفضيل ولكن بأهداف مختلفة:

المكافأة خشنة الحبيبات (على مستوى الصفحة) ( $R_c$ ): نموذج Bradley-Terry يقوم بتقييم القائمة المولدة بالكامل كوحدة واحدة. يتعلم الإشارات العالمية مثل مزيج الفئات ومتوسط الصلة، مما يوفر الاستقرار ضد التغذية الراجعة المشوشة.
المكافأة دقيقة الحبيبات (على مستوى العنصر) ( $R_f$ ): نموذج يقيم العناصر الفردية ويحسب متوسطها. تم تدريبه للكشف عن عمليات تبديل المواضع الحساسة للتفاعل (مثل كيفية تأثير تبديل عنصرين متجاورين على الدرجة الإجمالية).
الدمج: المكافأة النهائية هي مجرد مجموع بسيط ( $R = R_c + R_f$ ). يجادل المؤلفون بأن هذا النهج الجمعي يتفوق على النهج الضربي، لأنه يحافظ على تدرجات مستقلة ويسمح بمكاسب أداء فائقة للجمع.

3. ضبط الدقة باستخدام PPO

يخضع نموذج لغوي كبير مدرب مسبقاً (مثل GPT-2) لعملية تدريب من ثلاث خطوات:

التدريب المسبق للمعلومات الوصفية (Meta-Information Pre-training): يتم تكييف النموذج مع دلالات التوصية عبر التنبؤ بالتقييم والتنبؤ بالرمز التالي (next-token prediction) على المطالبات الوصفية.
الضبط الدقيق تحت الإشراف (SFT): يتم ضبط النموذج بدقة على القوائم الذهبية لتعلم مخطط المخرجات والتوزيع الأساسي.
تحسين PPO: يتم تحسين النموذج بشكل أكبر باستخدام تحسين السياسة القريبة (Pctional Policy Optimization - PPO) مع المكافأة متعددة المستويات المدمجة. تمنع عقوبة تباعد KL (KL-divergence) تجاه سياسة المرجع (SFT) النموذج من الانحراف نحو مساحات مخرجات متدهورة.

المساهمات الرئيسية

خط أنابيب التغذية الراجعة إلى المكافأة: صياغة أربع عائلات من أزواج التفضيل التي تحول التغذية الراجعة الضمنية المشوشة إلى إشراف RLHF قابل للاستخدام لتوليد الصفحات دون الحاجة لملصقات بشرية.
بنية المكافأة متعددة المستويات: تقديم نظام مكافأة مفصول يجمع بين نموذج Bradley-Terry على مستوى الصفحة ونموذج تبديل الموقع على مستوى العنصر، مع إثبات تكاملهما تجريبياً.
أدلة قابلة للتوسع: تقييم شامل عبر سبع فئات من أمازون مقابل أحد عشر نموذجاً أساسياً، واختبار A/B عبر الإنترنت لـ 10 ملايين مستخدم، ودراسات حول متانة البداية الباردة وكفاءة الهيكل الأساسي.
نمطية النشر: إثبات أن الطبيعة الجمعية للمكافأة تسمح بنشر مكون مستوى الصفحة (الخشن) كخاصية ترتيب على جانب المعالج (CPU)، مما يسهل النشر التدريجي على البنية التحتية الحالية.

النتائج التجريبية

الأداء خارج الإنترنت (Offline): في سبع فئات من أمازون، يتفوق PageLLM على أحد عشر نموذجاً أساسياً (بما في ذلك تحليل المصفوفات، والمحولات التسلسلية، وغيرها من أنظمة التوصية القائمة على LLM). يحقق تحسناً يصل إلى 46.8% في NDCG@100 مقارنة بالنسخة التي لا تستخدم المكافأة. وتكون المكاسب أكثر وضوحاً في الفئات ذات التفضيلات الدقيقة (الكماليات، الرياضة، الآلات الموسيقية، التجميل).
دراسات الاستئصال (Ablation Studies): يؤدي إزالة أي من رأسي المكافأة (مستوى الصفحة أو مستوى العنصر) إلى تدهور الأداء بشكل كبير (تقليل NDCG@100 بنسبة 17.8% و15.2% على التوالي)، مما يؤكد أن الإشارات مكملة وليست زائدة عن الحاجة.
اختبار A/B عبر الإنترنت: عند نشره في محرك بحث تجاري للتجارة الإلكترونية يضم أكثر من 10 ملايين مستخدم فريد، زاد PageLLM من إجمالي قيمة البضائع (GMV) بنسبة 0.44% ومن معدل النقر (CTR) بنسبة 0.14% خلال فترة أسبوع واحد.
المتانة: في محاكاة البداية الباردة (تقليل البيانات بنسبة 50%)، تدهور أداء PageLLM بشكل أقل من النماذج الأساسية مثل SASRec وMulti-VAE.
كفاءة الهيكل الأساسي: تشير التجارب التي قارنت بين GPT-2 وLlama3.2-1B إلى أن GPT-2 يوفر توازناً مثالياً بين الأداء والتكلفة الحسابية لهذه المهمة، مما يشير إلى أن هيكل المكافأة هو العامل المحدد وليس سعة النموذج.

الأهمية والادعاءات

تدعي الورقة أن العقبة الرئيسية أمام WPO القائم على LLM ليست نقص بيانات الإشراف، بل دقة إشارة الإشراف. من خلال فصل المكافأة إلى مكونات على مستوى الصفحة ومستوى العنصر، نجح PageLLM في مواءمة النماذج اللغوية الكبيرة مع أهداف WPO واسعة النطاق باستخدام التغذية الراجعة الضمنية فقط.

يؤكد المؤلفون أن هذا النهج:

يلغي الحاجة إلى التعليقات التوضيحية البشرية المكلفة.
يحل مشكلة "أحادية المستوى" حيث لا تستطيع الطرق الحالية تحسين التماسك العالمي للصفحة وتموضع العناصر المحلي في آن واحد.
يوفر مساراً عملياً للنشر في الإنتاج، كما يتضح من نجاح اختبار A/B لـ 10 ملايين مستخدم والقدرة على نشر أجزاء منه على بنية تحتية تعتمد على المعالج (CPU).

تخلص الورقة إلى أن المكافآت متعددة المستويات المستمدة من التغذية الراجعة الضمنية كافية لرفع قدرة النماذج اللغوية الكبيرة إلى مستوى تحسين الصفحات الكاملة في الإنتاج، مما يوفر مساراً جديداً لأنظمة التوصية التي تعامل الصفحة ككيان توليدي متماسك بدلاً من مجرد مجموعة من العناصر ذات الدرجات.