💬 NLP

Learning User Interests via Reasoning and Distillation for Cross-Domain News Recommendation

تقترح هذه الورقة إطار عمل للتعلم التعزيزي يستفيد من النماذج اللغوية الكبيرة لتوليد استعلامات بحث مدفوعة بالاهتمامات من إشارات عابرة للمجالات، مستخدمةً تحسين السياسة القائم على GRPO والتقطير في السياسة نفسها لتحقيق توصية أخبار عابرة للمجالات قابلة للتوسع وعالية الأداء.

المؤلفون الأصليون: Mengdan Zhu, Yufan Zhao, Tao Di, Yulan Yan, Liang Zhao

نُشر 2026-02-17

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Mengdan Zhu, Yufan Zhao, Tao Di, Yulan Yan, Liang Zhao

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك دخلت مكتبة ضخمة وفوضوية تضم ملايين الكتب. لم تزرها من قبل، ولا تعرف أمين المكتبة. تريد العثور على كتاب ستعشقه، لكن لا يمكنك السؤال عن عنوان محدد لأنك لا تعرف ما هو موجود بالفعل.

هذه هي بالضبط المشكلة التي تواجهها أنظمة توصية الأخبار يوميًا. يتعين عليهم تخمين ما تريد قراءته بناءً على تاريخك المبعثر والفوضوي: ما نقرت عليه، وما بحثت عنه، وما تصفحته في مواقع أخرى.

تصف هذه الورقة البحثية طريقة جديدة وأكثر ذكاءً لحل هذا اللغز باستخدام الذكاء الاصطناعي (AI). إليك قصة كيف فعلوا ذلك، مقسمة إلى مفاهحات بسيطة.

1. المشكلة: المستخدم "المشوش"

فكر في تاريخ المستخدم الرقمي كأنه صندوق مبعثر من الأدلة.

بعض الأدلة ذهبية: "لقًتُ على قصة عن استكشاف الفضاء."
بعض الأدلة مجرد "خردة": "نقرت بالخطأ على رابط أثناء البحث عن رقم هاتفي،" أو "بحثت عن 'الطقس' فقط لأتحقق من الوقت."

الأنظمة القديمة حاولت تخمين اهتماماتك عبر مجرد عدّ المرات التي نقرت فيها على أشياء متشابهة. لكنها غالبًا ما كانت ترتبك بسبب أدلة "الخردة" وتفقد الاهتمامات العميقة والخفية (مثل حبك السري لشعر القرن التاسع عشر) لأنها كانت تركز بشدة على الأنماط السطحية.

2. الحل: المعلم "شرلوك الخارق"

بنى المؤلفون نموذج لغة كبيرًا (LLM) — لنطلق عليه اسم "شرلوك الخارق".

بدلاً من مجرد عد النقرات، ينظر "شرلوك الخارق" إلى صندوق أدلتك الفوضوي ويستخدم الاستنتاج ليعرف حقيقتك.

المهمة: وظيفة الذكاء الاصطناعي هي كتابة قائمة من استعلامات البحث التي قد تكتبها أنت إذا كنت تحاول العثور على مقالك الإخباري المثالي.
السحر: إذا نقرت على بعض المقالات التقنية ومدونة تاريخية، فإن "شرلوك الخارق" لا يكتفي بالقول "تقنية" فحسب. بل قد يستنتج: "آه، هذا الشخص مهتم بتاريخ الذكاء الاصطناعي،" وينتج استعلامًا محددًا مثل "تاريخ تطور الذكاء الاصطناعي".

3. التدريب: "برنامج المسابقات" (التعلم التعزيزي)

كيف تعلم "شرلوك الخارق" ليكون جيدًا في هذا؟ لا يمكنك ببساطة إعطاؤه إجابة من كتاب مدرسي لأنه لا توجد إجابة نموذجية. بدلاً من ذلك، استخدموا طريقة تسمى التعلم التعزيزي (وتحديدًا GRPO).

تخيل برنامج مسابقات حيث يولد الذكاء الاصطناعي 5 قوائم مختلفة من استعلامات البحث.

الحكام: خمسة "حكام" مختلفين (مكافآت) يقيمون كل قائمة:
1. أمين المكتبة: هل وجد هذا الاستعلام بالفعل مقالات حقيقية وذات صلة؟
2. المذيع: هل تغطي هذه القائمة جميع المواضيع المختلفة التي يحبها المستخدم؟
3. التفاصيل: هل الاستعلامات غامضة جدًا (مثل "أخبار") أم أنها محددة بما يكفي (مثل "تفاصيل إطلاق صاروخ SpaceX")؟
4. التنوع: هل كرر الذكاء الاصطناعي نفس الشيء خمس مرات، أم أن هناك تنوعًا؟
5. ملتزم بالقواعد: هل اتبع الذكاء الاصطناعي قواعد التنسيق؟

يلعب الذكاء الاصطناعي هذه اللعبة آلاف المرات، يحصل على نقاط للقوائم الجيدة ويخسر نقاطًا للقوائم السيئة. ومع مرور الوقت، يتعلم "الاستراتيجية المثالية" لتخمين اهتمامات المستخدم.

4. المشكلة: المعلم "الثقيل"

هنا تكمكم المشكلة: "شرلوك الخارق" ضخم. إنه يشبه أستاذًا عبقريًا يمكنه حل اللغز ببراعة، لكنه يحتاج إلى 10 ثوانٍ للتفكير ويكلف ثروة لإبقائه في الغرفة. في تطبيق أخبار حقيقي، تحتاج إلى إجابة في أجزاء من الثانية، ولديك ملايين المستخدمين. لا يمكنك تحمل تكلفة توظيف أستاذ لكل مستخدم.

5. الحل: "المتدرب" (التقطير)

هنا يأتي الجزء الثاني من فكرة الورقة الكبيرة: التقطير (Distillation).

أخذ المؤلفون "شرلوك الخارق" الثقيل (المعلم) وعلموا متدربًا صغيرًا وسريعًا (الطالب).

لم يكتفوا بإعطاء المتدرب الإجابات النهائية فح، بل جعلوا المتدرب يراقب المعلم وهو يفكر في المشكلات.
يتعلم المتدرب محاكاة عملية التفكير الخاصة بالمعلم، لكنه يفعل ذلك بشكل أسرع وبدماغ أصغر بكثير.

النتيجة: المتدرب أصغر بـ 60 مرة من المعلم ولكنه يحتفظ بـ 90% من عبقرية المعلم. الآن، يمكن لتطبيق الأخبار استخدام هذا المتدرب السريع والرخيص لتخمين ما تريد قراءته في جزء من الثانية.

6. الإثبات: هل نجح الأمر؟

اختبروا ذلك في العالم الحقيقي على منصة إخبارية ضخمة.

الاختبارات غير المتصلة (Offline): وجد النظام الجديد مقالات أفضل من جميع الطرق القديمة.
فوز "البداية الباردة": كان بارعًا بشكل خاص في مساعدة المستخدمين الجدد (الأشخاص الذين ليس لديهم تاريخ). نظرًا لأن النظام يمكنه الاستنتاج من أشياء أخرى قام بها المستخدم (مثل البحث عن موضوع معين على جوجل)، فقد تمكن من تخمين اهتماماته الإخبارية حتى قبل أن ينقر على مقال إخباري واحد.
الحياة الواقعية: عندما قاموا بتشغيله للمستخدمين الحقيقيين، عاد المزيد من الناس إلى الموقع (DAU) ونقروا على المزيد من المقالات (CTR).

ملخص التشبيه

الطريقة القديمة: روبوت يعد كم مرة نظرت إلى السيارات الحمراء ويفترض أنك تحب السيارات الحمراء فقط.
الطريقة الجديدة (المعلم): محقق ينظر إلى صور سياراتك الحمراء، وبحثك عن "محركات سريعة"، وتاريخ زياراتك لسباقات السيارات، ثم يستنتج: "هذا الشخص يعشق السيارات الرياضية عالية السرعة".
الابتكار: لقد دربوا محققًا عبقريًا، ثم علموا متدربًا صغيرًا وسريعًا للغاية القيام بنفس المهمة حتى تتمكن الشركة من توظيف واحد لكل عميل.

تعد هذه الورقة خطوة كبيرة للأمام لأنها تثبت أن الاستنتاج (التفكير بعمق في سبب نقرك) أفضل من مجرد مطابقة الأنماط (عد النقرات)، وتوضح كيف تجعل هذا التفكير الثقيل سريعًا بما يكفي لعالم الواقع.

إليك ملخص تقني مفصل للورقة البحثية بعنوان "تعلم اهتمامات المستخدم عبر الاستنتاج والتقطير لتوصية الأخبار عبر المجالات" (Learning User Interests via Reasoning and Distillation for Cross-Domain News Recommendation).

1. بيان المشكلة

تتناول الورقة تحدي توصية الأخبار عبر المجالات (Cross-Domain News Recommendation)، وتحديداً صعوبة استنتاج اهتمامات المستخدم العميقة والقابلة لإعادة الاستخدام من إشارات متباينة وضوضائية (مثل سجلات البحث، سجلات النقر، وسجل التصفح) التي تمتد إلى ما وراء استهلاك الأخبار المباشر.

محدودية الطرق الحالية: غالباً ما تفشل أساليب التضمين (Embedding-based) والترشيح التعاوني (Collaborative Filtering) التقليدية في التقاط الإشارات التسلسلية العميقة أو تعلم تضمينات شخصية معقولة لجميع المستخدمين، خاصة عندما تكون البيانات شحيحة أو ضوضائية. فهي تعتمد بشكل كبير على تشابه السلوك التاريخي بدلاً من الاستنتاج الدلالي.
الهدف الجوهري: الانتقال لما هو أبعد من السلوكيات السطحية وتوليد قائمة من استعلامات البحث القائمة على الاهتمامات (interest-driven news search queries) التي تمثل الاحتياجات الكامنة للمستخدم. تعمل هذه الاستعلامات كجسر لاسترجاع المقالات الإخبارية ذات الصلة عبر أنظمة الاسترجاع القياسية (مثل ANN).

2. المنهجية

الإطار المقترح هو نظام تعلم تعزيزي (RL) قائم على الاستنتاج يعمل عبر ثلاث مراحل رئيسية:

أ. تنظيف البيانات (تخفيف الضوضاء)

تحتوي سجلات السلوك الخام على ضوضاء كبيرة (مثل النصوص العشوائية، أو مدخلات التنقل).

النهج: يتم تدريب مصنف ثنائي خفيف الوزن (يعتمد على RoBERTa) لتصفية الإشارات الخام.
الإشراف: يتم إنشاء تسميات (Labels) باستخدام GPT-5 مع "برومبت" (Prompt) مصمم للتمييز بين السلوكيات المعلوماتية والضوضاء غير ذات الصلة.
المخرج: مجموعة منقحة من الإشارات السلوكية $\tilde{B}_u$ لكل مستخدم.

ب. توليد الاهتمامات عبر التعلم التعزيزي متعدد المكافآت (النموذج المعلم - Teacher Model)

الابتكار الجوهري هو صياغة اكتشاف الاهتمامات كمسألة تحسين السياسة (Policy Optimization) باستخدام تحسين السياسة النسبي للمجموعات (GRPO).

النموذج: يعمل نموذج لغوي كبير (LLM) مضبوط التعليمات، وتحديداً Qwen2.5-32B، كـ "معلم".
العملية: بناءً على الإشارات المنقحة، تقوم السياسة بتوليد مجموعة من $G$ من القوائم المرشحة لاستعلامات البحث.
دالة المكافأة: يتم تحسين النموذج باستخدام إشارة مكافأة مركبة $R$ $R$ تتكون من خمسة أبعاد:
1. المواءمة مع الاسترجاع ( $R_{align}$ ): تضمن نجاح الاستعلامات المولدة في استرجاع المقالات ذات الصلة من فهرس ANN داخلي.
2. تغطية الاهتمامات ( $R_{cov}$ ): تشجع القائمة على تغطية اهتمامات كامنة متنوعة.
3. خصوصية الاستعلام ( $R_{spec}$ ): تعزز الاستعلامات الغنية بالمحتوى وغير العامة.
4. التنوع داخل القائمة ( $R_{div}$ ): تزيد المسافة الدلالية بين الاستعلامات داخل القائمة نفسها.
5. الصلاحية الهيكلية ( $R_{struct}$ ): فحص ثنائي لمدى الالتزام بتنسيق المخرجات.
التحسين: تهدف الدالة إلى تعظيم العائد المتوقع باستخدام تقدير الميزة النسبي للمجموعة، مما يلغي الحاجة إلى شبكة قيمة منفصلة.

ج. التقطير داخل السياسة (النموذج الطالب - Student Model)

لجعل النظام قابلاً للتوسع للتشغيل عبر الإنترنت (زمن انتقال منخفض/إنتاجية عالية)، يتم تقطير النموذج المعلم الثقيل في نموذج طالب مدمج.

النموذج المستهدف: Qwen2.5-0.5B.
التقنية: التقطير داخل السياسة (On-Policy Distillation). بخلاف التقطير الخاضع للإشراف القياسي، يقلل هذا النهج من تباعد كولباك-لايبلر (KL divergence) بين توزيع الطالب وتوزيع المعلم بشرط الارتباط بالبادئة (prefix) التي ولدها الطالب نفسه.
الفائدة: يسمح هذا للطالب بتعلم مسار الاستنتاج وسياسة المعلم مباشرة، مما يحافظ على جودة عالية لنمذجة الاهتمامات مع تقليل تكاليف الاستنتاج.

3. المساهمات الرئيسية

خصائص التوسع لنماذج LLM لنمذجة الاهتمامات: تثبت الورقة أن زيادة سعة النموذج (Space Scaling) وأخذ العينات في وقت الاستنتاج (Time Scaling) يؤديان إلى تحسينات متسقة تشبه "قوانين التوسع" (Scaling Laws) في جودة الاهتمامات وأداء الاسترجاع اللاحق، حتى مع وجود إشارات عبر مجالات ضوضائية.
إطار التقطير داخل السياسة (On-Policy Distillation): نهج مبتكر لنقل سياسة الاستنتاج المستهلكة للحوسبة من نموذج LLM كبير إلى نموذج طالب خفيف الوزن، مما يتيح النشر في أنظمة الإنتاج دون التضحية بالأداء بشكل كبير.
صياغة التعلم التعزيزي متعدد المكافآت: تفكيك مبتكر لتوليد اهتمامات المستخدم إلى خمس معايط متكاملة (الاسترجاع، التغطية، الخصوصية، التنوع، الصلاحية) يتم تحسينها عبر GRPO.
التحقق في العالم الحقيقي: أول نشر معروف لإطار عمل تعلم تعزيزي قائم على الاستنتاج لنمذجة اهتمامات المستخدم في نظام توصية أخبار تجاري واسع النطاق.

4. النتائج التجريبية

التقييم غير المتصل (Offline Evaluation)

مجموعة البيانات: سجلات حقيقية من نظام إنتاج واسع النطاق (500 ألف مستخدم، 1.2 مليون عنصر إخباري).
النماذج المرجعية (Baselines): تمت المقارنة مع GRU، SASRec، NRHUB، PinSage، وHSTU.
الأداء:
- حقق المعلم المدرب بالتعلم التعزيزي (Qwen2.5-32B) أفضل النتائج عبر جميع المقاييس (Recall@10: 0.271، NDCG@10: 0.241)، متفوقاً على نموذج HSTU القوي.
- احتفظ الطالب المقطر (Qwen2.5-0.5B) بمعظم المكاسب (Recall@10: 0.261)، متفوقاً بشكل ملحوظ على جميع النماذج المرجعية التقليدية رغم كونه أصغر بـ 64 مرة.
قوانين التوسع (Scaling Laws):
- سعة النموذج: أظهرت زيادة المعلمات من 0.5B إلى 32B مكاسب متسقة.
- أخذ العينات في وقت الاستنتاج: أدت زيادة عدد القوائم التي يتم أخذ عينات منها ( $N$ ) عبر استراتيجية "أفضل من N" (best-of-N) إلى تحسين الأداء، مع ظهور عوائد متناقصة ولكن فوائد واضحة.

اختبار A/B عبر الإنترنت (Online A/B Testing)

الإعداد: رحلة لمدة 7 أيام في بيئة إنتاج، تم نشرها كمسار استرجاع إضافي.
النتائج:
- المستخدمون النشطون يومياً (DAU): ارتفاع بنسبة +0.95% ( $p=0.012$ ).
- معدل النقر (CTR): ارتفاع بنسبة +0.22% ( $p=0.031$ ).
- المستخدمون في مرحلة البداية الباردة (Cold Start Users): ارتفاع كبير بنسبة +4.38% في DAU لهؤلاء المستخدمين، مما يثبت قدرة النموذج على استنتاج الاهتمامات من الإشارات المتباينة عند غياب تاريخ الأخبار المباشر.

5. الأهمية

يمثل هذا العمل تحولاً جذرياً في أنظمة التوصية من خلال الانتقال من التشابه القائم على التضمين إلى توليد الاهتمامات القائم على الاستنتاج.

القابلية للتوسع: يحل مشكلة اختناق النشر لنماذج LLM في أنظمة التوصية من خلال التقطير الفعال داخل السياسة.
المتانة: يثبت أن نماذج LLM يمكنها الاستنتاج بفعالية فوق البيانات الضوضائية ومتعددة المجالات للكشف عن نوايا المستخدم العميقة، مما يفيد بشكل خاص حالات البداية الباردة.
الأثر الصناعي: يوفر مخططاً لدمج الاستنتاج القائم على التعلم التعزيزي ونماذج LLM واسعة النطاق في خطوط أنابيب التوصية المخصصة للإنتاج، محققاً تحسينات ملموسة في مقاييس الأعمال (DAU/CTR).