Aligning Multimodal Sequential Recommendations via Robust Direct Preference Optimization with Sparse MoE

إليك ملخص تقني مفصل لورقة البحث بعنوان "Alignating Multimodal Sequential Recommendations via Robust Direct Preference Optimization with Sparse MoE" (RoDPO).

1. بيان المشكلة

تتناول الورقة البحثية قصوراً حرجاً في تطبيق تحسين التفضيل المباشر (DPO) — وهي تقنية حققت نجاحاً في النماذج اللغوية الكبيرة (LLMs) — على أنظمة التوصية المتسلسلة متعددة الوسائط (MSR).

• المشكلة الجوهرية: معضلة "السالب الخاطئ" (False Negative).
  • في معالجة اللغات الطبيعية (NLP)، تكون العينات السالبة (مثل مخرجات النموذج غير الصحيحة) غير مرغوب فيها بشكل صارم.
  • أما في أنظمة التوصية التي تعتمد على التغذية الراجعة الضمنية (Implicit Feedback)، فإن العناصر غير المرصودة (العناصر التي لم ينقر عليها المستخدم) ليست بالضرورة عناصر غير مرغوب فيها؛ بل غالباً ما تكون مجرد عناصر إيجابية لم يتم عرضها أو رصدها بعد.
  • فشل DPO الساذج: غالباً ما تستخدم استراتيجيات DPO التقليدية تنقيب السلبيات الصعبة (Hard Negative Mining) (اختيار العنصر صاحب أعلى درجة متوقعة بين العناصر غير المستهدفة). في أنظمة MSR، يؤدي هذا غالباً إلى اختيار "سلبيات خاطئة" (عناصر يحبها المستخدم بالفعل ولكن لم ينقر عليها بعد). إن معاقبة هذه العناصر بشدة يؤدي إلى إدخال تدرجات (gradients) خاطئة، ويشوه مساحة التصنيف، ويؤدي إلى تدهور الأداء.
• الفجوة: تفتقر الأعمال الحالية إلى تحليل منهجي لكيفية تفاعل استراتيجيات اختيار السلبيات مع DPO في ظل وجود التغذية الراجعة الضمنية، وغالباً ما تخلط بين التعقيد المعماري وآلية المحاذاة الأساسية.

2. المنهجية: إطار عمل RoDPO

يقترح المؤلفون إطار عمل RoDPO (تحسين التفضيل المباشر القوي)، وهو إطار مصمم لمحاذاة الموصيات المتسلسلة متعددة الوسائط مع تفضيلات المستخدم مع التخفيف من مشكلة السالب الخاطئ.

أ. أخذ عينات السلبيات العشوائية من أفضل K عنصر (الابتكار الجوهري)

بدلاً من الاختيار الحتمي لعنصر سلبي واحد "أصعب" (argmax)، يقدم RoDPO آلية أخذ عينات عشوائية:

1. بناء مجموعة المرشحين: بالنسبة لسياق معين، يحدد النموذج أعلى $K$ من العناصر ذات الدرجات الأعلى (باستثناء العنصر الإيجابي الحقيقي $y_w$).
2. الاختيار العشوائي: يتم أخذ عينة من العنصر السلبي ($y_l$) بشكل عشوائي منتظم من مجموعة الـ $K$ العليا الديناميكية هذه.
3. الآلية: تحافظ هذه الطريقة على "صعوبة" الإشارة المعلوماتية (بما أن المجموعة تحتوي على مرشحين ذوي درجات عالية) ولكنها تقدم عشوائية محكومة. هذا يمنع النموذج من معاقبة نفس السالب الخاطئ بشكل متكرر، مما يؤدي إلى تنعيم عملية التحسين وتقليل ضجيج التدرج.

ب. البنية والمكونات

• المشفر متعدد الوسائط (Multimodal Encoder): يستخدم محولات (Transformers) خاصة بكل وسيط (للميزات التعريفية ID، والنص، والصور) يتم دمجها عبر مجموع مرجح.
• خليط الخبراء المتناثر (Sparse Mixture-of-Experts - MoE): مكون اختياري يُضاف للمشفر لزيادة سعة النموذج بكفاءة. يستخدم موزعاً (router) لاختيار مجموعة فرعية من الخبراء (على سبيل المثال، أفضل 2 من أصل 4) لكل مدخل، مما يسمح للنموذج بالتعامل مع حدود التفضيل المعقدة دون زيادة كبيرة في زمن الاستجابة عند الاستدلال.
• بروتوكول التدريب ذو المرحلتين:
  1. الإحماء (المرحلة 1): تدريب قياسي باستخدام الإنتروبيا المتقاطعة (SFT) لإنشاء سياسة مرجعية ($\pi_{ref}$) موثوقة.
  2. المحاذاة (المرحلة 2): تحسين الهدف المشترك $L_{total} = L_{CE} + \lambda L_{DPO}$، حيث تكون السياسة المرجعية مجمدة.

ج. دالة الهدف

يتم حساب خسارة DPO مباشرة باستخدام هوامش اللوجيت (logit margins) لتجنب الحاجة إلى نموذج مكافأة صريح:
$$L_{DPO} = -\log \sigma \left( \beta [ (s_\theta(x, y_w) - s_\theta(x, y_l)) - (s_{ref}(x, y_w) - s_{ref}(x, y_l)) ] \right)$$
حيث $y_l$ هو العنصر السلبي الذي تم أخذ عينة منه عشوائياً من مجموعة الـ $K$ العليا.

3. المساهمات الرئيسية

1. تحديد معضلة السالب الخاطئ: تحدد الورقة صراحة أن هشاشة DPO في أنظمة التوصية تنبع من عدم التوافق بين "تنقيب السلبيات الصعبة" وطبيعة التغذية الراجعة الضمنية (الإيجابيات غير المرصودة).
2. أخذ عينات السلبيات العشوائية من أفضل K عنصر: تعديل بسيط وسهل التطبيق يوازن بين شدة التدرج والقدرة على تحمل السالب الخاطئ. وقد ثبت أنه العامل الحاسم لنجاح DPO في أنظمة التوصية، أكثر من التعقيد المعماري.
3. إطار عمل RoDPO: نظام متكامل يجمع بين استراتيجية أخذ العينات ومشفر Sparse MoE لزيادة السعة بكفاءة.
4. التحقق التجريبي: تجارب واسعة النطاق تثبت تفوق الطريقة المقترحة على أقوى النماذج المرجعية (baselines) مع تكلفة استدلال ضئيلة.

4. النتائج التجريبية

تم تقييم الطريقة على ثلاث مجموعات بيانات مرجعية من Amazon: Toys and Games، و Beauty، و Home and Kitchen.

• مكاسب الأداء: تفوق RoDPO باستمرار على النماذج المرجعية القوية (بما في ذلك HM4SR, IISAN, M3SRec).
  • حقق تحسناً يصل إلى +5.25% في NDCG@5 و +7.67% في MRR@5 على مجموعة بيانات Toys and Games مقارنة بأفضل نموذج مرجعي.
  • كانت المكاسب ثابتة عبر قيم القطع المختلفة ($K=5, 10$).
• دراسات الاستئصال (Ablation Studies):
  • أخذ عينات السلبيات: تفوقت أخذ العينات العشوائية من أفضل K عنصر بشكل كبير على كل من أخذ العينات العشوائي (Random Sampling) وأخذ العينات الحتمي الصعب (Argmax). أظهر أخذ العينات الصعب وحده مكاسب طفيفة فقط، مما يؤكد خطر السلبيات الخاطئة.
  • المكونات: أدى حذف هدف DPO إلى انخفاض في الأداء، مما يؤكد ضرورة محاذاة التفضيلات. كما أدى حذف Sparse MoE إلى تقليل الأداء، مما يشير إلى قيمة زيادة السعة لنمذجة التفضيلات الدقيقة.
• الكفاءة:
  • التدريب: عبء ضئيل مقارنة بالنماذج المرجعية (9.84 ثانية مقابل 9.81 ثانية لكل حقبة/epoch) لأن النموذج المرجعي يتشارك الهيكل الأساسي وهو مجمد.
  • الاستدلال: زمن استجابة متماثل تقريباً مع النماذج المرجعية (0.45 ثانية مقابل 0.42 ثانية لكل دفعة/batch) لأن النموذج المرجعي يتم التخلص منه أثناء النشر، وطبقة MoE تنشط فقط مجموعة فرعية من الخبراء.

5. الأهمية والخاتمة

• تحول في النموذج: توضح الورقة أنه يمكن تطويع DPO بنجاح لأنظمة التوصية، بشرما كانت استراتيجية أخذ عينات السلبيات قوية تجاه طبيعة "السالب الخاطئ" للتغذية الراجعة الضمنية.
• الأثر العملي: تقدم حلاً "سهل التركيب" (plug-and-play) يحسن جودة التصنيف دون الحاجة إلى زيادات هائلة في التكلفة الحسابية أو زمن الاستجابة.
• الاتجاهات المستقبلية: يمهد هذا العمل الطريق لتطبيق تقنيات محاذاة التفضيلات على نماذج التأسيس (foundation models) الأكبر حجماً في مجال التوصية، والانتقال من مجرد تقدير الاحتمالية إلى تصنيف التفضيلات الصريح.

باختุป، يقوم RoDPO بحل عدم التطابق النوعي بين DPO المعتمد على معالجة اللغات الطبيعية وأنظمة التوصية عن طريق استبدال السلبيات الصعبة الحتمية بـ أخذ عينات عشوائية من أفضل K عنصر، مما ينتج نظام توصية متعدد الوسائط أكثر قوة ودقة وكفاءة.