Sharpness-aware Model Merging with Salience Recovery for LLM-based Cross-Domain Sequential Recommendation
تقترح هذه الورقة البحثية SharpRec، وهو إطار عمل مبتكر للتوصية التسلسلية عبر المجالات القائمة على النماذج اللغوية الكبيرة (LLM)، والذي يعالج تضارب المعرفة وتشبع الأداء في دمج النماذج من خلال المحاذاة الهندسية الواعية بالحدة وتنشيط بروز التفضيلات ليتفوق بشكل كبير على النماذج المرجعية الحالية ذات الحالة الفنية المتطورة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك أمين مكتبة تحاول التوصية بالكتاب المثالي لزائر ما. إذا كنت تعرف فقط أنه يحب الخيال العلمي، فقد تقترح عليه ملحمة فضائية. ولكن ماذا لو كنت تعلم أيضًا أنه يحب الطبخ سرًا؟ يمكن لأمين مكتبة ذكي حقًا أن يربط بين هذه النقاط، ويقترح عليه رواية خيال علمي تدور أحداثها في مطبخ مستقبلي. هذا هو حلم "التوصية المتسلسلة عبر المجالات": استخدام ما يحبه الشخص في مجال واحد (مثل الأفلام) لتخمين ما قد يستمتع به في مجال آخر (مثل الكتب)، حتى لو لم يخبرك صراحةً عن اهتماماته الجديدة.
للقيام بذلك، تستخدم الحواسيب الحديثة "نماذج اللغات الكبيرة" (LLMs). فكر في هذه النماذج كأدمغة فائقة الذكاء ومثقفة تفهم المعنى العميق للكلمات، وليس مجرد قائمة من الكلمات المفتاحية. يمكنها أن تدرك أن "حرب النجوم" و"الطبخ" قد يتشاركان في موضوع "الرحلات الملحمية"، حتى لو لم يشترِ المستخدم كتاب طهي قط. ومع ذلك، فإن تعليم هذه الأدمغة كيفية الموازنة بين اهتمامات متعددة في وقت واحد أمر صعب. فإذا حاولت دمج معرفتها بالرياضة والألعاب، فقد ترتبك وتخلط بين قواعد كرة القدم وقواعد قطع البناء. تعالج هذه الورقة البحثية مشكلة كيفية دمج هذه "الأدمغة الخبيرة" المختلفة في دماغ خارق واحد دون أن تتعثر ببعضها البعض أو تنسى مهاراتها الفريدة.
اكتشف الباحث هويوي جي وفريقه من جامعة تشجيانغ وجامعة هانغتشو ديانزي أن مجرد دمج نماذج التوصية المختلفة معًا لا يعمل بشكل جيد. لقد وجدوا مشكلتين رئيسيتين. أولاً، غالبًا ما تعاني النماذج من "عدم توافق هندسي". تخيل محاولة دمج قطعتي أحجية (بازل) تم نحتهما لتناسبا ثقوبًا مختلفة تمامًا ومتعرجة؛ إذا أجبرتهما على الاندماج، فستتشوه الصورة. ثانيًا، لاحظوا تأثير "التشبع". إذا استمررت في إضافة المزيد والمزيد من مصادر المعرفة (مثل إضافة الكتب، والأفلام، والرياضة، والألعاب)، فإن أداء النموذج يصطدم بحائط ويتوقف عن التحسن. الأمر يشبه خلط الكثير من الألوان معًا؛ في النهاية ستحصل فقط على لون بني طيني بدلاً من لون جديد زاهٍ. تطلق عليها المجموعة "التجانس الإحصائي"، حيث يتم تسوية التفاصيل الحادة والفريدة لكل اهتمام لتصبح متوسطًا مملًا.
ولحل هذه المشكلة، بنى الفريق إطار عمل جديدًا يسمى SharpRec. لم يكتفوا بمجرد دمج النماذج معًا، بل منحوها لمسة تجديد. أولاً، استخدموا تقنية تسمى "المحاذاة الهندسية الواعية بالحدة". فكر في هذا كصنفرة الحواف المتعرجة لقطع الأحجية قبل لصقها. من خلال دفع النماذج بلطف للعثور على نقاط "مسطحة" في مشهد التعلم الخاص بها (أماكن لا تؤدي فيها التغييرات الصغيرة إلى إفساد النتيجة)، ضمنوا أن تتمكن المجالات المختلفة من الاندماج بسلاسة دون حدوث تصادم.
ثانيًا، قدموا "تنشيط بروز التفضيلات". عندما تم دمج النماذج، كانت التفاصيل الفريدة وعالية القيمة (مثل حب محدد للألعاب القديمة) تضيع وسط الزحام. يعمل SharpRec مثل قلم التحديد (الهايلايتر)، حيث يجد تلك التفاصيل المهمة والنادرة التي تم تسويتها ويعيد تعزيزها. إنه يشبه أخذ صورة ضبابية واستخدام برامج لزيادة حدة الأجزاء الأكثر أهمية، مما يضمن أن يتذكر النموذج الأشياء المحددة التي تجعل المستخدم فريدًا، بدلاً من مجرد متوسط عام.
اختبر الفريق SharpRec على بيانات واقعية من أمازون، من خلال النظر في أزواج مثل الكتب والأفلام، أو الرياضة والألعاب. ووجدوا أن طريقتهم تفوقت باستمرار على جميع الطرق الرائدة الأخرى. في الواقع، بينما اصطدمت الطرق الأخرى بحائط الأداء بعد دمج ثلاثة أو أربعة مجالات فقط، استمر SharpRec في التحسن كلما أضافوا المزيد من المصادر. كما أظهروا أنه يعمل حتى عندما يكون هناك عدد قليل جدًا من المستخدمين المتداخلين بين المجالين، مما يثبت أنه لا يحتاج إلى حشد ضخم من الأشخاص الذين يحبون كليهما لإجراء الرابط.
باختًا، تقترح الورقة البحثية أنه من خلال المحاذاة الدقيقة لـ "شكل" النماذج وحماية ميزاتها الأكثر تميزًا بنشاط، يمكننا بناء أنظمة توصية ليست أكثر ذكاءً فحسب، بل قادرة أيضًا على التعلم من مجموعة واسعة من الاهتمامات المختلفة دون ارتباك أو فقدان التميز. وتظهر النتائج، التي قيست بمدى تكرار تخمين النظام الصحيح للعنصر التالي الذي سيحبه المستخدم، أن هذا النهج يمثل خطوة مهمة نحو جعل أنظمة التوصية بالذكاء الاصطناعي تفهم حقًا حياتنا المعقدة والمتعددة الأوجه.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.