🤖 machine learning

Measuring the stability and plasticity of recommender systems

تقترح هذه الورقة بروتوكول تقييم غير متصل (offline) مبتكر لقياس الاستقرار والمرونة في أنظمة التوصية، مما يتيح فهماً أعمق لكيفية احتفاظ النماذج بالأنماط الماضية مقابل تكيفها مع البيانات الجديدة بمرور الوقت، مع الكشف عن مقايضة محتملة بين هاتين الخاصيتين عبر الخوارزميات المختلفة.

المؤلفون الأصليون: Maria João Lavoura, Robert Jungnickel, João Vinagre

نُشر 2026-04-29

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Maria João Lavoura, Robert Jungnickel, João Vinagre

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك توظف أمين مكتبة شخصي ليرشح لك الكتب؛ أنت تريد من هذا الأمين أن يكون موثوقاً (يتذكر ما أعجبك في العام الماضي) ولكن أيضاً مرناً (يتعلم بسرعة عن الصيحات الجديدة أو التغيرات في ذوقك).

هذه الورقة البحثية، التي ستُقدم في مؤتمر UMAP '26، تقدم طريقة جديدة لاختبار مدى قدرة أنظمة الترشيح (مثل Netflix أو Amazon أو Goodreads) على الموازنة بين هاتين الصفتين. ويطلق المؤلفون على هاتين الصفتين اسم الاستقرار (Stability) واللدونة (Plasticity).

إليك شرح لأفكارهم باستخدام تشبيهات بسيطة:

1. المشكلة: فخ "اللقطة الثابتة"

حالياً، عندما تقوم الشركات باختبار خوارزميات الترشيح الخاصة بها، فإنها تأخذ "لقطة" من البيانات. حيث يقومون بتدريب النموذج على بيانات قديمة ويتحققون من مدى جودة تنبؤه بالتفاعلات القليلة التالية.

التشبيه: الأمر يشبه اختبار سائق بجعله يقود على طريق مشمس وخالٍ لمدة 10 دقائق. أنت تعلم أنه يستطيع القيادة، لكنك لا تعرف كيف سيتعامل مع هطول أمطار مفاجئة، أو إطار مثقوب، أو نمط مروري جديد في الأسبوع المقبل.
المشكلة: الحياة الواقعية تتغير. أذواق المستخدمين تتبدل، وتظهر كتب جديدة، وتتلاشى المفضلات القديمة. الاختبارات الحالية لا تخبرنا ما إذا كان النموذج "سينسى" المفضلات القديمة عند تعلم أشياء جديدة، أو ما إذا كان "سيعلق" في الماضي ويفشل في تعلم الصيحات الجديدة.

2. الحل: اختبار "السفر عبر الزمن"

يقترح المؤلفون طريقة اختبار جديدة تحاكي التغيير. هم لا ينظرون فقط إلى لقطة ثابتة؛ بل يراقبون تطور النموذج.

كيف يعمل الاختبار:

الإعداد: يأخذون مجموعة بيانات لمراجعات الكتب ويقسمونها إلى فترتين زمنيتين: السنة الأولى (الماضي) والسنة الثانية (المستقبل).
الخدعة: في "السنة الثانية"، يقومون سراً بتغيير أسماء 50% من الكتب. بالنسبة للكمبيوتر، أصبحت هذه الآن كتباً جديدة وغير معروفة. هذا يجبر النموذج على التكيف.
السباق: يقومون بتدريب نسختين من أمين المكتبة:
- أمين المكتبة (أ) - "الحرس القديم": تم تدريبه على السنة الأولى فقط.
- أمين المكتبة (ب) - "الموظف الجديد": تم تدريبه على السنة الأولى والسنة الثانية (مع أسماء الكتب الجديدة).
بطاقة النتائج:
- اللدونة (القدرة على التكيف): ما مدى تفوق أمين المكتبة (ب) في ترشيح الكتب الجديدة مقارنة بأمين المكتبة (أ)؟ إذا كان (ب) أفضل بكثير، فإن النظام يتمتع بـ اللدونة (المرونة).
- الاستقرار (الذاكرة): ما مدى انخفاض قدرة أمين المكتبة (ب) على ترشيح الكتب القديمة (من السنة الأولى) مقارنة بأمين المكتبة (أ)؟ إذا كان (ب) لا يزال يتذكر الكتب القديمة جيداً، فإن النظام مستقر.

3. "معضلة الاستقرار واللدونة"

تسلط الورقة الضوء على مقايضة كلاسيكية، تشبه الأرجوحة:

لدونة عالية: النظام يتعلم الأشياء الجديدة بسرعة ولكنه قد ينسى الأشياء القديمة (مثل طالب يدرس بجد لاختبار جديد ولكنه ينسى درس الأسبوع الماضي).
استقرار عالٍ: النظام يتذكر كل شيء بدقة ولكنه يكافح للتكيف مع الاتجاهات الجديدة (مثل أمين مكتبة لا يرشح سوى الكتب من عام 1990 لأنه يرفض التعرف على الأنواع الجديدة).

4. ماذا وجدوا (التجربة)

اختبر الباحثون ثلاثة أنواع مختلفة من "أمناء المكتبة" (الخوارزميات) باستخدام بيانات من Goodreads:

الجار الأقرب القائم على المستخدم (UKNN): طريقة تجد الأشخاص ذوي الأذواق المتشابهة.
BPRMF: طريقة تستخدم الرياضيات لإيجال أنماط مخفية في التقييمات.
NeuMF: طريقة شبكة عصبية اصطناعية (ذكاء اصطناٍعي) معقدة.

النتائج:

أمين المكتبة "الجامد" (UKNN): كان هذا النوع مستقراً جداً. لقد تذكر الكتب القديمة بشكل مثالي ولم ترتبك بوجود الكتب الجديدة. ومع ذلك، كان منخفض اللدونة؛ فقد كافح للتكيف مع الكتب "المزيفة" الجديدة. كان مثل أمين مكتبة حفظ الفهرس عن ظهر قلب ولكنه لا يستطيع التعامل مع الوصولات الجديدة.
أمين المكتبة "المرن" (BPRMF): كان هذا النوع عالي اللدونة. لقد تكيف مع الكتب الجديدة بسرعة كبيرة. ومع ذلك، كان أقل استقراراً قليلاً؛ حيث جعل تعلم الأشياء الجديدة قدرته على تذكر الأشياء القديمة تسوء قليلاً.
أمين المكتبة "المتوازن" (NeuMF): وقع هذا النوع في المنتصف تقريباً، حيث أظهر مزيجاً من كلتا الصفتين.

5. لماذا هذا مهم؟

يجادل المؤلفون بأن معرفة "شخصية" النظام (هل هو جامد أم مرن؟) تساعد المطورين على اختيار الأداة المناسبة للمهمة:

العوالم سريعة التغير (مثل الأخبار أو وسائل التواصل الاجتماعي) تحتاج إلى أنظمة لدنة يمكنها التكيف فوراً.
العوالم بطيئة التغير (مثل الأدب الكلاسيكي أو الموسيقى) قد تستفيد من أنظمة مستقرة لا ترتبك بسبب الضجيج.

ملخص

هذه الورقة لا تسأل فقط "هل تعمل هذه الخوارزمية؟" بل تسأل "كيف تتصرف هذه الخوارمة عندما يتغير العالم؟" لقد بنوا "اختبار ضغط" جديداً لقياس ما إذا كان نظام الترشيح هو رجل عجوز عنيد (استقرار عالٍ، لدونة منخفضة) أو متعلم سريع (لدونة عالية، استقرار محتمل أقل)، مما يساعد المطورين على بناء أنظمة أفضل وأكثر موثوقية للمستقبل.

إليك ملخص تقني مفصل لورقة البحث بعنوان "قياس استقرار وليونة أنظمة التوصية".

1. بيان المشكلة

تعتمد بروتوكولات التقييم غير المتصلة (offline) التقليدية لأنظمة التوصية على مجموعات بيانات ثابتة، حيث يتم تقسيم البيانات إلى مجموعات تدريب واختبار لقياس الأداء في لحظة زمنية معينة. ومع ذلك، فإن الأنظمة في العالم الحقيقي ديناميكية؛ فهي تتطور بمرور الوقت، مما يتطلب إعادة تدريب متكررة باستخدام بيانات حديثة. وهذا يخلق فجوة حرجة في طرق التقييم الحالية:

معضلة الاستقرار واللدونة (Stability-Plasticity Dilemma): تواجه الأنظمة مقايضة بين الاستقرار (الاحتفاظ بالأنماط التي تم تعلمها سابقاً) واللدونة (القدرة على التكيف بسرعة مع الأنماط الجديدة).
محدودية الطرق الحالية: تعتمد أطر التعلم المستمر الحالية (المستخدمة غالباً في التصنيف الخاضع للإشراف) على "مهام" متميزة، وهو مفهوم غامض في أنظمة التوصية حيث تتدفق البيانات باستمرار دون حدود واضحة للمهام. علاوة على ذلك، يركز معظم البحث على "النسيان الكارثي" (الاستقرار) بينما يهمل اللدونة.
الحاجة: هناك نقص في وجود إطار عمل موحد ومستقل لقياس كيفية سلوك خوارزميات التوصية المختلفة عند إعادة تدريبها على بيانات متطورة، وتحديداً فيما يتعلق بقدرتها على الموازنة بين الاحتفاظ بالمعرفة القديمة واستيعاب الأنماط الجديدة.

2. المنهجية

يقترح المؤلفون بروتوكول تقييم غير متصل (offline) مستقل عن الخوارزميات والمقاييس، مصمم لمحاكاة تطور البيانات في العالم الحقيقي وقياس الاستقرار واللدونة.

3.1 ديناميكيات البيانات (التحول الاصطناعي)

للتحكم في توقيت وطبيعة التغيير، أدخل المؤلفون تحولاً اصطناعياً في مجموعة البيانات:

التقسيم الزمني: يتم تقسيم مجموعة البيانات $D$ زمنياً إلى فترتين متساويتين، $D_1$ (الأقدم) و $D_2$ (الأحدث).
التلاعب بالتسميات (Labels): يتم اختيار 50% من العناصر في $D_2$ $D_{2}$ عشوائياً وتغيير معرفاتها (IDs) إلى تسميات فريدة جديدة.
- هذا يجبر النموذج على معاملة هذه العناصر ككيانات جديدة تماماً في $D_2$ .
- تحتفظ الـ 50% المتبقية من العناصر بمعرفاتها الأصلية، مما يحافظ على بعض أنماط التفاعل الطبيعية.
النتيجة: يخلق هذا سيناريو حيث يتغير التوزيع الأساسي، مما يجبر النماذج على التكيف (اللدونة) مع احتمال نسيان الأنماط القديمة (الاستقرار).

3.2 البروتوكول التجريبي

يتم تدريب نموذجين لمحاكاة سيناريو "الإرث" مقابل "إعادة التدريب":

النموذج $M_1$ (الإرث/Legacy): تم تدريبه فقط على $D_1$ .
النموذج $M_2$ (المعاد تدريبه/Retrained): تم تدريبه على كل من $D_1$ و $D_2$ .
التقييم: يتم اختبار كلا النموذجين على مجموعات الاختبار المحجوزة من الفترتين الزمنيتين ( $D_{Test}^1$ و $D_{Test}^2$ ).

3.3 المقاييس

يحدد الإطار مقييسين أساسيين بناءً على درجات الأداء ( $S$ ) للنماذج على مجموعات الاختبار:

الاستقرار (Stability): يقيس مدى قدرة النموذج المعاد تدريبه ( $M_2$ $M_{2}$ ) على الاحتفاظ بالأداء على البيانات القديمة مقارنة بالنموذج الموروث ( $M_1$ $M_{1}$ ).
$Stability = 1 - (S_{1,1} - S_{2,1})$
حيث $S_{1,1}$ هو أداء $M_1$ على $D_{Test}^1$ و $S_{2,1}$ هو أداء $M_2$ على $D_{Test}^1$ .
- التفسير: القيمة القريبة من 1 تشير إلى استقرار عالٍ (عدم حدوث انخفاض في الأداء على البيانات القديمة). القيم الأكبر من 1 تعني أن النموذج المعاد تدريبه قد تحسن فعلياً في البيانات القديمة.
اللدونة (Plasticity): تقيس قدرة النموذج المعاد تدريبه ( $M_2$ $M_{2}$ ) على التكيف مع البيانات الجديدة مقارنة بالنموذج الموروث ( $M_1$ $M_{1}$ ).
$Plasticity = S_{2,2} - S_{1,2}$
حيث $S_{2,2}$ هو أداء $M_2$ على $D_{Test}^2$ و $S_{1,2}$ هو أداء $M_1$ على $D_{Test}^2$ .
- التفسير: تشير القيم الأعلى إلى قدرة أفضل على التكيف مع النظام الجديد.

3. المساهمات الرئيسية

إطار عمل مبتكر: بروتوكول تقييم مصمم خصيصاً لأنظمة التوصية لا يتطلب مهاماً محددة مسبقاً، مما يجعله قابلاً للتطبيق على تدفقات البيانات المستمرة.
تصميم مستقل (Agnostic): المنهجية مستقلة عن الخوارزمية المحددة (مثل الشبكية مقابل تحليل المصفوفات)، أو مجموعة البيانات، أو مقياس التقييم (الدقة، التنوع، إلخ).
رؤى تجريبية: أدلة أولية على وجود مقايضة بين الاستقرار واللدونة عبر النماذج الخوارزمية المختلفة.

4. النتائج التجريبية

قيم المؤلفون ثلاث خوارزميات ممثلة من مكتبة RecBole على مجموعة بيانات GoodReads (مراجعات الكتب):

UKNN: أقرب الجيران المعتمد على المستخدم (المعتمد على الجوار).
BPRMF: تحليل المصفوفة بترتيب بيرسون المخصص البايزي (العوامل الكامنة).
NeuMF: تحليل المصفوفة العصبية (التعلم العميق).

النتائج الرئيسية:

UKNN (المعتمد على الجوار):
- استقرار عالٍ (1.038): حافظ على الأداء أو حتى حسنه في البيانات القديمة بعد إعادة التدريب.
- لدونة منخفضة (0.180): عانى بشكل كبير في التكيف مع العناصر الجديدة في $D_2$ .
- التحليل: تعمل طرق الجوار كعملية "حفظ" للتفاعلات؛ إضافة بيانات جديدة لا يمحو الأنماط القديمة ولكنه يفشل في دمج الأنماط الجديدة بفعالية.
BPRMF (تحليل المصفوفة):
- استقرار أقل (0.989): عانى من انخفاض طفيف في الأداء على البيانات القديمة.
- أعلى لدونة (0.283): أظهر أفضل قدرة على التكيف مع الأنماط الجديدة.
NeuMF (الشبكي):
- ملف متوازن: الاستقرار (1.008) واللدونة (0.276) كانا بين UKNN و BPRMF، مما أظهر احتفاظاً قوياً وقدرة جيدة على التكيف.

الاستنتاج حول المقايضات: تشير النتائج إلى وجود مقايضة واضحة. النماذج المعتمدة على الجوار (UKNN) هي نماذج جامدة ومستقرة ولكنها غير مرنة. أما النماذج المعتمدة على النماذج (BPRMF, NeuMF) فهي أكثر حساسية للأنماط الجديدة (لدونة أعلى) ولكنها تخاطر بتدهور طفيف في البيانات التاريخية (استقرار أقل).

5. الأهمية والعمل المستقبلي

الأثر العملي: يسمح هذا الإطار لمهندسي الأنظمة باختيار الخوارزميات بناءً على ديناميكيات المجال. على سبيل المثال، المجالات عالية الديناميكية (الأخبار، وسائل التواصل الاجتماعي) قد تفضل النماذج ذات اللدونة العالية، بينما المجالات الثابتة (الكتب، الموسيقى) قد تستفيد من النماذج ذات الاستقرار العالي.
الامتثال التنظيمي: يساعد فهم هذه الملفات التعريفية في تقييم المخاطر للوائح مثل قانون الخدمات الرقمية في الاتحاد الأوروبي، والتنبؤ بكيفية استجابة الأنظمة لتحولات البيانات.
القصور والعمل المستقبلي:
- التحول الاصطناعي بنسبة 50% قد يقلل من تأثير الانحراف (drift) في العالم الحقيقي.
- البروتوكول الحالي يحتوي على تحيز محتمل لـ "التسرب الزمني" (temporal leakage) حيث يمتلك $M_2$ معرفة مستقبلية بالنسبة لـ $D_1$ .
- يشمل العمل المستقبلي التوسع في مجموعات البيانات، واختبار مقاييس تتجاوز الدقة (مثل التنوع والعدالة)، وإصدار حزمة برمجية مفتوحة المصدر لضمان قابلية التكرار.

باخت-صار، تنتقل هذه الورقة إلى ما وراء مقاييس الدقة الثابتة لتقدم عدسة ديناميكية لتقييم أنظمة التوصية، مسلطة الضوء على أن الخوارزمية "الأفضل" تعتمد على التوازن المحدد بين الاستقرار واللدونة المطلوب في سياق التطبيق.