🤖 AI

Obliviate: Efficient Unlearning in Recommender Systems

تقترح هذه الورقة Obliviate، وهو إطار عمل فعال لعملية "النسيان" (unlearning) يتكون من مرحلتين لأنظمة التوصية، يستخدم مُكيِّف نسيان منخفض الرتبة (Low-Rank Unlearning Adapter) ومعايرة مدركة للمحلية (Locality-Aware Calibration) لإزالة بيانات المستخدم وتأثيرها بتمامٍ عالٍ وتكلفة حوسبية ضئيلة مع الحفاظ على جودة التوصية.

المؤلفون الأصليون: Tushar Prakash, Brijraj Singh, Niranjan Pedanekar, Narayan Chaturvedi

نُشر 2026-07-28

📖 6 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Tushar Prakash, Brijraj Singh, Niranjan Pedanekar, Narayan Chaturvedi

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تسير عبر مكتبة ضخمة وصاخبة، حيث كل كتاب هو قطعة من المعلومات حول ما يحبه الناس. لقد أمضى أمناء المكتبة (الخوارزميات) سنوات في قراءة كل كتاب ليتعلموا بالضبط ما قد يعجبك تالياً. إنهم بارعون جداً لدرجة أنهم يستطيعون التنبؤ بأغنيتك أو فيلمك المفضل القادم بدقة مخيفة. ولكن هنا تكمن المشكلة: أحياناً، تريد من أمين المكتبة أن ينسى كتاباً معيناً استعرته ذات مرة. ربم نقرت عليه بالخطأ، أو ربما غيرت رأيك. في العالم الحقيقي، تقول قوانين مثل "الحق في النسيان" إنه إذا طلبت منهم النسيان، فيجب عليهم ذلك.

المشكلة هي أن هؤلاء الأمناء قد قرأوا الكثير من الكتب لدرجة أن كل كتاب أصبح متشابكاً مع كل كتاب آخر. لنسيان كتاب واحد فقط، كانت الطريقة القديمة للقيام بالأمر هي رمي المكتبة بأكملها، والبدء من الصفر وقراءة كل كتاب متبقٍ مرة أخرى. هذا يشبه حرق مكتبة كاملة لمجرد إزالة مجلد واحد مغبر؛ الأمر يستغرق وقتاً طويلاً ويكلف ثروة. لقد حاول العلماء العثور على "ممحاة سحرية" يمكنها مسح ذاكرة واحدة دون تدمير بقية الدماغ، لكن المحاولات السابقة كانت إما بطيئة، أو فوضوية، أو جعلت أمين المكتبة ينسى الكثير من الأشياء، مما أفسد قدرته على تقديم توصيات جيدة.

هنا يأتي دور طريقة جديدة تسمى Obliviate. سميت بهذا الاسم تيمناً بتعويذة من سلسلة أفلام ساحرة مشهرة تمحو ذكريات محددة، وتقترح هذا البحث حيلة ذكية من خطوتين لجعل أنظمة التوصية تنسى بيانات مستخدم محدد بسرعة ونظافة، دون الحاجة إلى إعادة تدريب النموذج بالكامل من البادر.

المشكلة: فخ "إعادة القراءة"

في عالم أنظمة التوصية (مثل يوتيوب أو أمازون)، تتعلم النماذج من خلال النظر في ملايين التفاعلات بين المستخدمين والعناصر. عندما يقول مستخدم: "يرجى حذف حسابي وكل بياناتي"، يجب على النظام إزالة تأثير تاريخ هذا المستخدم. الطريقة الأكثر موثوقية للقيام بذلك هي حذف البيانات وإعادة تدريب النموذج من الصفر. ومع ذلك، بالنسبة للأنظمة الضخمة، تستغرق إعادة التدريب أياماً أو أسابيع وتكلف الكثير من المال.

حاولت الأساليب الموجودة أن تكون أسرع. قام بعضها بتقسيم المكتبة إلى غرف صغيرة (أجزاء)، وإعادة قراءة الغرف التي تم حذف البيانات منها فقط، لكن هذا غالباً ما يكسر الروابط بين الأجزاء المختلفة للمكتبة. وحاول البعض الآخر استخدام الرياضيات لتقدير مدى تغير النموذج بسبب ذلك المستخدم الواحد ومحاولة عكس التأثير. لكن حيل "الرياضيات العكسية" هذه كانت غالباً بطيئة جداً لأنها تتطلب حسابات معقدة، أو كانت عدوانية للغاية لدرجة أنها أفسدت قدرة النموذج على التوصية بالأشياء للآخرين.

الحل: خدعة سحرية من مرحلتين

يقترح مؤلفو هذه الورقة البحثية طريقة Obliviate، وهي طريقة تعمل كممحاة جراحية دقيقة بدلاً من مطرقة ثقيلة. تعمل عبر مرحلتين متميزتين لإزالة "ذاكرة" البيانات المحذوفة مع الحفاظ على المعرفة العامة للنموذج سليمة.

المرحلة الأولى: "مُلحق التعلم منخفض الرتبة" (LUA)
تخيل نموذج التوصية كآلة ضخمة ومعقدة تحتوي على ملايين التروس. عندما يتم حذف مستخدم، ليس من الضروري أن تتحرك كل التروس؛ بل تحتاج فقط بعض التروس المحددة المتعلقة بتاريخ ذلك المستخدم إلى التحرك قلي التواءً بسيطاً.

تستخدم المرحلة الأولى من Obliviate اختصاراً ذكياً. فبدلاً من محاولة إعادة حساب موضع كل ترس (وهو أمر بطيء)، تستخدم "وكيل انحناء" (curvature proxy). تخيل هذا كخريطة تخبر النظام بالضبط في أي اتجاه يجب أن تتحرك التروس لإلغاء تأثير المستخدم المحذوف، دون الحاجة إلى القيام بالعمل الشاق لإعادة التدريب الكامل.

الأمر الجوهﻟي هو أن هذه المرحلة لا تلمس الآلة بأكملها. فهي تبني "مُلحقاً" (adapter) صغيراً وخفيف الوزن (وحدة منخفضة الرتبة) يتم تركيبه على النموذج الحالي. هذا الملحق يشبه قطعة صغيرة من التروس الجديدة التي تحرك فقط الأجزاء المحددة من الآلة المتأثرة بالحذف. إنه يدفع النموذج بفعالية نحو الحالة التي كان عليها قبل إضافة بيانات ذلك المستخدم المحدد، لكنه يفعل ذلك عن طريق تعديل شريحة صغيرة ومنخفضة الأبعاد من المعلمات فقط. وهذا يجعل العملية سريعة للغاية.

المرحلة الثانية: "المعايرة الواعية بالمحلية" (LAC)
هذا هو الجزء الصعب: أحياناً، عندما تحاول مسح ذاكرة، قد تجعل أمين المكتبة خرقاً قليلاً عن غير قصد. قد تزيل المرحلة الأولى الذاكرة السيئة ولكنها قد تضعف أيضاً قدرة النموذج على التوصية بالأشياء للآخرين بشكل طفيف.

ولإصلاح ذلك، تعمل المرحلة الثانية كجلسة ضبط لطيفة. فهي تأخذ النموذج مع "الملحق" الجديد وتجري جلسة تدريب قصيرة ومركزة. لكنها لا تستخدم المكتبة بأكملها مرة أخرى. بدلاً من ذلك، تستخدم "مجموعة شهود" (witness set) صغيرة، وهي مجموعة صغيرة من الأمثلة التي تشمل:

البيانات المحذوفة (للتأكد من أنها قد نُسيت حقاً).
"السلبيات الصعبة" (العناصر التي لم يعجب المستخدم بالتأكيد، للحفاظ على حدة منطق الترتيب).
مخزن احتياطي صغير من البيانات الآمنة والمحتفظ بها (لتذكير النموذج بكيفية التوصية بالأشياء للآخرين).

خلال هذه المرحلة، يتم تعليم النموذج دفع العناصر المحذوفة إلى أسفل القائمة (جعلها غير مرئية) مع استخدام تقنية تسمى "التقطير" (distillation) لنسخ العادات الجيدة من النموذج الأصلي. هذا يضمن أن النموذج ينسى المستخدم المحدد ولكنه يتذكر كيف يكون موصياً جيداً للجميع.

ماذا وجدوا؟

اختبر الباحثون Obliviate على عدة مجموعات بيانات من العالم الحقيقي، بما في ذلك MovieLens (أفلام)، وAmazon (تسوق)، وYelp (أعمال محلية). لقد قاموا بمحاكاة سيناريو طلبوا فيه من النظام نسيان بيانات 20% من المستخدمين، وهي نسبة عالية جداً مقارنة بالاختبارات السابقة التي كانت تحذف عادةً 1% أو 5% فقط.

كانت النتائج مبهرة:

السرعة: كانت Obliviate أسرع بما يصل إلى 3 مرات من الطرق التي حاولت إعادة تدريب النموذج من الصفر. وفي بعض الحالات، كانت أسرع بمئات المرات من طرق "التقسيم" (sharding) القديمة. على سبيل المثال، في إحدى مجموعات البيانات، استغرقت إعادة التدريب أكثر من 1,900 ثانية، بينما أنجزت Obliviate المهمة في حوالي 57 ثانية فقط.
الجودة: لم يكتفِ النموذج بنسيان البيانات فحسب، بل ظل بارعاً في عمله. في الواقع، في بعض مجموعات البيانات، كان أداء النموذج الذي تم "إلغاء تعلمه" أفضل حتى من النموذج الأصلي، مما يشير إلى أن إزالة "الضجيج" الناتج عن البيانات المحذوفة ساعد في تحسين التوصيات.
الاكتمال: قاموا بقياس "معدل التراجع" (Demotion Rate)، وهو ما يتحقق مما إذا كانت العناصر المحذوفة قد أصبحت الآن في مرتبة أدنى من العناصر العشوائية. نجحت Oblviate في دفع العناصر المحذوفة للأسفل بشكل أكبر بكثير من الطرق الأخرى، مما أثبت أن الذاكرة قد مُسحت حقاً.

الخلاصة

تشير هذه الورقة البحثية إلى أننا لسنا بحاجة لحرق المكتبة لإزالة كتاب واحد. من خلال استخدام نهج ذكي مكون من خطوتين — أولاً إجراء تعديل سريع ومستهدف للتروس، ثم ضبط النظام بلطف باستخدام مجموعة صغيرة من الأمثلة — يمكننا جعل أنظمة التوصية تنسى بيانات مستخدم محددة بكفاءة. هذا يحافظ على سرعة النظام، وتكلفته المنخفضة، وامتثاله لقوانين الخصوصية، مع ضمان استمرار معرفته بكيفة التوصية بالفيلم أو المنتج الرائع التالي. ويشير المؤلفون إلى أنه بينما تعتمد طريقتهم على بعض الافتراضات الرياضية حول كيفية سلوك النموذج، فإن تجاربهم تظهر أنها تعمل بشكل جيد للغاية، مما يوفر مساراً عملياً للمستقبل في مجال الخصوصية في عصر البيانات الضخمة.

ملخص تقني: Obliviate: التعلم المنسي الفعال في أنظمة التوصية

1. صياغة المشكلة

تتناول الورقة البحثية تحدي التعلم المنسي للآلة (machine unlearning) في أنظمة التوصية واسعة النطاق، وهو ضرورة تفرضها لوائح خصوصية البيانات مثل GDPR وCCPA، والتي تفرض "الحق في النسيان". الهدف الجوهري هو إزالة تأثير مجموعة محددة من مجموعة الحذف ( $S$ ) من تفاعلات المستخدم والعنصر من نموذج مدرب ( $\theta_0$ ) دون تكبد التكلفة الحسابية الباهظة لإعادة التدريب الكامل على مجموعة البيانات المتبقية ( $D \setminus S$ ).

يجب أن يستوفي أي منهج فعال للتعلم المنسي ثلاثة معايير متنافسة:

الاكتمال (Completeness): يجب إزالة تأثير $S$ تمامًا من النموذج.
المنفعة (Utility): يجب الحفاظ على أداء النموذج على البيانات المتبقية ( $D \setminus S$ ).
الكفاءة (Efficiency): يجب أن تكون عملية التعلم المنسي أسرع بكثير من إعادة التدريب من الصفر.

تواجه الأساليب الحالية قيودًا كبيرة. تعاني الأساليب القائمة على التقسيم (مثل SISA وRecEraser) من أعباء تشغيلية عالية عندما تمتد طلبات الحذف عبر شرائح متعددة. أما أساليب التعلم المنسي الدقيق فهي تقتصر على عائلات نماذج محددة. وتتطلب الأساليب القائمة على دالة التأثير (مثل IFRU) غالبًا حسابات تكرارية مكلفة لضرب مصفوفة هسيان (Hessian-vector products)، وكثيرًا ما تؤدي إلى تدهور منفعة التوصية على البيانات المتبقية. وفي المقابل، فإن الأساليب التي تركز على المنفعة (مثل RRL) غالبًا ما تفشل في تحقيق اكتمال حقيقي، حيث تترك تأثيرات متبقية في المعلمات.

2. المنهجية: Obloviate

يقترح المؤلفون Obliviate، وهو إطار عمل جديد للتعلم المنسي ثنائي المراحل وغير مرتبط بهيكلية معينة، مصمم لتقريب النموذج المعاد تدريبه ( $\theta^*_{-S}$ ) عن طريق تقدير إزاحة المعلمات ( $\Delta\theta$ ) الناجمة عن إزالة $S$ .

المرحلة الأولى: محول التعلم المنسي منخفض الرتبة (LUA)

تقوم المرحلة الأولى بإجراء تحديث عكسي بأسلوب نيوتن (Newton-style downdate) لعكس التأثير المباشر لمجموعة الحذف.

التحديث العكسي المدرك للانحناء (Curvature-Aware Downdate): بدلاً من قلب مصفوفة هسيان كاملة (وهو أمر مستعصٍ للنماذج الكبيرة)، يستخدم Obliviate بديلًا موجب التعريف مشتقًا من إحصائيات العزم الثاني لمحسن Adam. يعمل هذا كمهيئ قطري ( $\hat{H}$ )، مما يسمح بتقدير اتجاه التحديث بكفاءة: $\Delta\theta_0 \approx -\hat{H}^{-1}g_S$ ، حيث $g_S$ هو تجميع تدرج الحذف.
الإسقاط منخفض الرتبة (Low-Rank Projection): إدراكًا لأن تأثيرات الحذف في أنظمة التوصية غالبًا ما تكون منخفضة الأبعاد (تؤثر على تضمينات مستخدمين/عناصر محددة)، يتم إسقاط تحديث المعلمات الكامل على فضاء فرعي منخفض الرتبة. باستخدام تحليل القيم المفردة المقطوع (SVD)، يتم تحليل التحديث إلى محول مدمج ( $\Delta W \approx AB^\top$ ). يُضاف هذا المحول إلى النموذج الأساسي المجمد، مما يقيد التصحيحات بالفضاءات الفرعية للمعلمات الأكثر تأثرًا وينشر التعلم المنسي إلى المستخدمين والعناصر المجاورة.

المرحلة الثانية: المعايرة المدركة للمحلية (LAC)

بينما يوفر LUA تقريبًا أوليًا قويًا، فإن التحديث العكسي الشديد قد يؤدي إلى فجوة في المنفعة. تقوم المرحلة الثانية بتنقيح المحولات منخفضة الرتبة لاستعادة جودة التوصية مع الحض من ضمانات النسيان.

بناء مجموعة الشهود (Witness Set Construction): تعمل LAC على مجموعة شهود مدمجة ( $W = S \cup \text{Neg}(S) \cup R$ )، تتكون من مجموعة الحذف، والتفاعلات السلبية الصعبة، وعازل صغير من التفاعلات المتبقية.
التحسين المشترك (Joint Optimization): تقوم المرحلة بتحسين دالة خسارة مركبة تتكون من ثلاثة عناصر:
1. خسارة التعلم المنسي ( $L_{\text{unlearn}}$ ): تستخدم ترتيب BPR لدفع درجات العناصر المحذوفة لتكون أقل من العينات السلبية، مما يضمن خفض تصنيفها.
2. خسارة التقطير ( $L_{\text{distill}}$ ): تقلل الفرق المربع بين تنبؤات النموذج الذي تم نسيانه وتنبؤات النموذج الأصلي على العازل المتبقي، مما يحافظ على المنفعة العالمية.
3. التنظيم (Regularization): يقيد حجم تحديثات المعلمات لضمان بقاء التنقية محلية ضمن فضاء المحول الفرعي (نهج منطقة الثقة).

3. المساهمات الرئيسية

تحدد الورقة أربع مساهمات رئيسية:

إطار عمل Obliviate: طريقة تعلم منسي ثنائية المراحل تحقق درجة عالية من اكتمال النسيان مع الحفاظ على منفعة التوصية، معالجةً بذلك المقايضات في الأساليب الحالية.
بديل انحناء فعال: نهج لتقريب معلومات الدرجة الثانية باستخدام إحصائيات Adam، مما يتجنب حساب هسيان صريح. وهذا يتيح إجراء تحديث عكسي بأسلوب نيوتن ضمن فضاء فرعي مدمج منخفض الرتبة.
المعايرة المدركة للمحلية (LAC): مرحلة تنقية خفيفة الوزن تستخدم أهداف التقطير والترتيب لتصحيح فجوات المنفعة دون إعادة تدريب كاملة.
الأداء التجريبي: تجارب مكثفة تثبت أن Obliviate يحقق أداءً رائدًا (state-of-the-art)، لا سيما تحت نسب حذف كبيرة (تصل إلى 20% من البيانات)، مع تسريع حسابي كبير مقارنة بنماذج إعادة التدريب المرجعية.

4. النتائج التجريبية

قيم المؤلفون Obliviate على ثلاث مجموعات بيانات (ML-1M، Amazon، Yelp) باستخدام بنيتين أساسيتين (MF-BPR وLightGCN).

الحفاظ على المنفعة: تفوق Obliviate باستمرار أو ساوى النماذج المرجعية المعاد تدريبها من حيث Recall وNDCG. وفي مجموعات البيانات المتفرقة (Amazon، Yelp)، أظهر مكاسب كبيرة (على سبيل المثال، تحسن في المنفعة النسبية يصل إلى 9% عن النموذج الأصلي في بعض الإعدادات) مقارنة بأساليب مثل IFRU وRRL، التي أظهرت تغيرات طفيفة أو تدهورًا.
اكتمال التعلم المنسي: تم قياسه بواسطة معدل الخفض (Demotion Rate) (احتمالية أن يتم ترتيب عنصر محذوف تحت عنصر سلبي)، حقق Obliviate أعلى الدرجات عبر جميع مجموعات البيانات والبنى، مما يشير إلى كبح أكثر فعالية للتفاعلات المحذوفة مقارنة بـ IFRU وRRL.
الكفاءة الحسابية: أظهر Obliviate تسريعًا هائلًا مقارنة بإعادة التدريب الكاملة والأساليب القائمة على التقسيم. على سبيل المثال، في نموذج ML-1M LightGCN، أكمل Obliviate عملية التعلم المنسي في 24.3 ثانية، مقارنة بـ 1,182 ثانية لإعادة التدريب الكاملة وأكثر من 1,100 ثانية للأساليب القائمة على التقسيم. كما كان أسرع من الأساليب القائمة على التأثير مثل IFRU.
دراسات الاستئصال (Ablation Studies): أدى إزالة أي من مرحلتي LUA أو LAC إلى تدهور الأداء، مما يؤكد أن كل من التحديث العكسي المدرك للانحناء وتنقية المعايرة ضروريان لموازنة الاكتمال والمنفعة.

5. الأهمية والادعاءات

تزعم الورقة أن Obliviate يقدم حلاً عمليًا وقابلاً للتوسع لأنظمة التوصية واسعة النطاق التي تواجه طلبات حذف البيانات. ومن خلال فصل عملية التعلم المنسي عن إعادة التدريب الكامل والحسابات المعقدة من الدرجة الثانية، فإنه يتيح الامتثال للوائح الخصوصية دون التضحية بجودة النموذج أو تكبد تكاليف باهظة.

يضع المؤلفون عملهم كخطوة نحو جعل أنظمة الذكاء الاصطناعي المخصصة أكثر وعيًا بالخصوصية وخضوعًا للمساءلة. وهم يقرون بقيد يتمثل في أن بديل الانحناء يعتمد على إحصائيات محسن Adam، مما يشير إلى أن العمل المستقبلي يمكن أن يستكشف تقريبات انحناء أكثر دقة أو غير مرتبطة بمحسن معين. ومع ذلك، فإنهم يؤكدون أن نهجهم الحالي يوفر توازنًا قويًا بين الكفاءة والاكتمال والمنفعة، وهو ما تم التحقق منه تجريبيًا عبر معايير متنوعة.