📊 statistics

Towards Certified Unlearning for Deep Neural Networks

تقترح هذه الورقة تقنيات فعالة لتوسيع نطاق النسيان المعتمد ليشمل الشبكات العصبية العميقة من خلال استخدام تقريب هسيان العكسي ومعالجة سيناريوهات عدم التقارب والنسيان المتسلسل، مما يسد الفجوة بين الضمانات النظرية وتطبيقات النماذج غير المحدبة.

المؤلفون الأصليون: Binchi Zhang, Yushun Dong, Tianhao Wang, Jundong Li

نُشر 2026-04-23

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Binchi Zhang, Yushun Dong, Tianhao Wang, Jundong Li

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مكتبة عملاقة وذكية للغاية (شبكة عصبية عميقة) قرأت ملايين الكتب (بيانات المستخدمين) لتتعلم كيفية الإجابة على الأسئلة. في أحد الأيام، يقول أحد المستخدمين: "أريد أن أُنسى. من فضلك احذف كل الكتب التي كتبتها من مكتبتك وأعد تدريب عقلك حتى لا تتذكرني".

في الأيام الخوالي، كان الخيار الوحيد للمكتبة هو حرق المكتبة بأكملها وإعادة بنائها من الصرّ من جديد باستخدام الكتب المتبقية فقط. وهذا ما يسمى بـ "إعادة التدريب" (Retraining). هذا الخيار دقيق، لكنه يستغرق سنوات ويكلف ثروة طائلة.

تقدم هذه الورقة البحثية تقنية سحرية جديدة تسمى "النسيان المعتمد" (Certified Unlearning). إنها تشبه ممحاة عالية التقنية يمكنها إزالة تأثير مستخدم معين جراحياً من عقل المكتبة دون الحاجة لإعادة بناء المكتبة بأكملها، مع تقديم ضمان (شهادة) بأن المستخدم قد اختفى حقاً.

إليك كيف جعل المؤلفون هذا السحر يعمل مع الأنظمة المعقدة والفوضوية مثل الشبكات العصبية العميقة:

1. المشكلة: متاهة "غير محدبة" (Non-Convex)

معظم "المماحي" السابقة كانت تعمل بشكل جيد على التلال البسيطة والناعمة (النماذج المحدبة - Convex). لكن الشبكات العصبية العميقة تشبه متاهات معقدة متعددة الطبقات تحتوي على طرق مسدودة ووديان مخفية (غير محدبة - Non-convex).

التحدي: إذا حاولت استخدام ممحاة بسيطة على متاهة، فقد تمسح بالخطأ المسار الخاطئ أو تعلق في طريق مسدود. الطرق السابقة إما لم تعمل جيداً في هذه المتاهات أو لم تستطع إثبات أنها أزالت بيانات المستخدم بالفعل.

2. الحل: خدعتان بسيطتان

اقترح المؤلفون خدعتين ذكيتين لجعل الممحاة تعمل داخل المتاهة:

الخدعة (أ): "الخريطة المحلية" (التقريب المحلي المحدب - Local Convex Approximation)
تخيل أنك في متاهة مظلمة وملتوية. لا يمكنك رؤية الخريطة بأكملها، ولكن إذا نظرت إلى مجرد بقعة صغيرة من الأرض تحت قدميك مباشرة، فستبدو مسطحة وبسيطة.
يتظاهر المؤلفون بأن المتاهة المعقدة مسطحة في المكان الذي يقف فيه النموذج حالياً. هم يضيفون "مثبتاً" صغيراً (رياضياً، حد تنظيم - Regularization term) لجعل تلك البقعة الصغيرة تتصرف مثل تلة ناعمة. هذا يسمح لهم باستخدام الممحاة البسيطة بأمان، رغم أن بقية المتاهة فوضوية.
الخدعة (ب): "اختصار التخمين والتحقق" (تقريب مصفوفة هسيان العكسي - Inverse Hessian Approximation)
لإزالة مستخدم، ستحتاج عادةً إلى حساب معادلة ضخمة ومعقدة (مصفوفة هسيان - Hessian matrix) تتضمن كل كتاب في المكتبة. القيام بذلك بدقة يشبه محاولة عد كل حبة رمل على الشاطئ.
بدلاً من ذلك، يستخدم المؤلفون خدعة أخذ عينات ذكية (LiSSA). تخيل أنك تريد معرفة متوسط وزن الكتب؛ بدلاً من وزن كل كتاب على حدة، تأخذ حفنة عشوائية، وتزنها، ثم تستخدم صيغة ذكية لـ تقدير الوزن الإجمالي. هذه الطريقة أسرع بآلاف المرات ولا تزال دقيقة بما يكفي للقيام بالمهمة.

3. "الشهادة": إضافة القليل من الضجيج

كيف نعرف أن المستخدم قد اختفى حقاً؟ استخدم المؤلفون مفهوماً من "الخصوصية التفاضلية" (Differential Privacy).

التشبيه: تخيل أن لديك صورة للمكتبة بعد إزالة كتب المستخدم. لجعل من المستحيل تماماً معرفة ما إذا كانت كتب المستخدم موجودة من قبل، تضيف القليل من الضجيج الساكن (مثل الثلج على شاشة تلفاز قديم) إلى الصورة.
تثبت الرياضيات أنه إذا أضفت القدر المناسب من الضجيض (بناءً على مدى تغير النموذج)، فلن يتمكن أحد من التمييز بين النموذج "الممحي" والنموذج الذي تمت إعادة تدريبه من الصفر. هذا الضجيج هو "الشهادة".

4. المرونة في العالم الحقيقي

تتناول الورقة أيضاً سيناريوهين حقيقيين صعبين:

مشكلة "التوقف المبكر" (Early Stop): أحياناً تتوقف المكتبة عن الدراسة قبل أن تصل إلى الكمال (عدم التقارب). أظهر المؤلفون أن طريقتهم لا تزال تعمل حتى لو لم يكن النموذج في حالته "المثالية".
"تأثير السلسلة" (النسيان المتتالي - Sequential Unlearning): ماذا لو طلب المستخدم (أ) أن يُنسى، ثم طلب المستخدم (ب) أن يُنسى؟ لا يمكنك العودة إلى المكتبة الأصلية؛ بل يجب عليك مسح المستخدم (ب) من المكتبة التي تم مسح المستخدم (أ) منها بالفعل. أثبت المؤلفون أن طريقتهم تعمل في هذه السلسلة دون أن تتراكم الأخطاء.

5. النتائج: سريعة وآمنة

اختبر المؤلفون طريقتهم على ثلاث مجموعات بيانات شهيرة (MNIST، CIFAR-10، SVHN) باستخدام أنواع مختلفة من الشبكات العصبية.

السرعة: كانت طريقتهم أسرع بـ 10 مرات من إعادة بناء النموذج من الصفر.
الخصوصية: استخدموا "هجمات الاستدلال على العضوية" (Membership Inference Attacks) (محاولات المخترقين لتخمين ما إذا كانت بيانات شخص معين موجودة في النموذج). جعلت طريقتهم المخترقين يفشلون بنفس القدر الذي يفشلون به إذا تمت إعادة بناء النموذج من الصفر.
الجودة: ظل النموذج ذكياً بما يكفي للإجابة على الأسئلة بشكل صحيح، حتى بعد عملية "الجراحة".

الملخص

فكر في هذه الورقة البحثية كأنها اخترعت ليزر جراحي للذكال الاصطناعي. بدلاً من بتر الطرف بأك-مله (إعادة التدريب) لإزالة شظية (بيانات مستخدم)، طوروا طريقة لضرب الشظية بدقة، وإضافة ضمادة صغيرة (ضجيج) لإخفاء الندبة، وتقديم ملاحظة طبية (شهادة) تثبت أن المريض في أمان. هذا يجعل "الحق في النسيان" ممكناً فعلياً لأنظمة الذكاء الاصطناعي الضخمة والمعقدة التي نستخدمها كل يوم.

إليك ملخص تقني مفصل للورقة البحثية بعنوان "نحو نسيان معتمد للشبكات العصبية العميقة" (Towards Certified Unlearning for Deep Neural Networks) من إعداد بينتشي تشانغ وآخرون.

1. بيان المشكلة

يشير النسيان الآلي (Machine Unlearning) إلى عملية إزالة تأثير بيانات تدريب محددة (مجموعة البيانات المراد نسيانها $D_u$ ) من نموذج مدرب دون الحاجة لإعادة التدريب من البداية. وبينما تم تطبيق النسيان المعتمد (Certified Unlearning) بنجاح على النماذج المحدبة (مثل النماذج الخطية وSVM) مع ضمانات نظرية قوية، إلا أن تطبيقه على الشبكات العصبية العميقة (DNNs) يظل تحديًا بسبب:

عدم التحدب (Non-convexity): تمتلك الشبكات العصبية العميقة مساحات خسارة غير محدبة للغاية، مما يجعل طرق التقريب القائمة على نيوتن (التي تعتمد على افتراضات التحدب) غير صالحة نظريًا.
التكلفة الحسابية: إعادة التدريب الفعلي لعملية النسيان أمر مكلف للغاية بالنسبة للشبكات العصبية العميقة واسعة النطاق.
التعقيد في العالم الحقيقي: غالبًا ما تفشل الطرق الحالية في مراعاة حالات عدم التقارب أثناء التدريب (مثل التوقف المبكر) أو طلبات النسيان المتتالية (عندما يطلب مستخدمون متعددون حذف بياناتهم عبر فترات زمنية).

تتمثل المشكلة الجوهرية في تطوير طريقة توفر اعتمادًا نظريًا (تضمن أن النموذج الذي تم نسيانه لا يمكن تمييزه إحصائيًا عن النموذج المعاد تدريبه) للشبكات العصبية العميقة مع الحفاظ على الكفاءة الحسابية.

2. المنهجية

يقترح المؤلفون إطار عمل يوسع نطاق النسيان المعتمد ليشمل الأهداف غير المحدبة من خلال ثلاث ركائز تقنية:

أ. الأساس النظري: حصر خطأ التقريب

تعتمد الطريقة على النظرية 2.3، التي تنص على أنه إذا كان التقريب $\tilde{w}$ للنموذج المعاد تدريبه $\tilde{w}^*$ يمتلك خطأً محدودًا $\Delta = \|\tilde{w} - \tilde{w}^*\|_2$ ، فإن إضافة ضوضاء غاوسية $Y \sim \mathcal{N}(0, \sigma^2 I)$ حيث $\sigma \ge \frac{\Delta}{\epsilon}\sqrt{2\ln(1.25/\delta)}$ ينتج عملية نسيان معتمدة بمعايير $\epsilon-\delta$ .

ولتحقيق ذلك في الشبكات العصبية العميقة، قام المؤلفون بتعديل تحديث نيوتن أحادي الخطوة القياسي:

التقريب المحدب المحلي: للتعامل مع عدم التحدب، أضافوا حدًا لتنظيم $\ell_2$ (يُرمز له بـ $\lambda$ ) إلى دالة الهدف أثناء حساب مصفوفة هسيان (Hessian)، مما يضمن أن مصفوفة الهسيان $(H_{w^*} + \lambda I)$ موجبة التعريف، مما يسمح بوجود معكوس محدود.
قيود معيار المعلمات (Parameter Norm Constraints): فرضوا قيدًا $\|w\|_2 \le C$ على معلمات النموذج، مما يحد من المسافة بين النموذج الأصلي $w^*$ والنموذج المعاد تدريبه $\tilde{w}^*$ ويمنع انفجار خطأ التقريب.
اشتقاق حد الخطأ: في ظل هذه القيود، اشتقوا حدًا علويًا قابلاً للتتبع لخطأ التقريب (المعادلتان 7 و11) لا يعتمد على افتراضات التحدب الشاملة.

ب. الكفاءة الحسابية: تقريب معكوس مصفوفة الهسيان

حساب معكوس مصفوفة الهسيان الدقيق للشبكات العصبية العميقة يتطلب تعقيدًا قدره $O(p^3)$ (حيث $p$ هو عدد المعلمات)، وهو أمر غير ممكن عمليًا. لذا استخدم المؤلفون:

خوارزمية LiSSA (خوارزمية الدرجة الثانية العشوائية ذات الوقت الخطي): وهي مقدر تكراري لتقريب حاصل ضرب المتجه في معكوس مصفوفة الهسيان بتعقيد $O(sp^2)$ ، حيث $s$ هو عدد التكرارات.
تفكيك التدرج (Gradient Decomposition): بدلاً من حساب التدرج على مجموعة البيانات المتبقية $D_r$ (وهي مجموعة كبيرة)، استفادوا من خاصية $\nabla L(w^*, D) = 0$ للتعبير عن $\nabla L(w^*, D_r)$ بدلالة التدرج على مجموعة البيانات المراد نسيانها $D_u$ الصغيرة. هذا يقلل التعقيد من $O(np) $إلى$ O_{n_u p}$.

ج. التعامل مع سيناريوهات العالم الحقيقي

عدم التقارب: تم تكييف الطريقة للحالات التي يتوقف فيها التدريب مبكرًا (نموذج $w^*$ غير مثالي). تم تعديل حد الخطأ ليشمل معيار التدرج المتبقي ( $G$ )، مما يضمن صحة الاعتماد حتى لو لم يصل النموذج إلى التقارب الكامل.
النسيان المتتالي: يدعم الإطار طلبات الحذف المتتالية المتعددة. أثبت المؤلفون أن حد خطأ التقريب يظل مستقرًا (وقد ينخفض) مع تقلص مجموعة البيانات المتبقية، طالما ظلت معلمات النموذج محدودة.

3. المساهمات الرئيسية

التوسع في حالات عدم التحدب: أول توسيع صارم للنسيان المعتمد للشبكات العصبية العميقة دون الاعتماد على افتراضات التحدب غير الواقعية، وذلك باستخدام التقريب المحدب المحلي وقيود المعلمات.
خوارزمية فعالة: تطوير خوارزمية فعالة حسابيًا (الخوارزمية 1) باستخدام LiSSA وتفكيك التدرج، مما يقلل التعقيد الزمني بشكل كبير مقارنة بإعادة التدريب الدقيقة.
ضمانات نظرية للسيناريوهات المعقدة: تقديم براهين تثبت أن الاعتماد يظل قائمًا في حالات التدريب غير المتقارب والنسيان المتتالي، مما يعالج الفجوات التطبيقية.
تحليل حد الخطأ: تحليل مفصل يوضح كيف تؤثر المعلمات الفائقة (التنظيم $\lambda$ ، وحد المعيار $C$ ) على حد خطأ التقريب ومستوى الضوضاء الناتج.

4. النتائج التجريبية

قيم المؤلفون طريقتهم على مجموعات بيانات MNIST وCIFAR-10 وSVHN باستخدام بنيات MLP وAll-CNN وResNet-18.

فعالية النسيان (الخصوصية):
- هجمات الاستدلال على العضوية (MIA): حققت الطريقة المعتمدة أدنى معدلات نجاح للهجوم (الدقة وAUC) مقارنة بالنماذج المرجعية (Fine-tuning، Negative Gradient، Fisher Forgetting، L-CODEC)، مما يشير إلى إزالة فائقة للمعلومات المتعلقة بالعينات المراد نسيانها.
- وقت إعادة التعلم: كان الوقت المطلوب لإعادة تدريب النموذج المنسي للوصول إلى عتبة خسارة معينة منخفضًا، مما يؤكد أن النموذج قد "نسي" البيانات بفعالية.
منفعة النموذج (Utility):
- حافظ النموذج المنسي على درجات عالية في مقياس F1 على المجموعة المتبقية ومجموعة الاختبار، بشكل يقارب النموذج المعاد تدريبه من الصفر.
- انخفض الأداء على المجموعة المراد نسيانها بشكل كبير (كما هو مطلوب)، متفوقًا على النماذج المرجعية التي احتفظت بالكثير من المعلومات.
الكفاءة:
- كانت طريقة النسيان المعتمدة أسرع بأكثر من 10 مرات من إعادة التدريب من الصفر.
- وفر استخدام تقريب معكوس الهسيان (LiSSA) تسريعًا قدره 470 ضعفًا مقارنة بحساب المعكوس الدقيق للهسيان (عند اختباره على MLP/MNIST).
دراسات الاستئصال (Ablation Studies):
- أدى إزالة التقريب المحدب المحلي ( $\lambda=0$ ) أو إزالة قيد المعيار ( $C$ ) إلى زيادة كبيرة في حد خطأ التقريب، مما يؤكد ضرورة هذه التقنيات.
- أدت زيادة $\lambda$ إلى تقليل حد الخطأ ولكنها تطلبت ضبطًا دقيقًا لتجنب تدهور منفعة النموذج.

5. الأهمية

تجسر هذه الورقة فجوة حرجة بين النسيان الآلي النظري وتطبيقات التعلم العميق العملية.

الصرامة النظرية: نقلت النسيان المعتمد إلى ما وراء النماذج المحدبة، وقدمت أول ضمانات نظرية للشبكات العصبية العميقة تأخذ في الاعتبار عدم التحدب وعدم التقارب.
القابلية للتطبيق العملي: من خلال إثبات الكفاءة والمتانة في حالات النسيان المتتالي وغير المتقارب، تجعل هذه الدراسة النسيان المعتمد حلًا قابلًا للتطبيق في الأنظمة الواقعية التي تلتزم بلوائح مثل GDPR وCCPA.
ضمان الخصوصية: تقدم طريقة يمكن إثباتها رياضيًا لضمان إزالة بيانات المستخدم من الشبكات العصبية العميقة، مما يعالج "الحق في النسيان" بضمانات أقوى من التقريبات التجريبية.

باختًا، تحقق الطريقة المقترحة توازنًا بين الصرامة (الاعتماد النظري القوي)، والكفاءة (الحساب السريع)، والمنفعة (الحفاظ على أداء النموذج)، مما يضع معيارًا جديدًا للنسيان في التعلم العميق.