🤖 machine learning

Sequential Subspace Noise Injection Prevents Accuracy Collapse in Certified Unlearning

تقدم هذه الورقة البحثية حقن الضجيج في الفضاءات الجزئية المتتالية، وهي طريقة توزع الضجيج عبر فضاءات معلمات متعامدة لتحسين دقة التعلم المعتمد بشكل كبير مع الحفاظ على ضمانات الخصوصية التفاضلية الصارمة.

المؤلفون الأصليون: Polina Dolgova, Sebastian U. Stich

نُشر 2026-06-01

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Polina Dolgova, Sebastian U. Stich

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحثية بعنوان "حقن ضوضاء الفضاء الجزئي المتسلسل يمنع انهيار الدقة في النسيان المعتمد"، مترجمة إلى لغة يومية مع استخدام التشبيهات.

المشكلة الكبرى: "الممحاة" التي تمحو كل شيء

تخيل أن لديك فناناً ماهراً للغاية (نموذج تعلم آلي) قام برسم لوحة فنية رائعة بناءً على مجموعة محددة من الصور. فجأة، يقول له أحد الزبائن: "أريدك أن تنسى هذه الصورة المحددة التي أعطيتك إياها".

في العالم القانوني (مثل قانون GDPR)، لا يمكنك مجرد التظاهر بأنك نسيت؛ بل يجب عليك إثبات ذلك رياضياً بأن الصورة قد حُذفت فعلاً. الطريقة القياسية الحالية للقيام بذلك تسمى النسيان المعتمد (Certified Unlearning). وهي تعمل مثل ممحاة عنيفة جداً. لإثبات أن الصورة قد اختفت، تقوم الخوارزمية بإضافة كمية هائلة من "الضوضاء الساكنة" (static noise) إلى ذاكرة الفنان، ثم تحاول إعادة رسم اللوحة.

العقبة: الطريقة الحالية عنيفة لدرجة أنها لا تمحو الصورة السيئة فحسب، بل تلطخ اللوحة بأكملها. ينسى الفنان كل شيء، بما في ذلك الأجزاء الجيدة من اللوحة. وبحلول الوقت الذي يحاول فيه إصلاح اللوحة، تكون الألوان قد اختلطت لدرجة أن الصورة قد دُمرت (وهذا ما يسمى بـ "انهيار الدقة").

الحل: استراتيجية "كتلة تلو الأخرى"

يقترح المؤلفون طريقة جديدة تسمى الضبط الدقيق الضوضائي القائم على الكتل (Block-wise Noisy Fine-Tuning). بدلاً من لطخ اللوحة بأكملها دفعة واحدة، يقومون بتقسيم اللوحة إلى كتل صغيرة ومنفصلة (مثل شبكة من البلاطات).

إليك كيف تعمل طريقتهم باستخدام تشبيه بسيط:

الطريقة القديمة (المطرقة الثقيلة): تخيل أنك تحاول إزالة بقعة معينة من سجادة ضخمة عن طريق ضرب السجادة بأكملها بمطرقة ثقيلة. قد تزيل البقعة، لكنك ستحدث ثقوباً في السجادة بأكملها أيضاً.
الطريقة الجديدة (المشرط): يقترح المؤلفون التعامل مع السجادة كأنها أحجية (puzzle). يقومون بتغطية السجادة بأكملها بشبكة.
- يختارون بلاطة واحدة فقط (كتلة من ذاكرة النموذج).
- يطبقون "الضوضاء" (الممحاة) على تلك البلاطة الواحدة فقط.
- يتركون جميع البلاطات الأخرى ثابتة دون تغيير.
- ثم ينتقلون إلى البلاطة التالية ويكررون العملية.

لماذا يساعد هذا؟ لأنهم يهزون جزءاً صغيراً فقط من النموذج في كل مرة، يظل باقي النموذج مستقراً. "الضوضاء" لا تغمر النظام بأكمله. الأمر يشبه تنظيف غرفة عن طريق تنظيف درج واحد في كل مرة، بدلاً من رمي كل الأثاث من النافذة والأمل في العثور على جواربك لاحقاً.

المشكلة الثانية: خوف "السيناريو الأسوأ"

تشير الورقة البحثية أيضاً إلى مشكلة ثانية في الطريقة القديمة. لقد صُممت القواعد القديمة لتعمل حتى لو بدأ الفنان بلوحة بيضاء وعشوائية تماماً. هذا أجبر الخوارزمية على افتراض السيناريو الأسوأ، مما يتطلب المزيد من الضوضاء لضمان السلامة.

أدرك المؤلفون أنه في الواقع، الفنان لا يبدأ من الصفر؛ بل يبدأ من لوحة مكتملة ويحتاج فقط إلى إجراء بعض التعديلات. لذا، قدموا طريقة جديدة لقياس "المسافة" بين اللوحة الأصلية واللوحة التي بدون الصورة السيئة. ومن خلال استخدام هذا القياس الواقعي بدلاً من التخمين "الأسوأ حالاً"، يمكنهم استخدام ضوضاء أقل، مما يحافظ على وضوح اللوحة.

النتائج: صفحة نظيفة دون إفساد الفن

اختبر الباحثون هذا على مهام التعرف على الصور (مثل تحديد القطط والكلاب في الصور).

الطريقة القديمة: عندما حاولوا إزالة البيانات، انخفضت دقة النموذج من 88% إلى أقل من 20%. لقد كانت كارثة.
الطريقة الجديدة: باستخدام نهج "كتلة تلو الأخرى"، نجح النموذج في إزالة البيانات غير المرغوب فيها (مما أثبت اختفاءها) ولكنه حافظ على قدرته على التعرف على الصور بشكل يقارب جودة إعادة تدريبه من البداية.

الخلاصة

هذه الورقة لا تقول فقط "لقد جعلناه أسرع". إنها تحل خللاً جوهرياً حيث كان ضمان السلامة (إثبات اختفاء البيانات) يدمر فائدة الذكاء الاصطناعي.

لقد وجدوا طريقة لتطبيق "ضوضاء السلامة" بنمط متسلسل ذكي (كتلة تلو الأخرى) ومع نقطة بداية أكثر واقعية. يتيح لنا هذا "نسيان" بيانات محددة قانونياً ورياضياً دون تدمير عقل الذكاء الاصطناعي في العملية. إنهم يجسرون الفجوة بين السلامة القانونية الصارمة وبين التكنولوجيا العملية والفعالة.

ملخص تقني: حقن الضجيج في الفضاءات الجزئية المتتالية من أجل النسيان المعتمد

بيان المشكلة

يهدف "النسيان الآلي" (Machine Unlearning) إلى إزالة تأثير بيانات تدريب محددة من نموذج مدرب للامتثال للوائح مثل GDPR أو لإزالة المعلومات الحساسة. وبينما يعد إعادة التدريب من الصفر هو المعيار الذهبي، إلا أنه غالبًا ما يكون مكلفًا حاسوبيًا بشكل كبير. توفر أساليب النسيان المعتمد، لا سيما تلك القائمة على الخصوصية التفاضلية (DP)، ضمانات رسمية لإزالة البيانات، ولكنها تعاني من قيد عملي حرج وهو: انهيار الدقة (Accuracy Collapse).

الأساليب الحالية، مثل الضبط الدقيق المشوب بالضجيج (Noisy Fine-Tuning - NFT) مع تقليم التدرج (Gradient Clipping)، تقوم بحقن ضجيج غاوسي لتحقيق ضمانات النسيان من نوع $(\epsilon, \delta)$ . ومع ذلك، في الشبكات العميقة ذات البارامترات المفرطة، غالبًا ما يكون الضجيج المطلوب لاعتماد النسيان كبيرًا بما يكفي لتهيمن قيمته على إشارة التدرج عبر جميع البارامترات في آن واحد. تُظهر النتائج التجريبية أن طريقة NFT القياسية يمكن أن تسبب انخفاضًا حادًا في دقة الاختبار (على سبيل المثال، من 88% إلى أقل من 20% على مجموعة بيانات CIFAR-10) وتفشل في التعافي حتى بعد إجراء ضبط دقيق لاحق. وهذا يخلق توترًا بين الحفاظ على ضمانات رسمية صارمة والحفاظ على فائدة النموذج.

المنهجية

يقترح المؤلفون الضبط الدقيق المشوب بالضجيج عبر الكتل (Block-wise Noisy Fine-Tuning)، وهو تعديل لإطار عمل NFT القياسي مصمم للتخفيف من انهيار الدقة مع الاحتفاظ بضمانات الاعتماد الرسمية. يعالج هذا الأسلوب عقبتين محددتين في تحليلات النسيان المعتمد الحالية:

1. حقن الضجيج في الفضاءات الجزئية المتتالية

تقوم طريقة NFT القياسية بحقن الضجيج في فضاء البارامترات الكامل عند كل خطوة. لاحظ المؤلفون أنه في النماذج عالية الأبعاد، فإن معيار $\ell_2$ لمتجه الضجيج ( $\sigma\sqrt{d}$ ) يطغى على تحديثات التدرج المقلمة.

النهج: يتم تقسيم فضاء البارترامترات $\mathbb{R}^d$ إلى $k$ من الفضاءات الجزئية (Blocks) المتعامدة متبادلة.
الآلية: بدلاً من تحديث جميع البارامترات، تقوم الخوارزمية بتحديث كتلة واحدة في كل مرة بشكل متتالٍ. أثناء تحديث كتلة معينة، يتم حقن الضجيج فقط في ذلك الفضاء الجزئي، بينما تظل جميع البلمات الأخرى ثابتة.
الفائدة: يؤدي هذا إلى إعادة توزيع ميزانية الضجيج المعتمدة نفسها عبر الزمن وعبر فضاءات جزئية ذات أبعاد أقل. ومن خلال تقييد الاضطرابات بجزء ( $1/k$ ) من الإحداثيات في كل خطوة، ينخفض التشوه لكل خطوة بشكل كبير، مما يمنع الضجيج من الهيمنة على إشارة التدريب.

2. المعايرة القائمة على القرب ( $\Delta(\rho)$ )

تعتمد تحليلات NFT القياسية غالبًا على أنصاف أقطار تقليم النموذج في أسوأ الحالات ( $C_0$ ) للتعامل مع التهيئةات العشوائية، مما يؤدي إلى متطلبات ضجيج مفرطة في التحفظ.

النهج: يستبدل المؤلفون افتراض التهيئة في أسوأ الحالات بـ معامل قرب عالي الاحتمالية، $\Delta(\rho)$ . هذا المعامل يحدد المسافة بين النموذج المدرب بالكامل (على مجموعة البيانات الكاملة) والنموذج المعاد تدريبه (على مجموعة البيانات المتبقية) تحت اقتران عشوائي ثابت.
الآلية: من خلال معايرة الضجيج والتقليم بناءً على المسافة الفعلية $\Delta(\rho)$ بدلاً من القطر في أسوأ الحالات، يتم تقليل تباين الضجيج المطلوب.
الفائدة: يوفر هذا شهادة مخصصة لمقارنة إعادة التدريب المحددة، متجنبًا تشاؤم الحدود التي لا تعتمد على التدريب.

نظرة عامة على الخوارزمية

تسير خوارزمية Block-wise NFT كما يلي:

التقسيم: تفكيك أوزان النموذج إلى $k$ من الكتل المتعامدة.
التحديثات المتتالية: لكل كتلة $i$ $i$ :
- تجميد جميع البارامترات باستثناء الكتلة $i$ .
- تطبيق الضبط الدقيق المشوب بالضجيج على الكتلة $i$ باستخدام تباين الضجيج المعاير $\sigma^2$ وعدد الخطوات $T$ المستمد من $\Delta(\rho)$ .
- لا يتم تطبيق أي تقليم للأسوأ ( $C_0$ )؛ يتم استخدام حد القرب فقط.
الإنهاء: بعد تحديث جميع الكتل بالتتابع، يتم إجراء الضبط الدقيق القياسي على النموذج الكامل لاستعادة الفائدة.

المساهمات الرئيسية

المنهج: تقديم Block-wise NFT، الذي يطبق تحديثات مشوبة بالضجيج ومعتمدة بشكل متتالٍ عبر كتل بارامترية متعامدة. هذا يقلل من التشوه في كل خطوة مع ضمان تغطية كاملة للبارامترات عبر جدول النسيان.
الاعتماد (Certification): توسيع تحليل اعتماد NFT ليشمل الجدول الزمني للكتل. يثبت المؤلفون أن نفس ميزانية الخصوصية $(\epsilon, \delta)$ يتم الاحتفاظ بها. كما أنهم صاغوا رسميًا استبدال تقليم النموذج في أسوأ الحالات بمعامل القرب $\Delta(\rho)$ .
الرؤية النظرية: تحديد "العنق الزجاجي الرسمي" حيث يخلق الاعتماد في أسوأ الحالات وغير المرتبط بالتدريب توترًا بين الفائدة والكفاءة. يوضح المؤلفون أن الحفاظ على فائدة عالية في عدد خطوات أقل من إعادة التدريب أمر مستحيل تحت عدم التمايز غير المرتبط بالتهيئة، مما يحفز الانتقال إلى صياغات قائمة على القرب.
التحقق التجريبي: إثبات قدرة Block-wise NFT على منع انهيار الدقة في معايير MNIST وCIFAR-10 (باستخدام ResNet-18 وViT-Tiny) في حالات الحذف العشوائي وحذف الفئات، مع بقائه قويًا ضد هجمات استدلال العضوية (MIA).

النتائج التجريبية

يقيم البحث Block-wise NFT مقابل NFT القياسية، وإعادة التدريب من الصفر، ومختلف نماذج النسيان التجريبية (غير المعتمدة).

استعادة الدقة: في CIFAR-10 مع ViT-Tiny، تؤدي طريقة NFT القياسية إلى خفض الدقة إلى أقل من 20% وتفشل في التعافي. في المقابل، تحافظ طريقة Block-wise NFT على دقة أعلى بكثير خلال مرحلة النسيان وتتعافى لتصل إلى مستويات قريبة من إعادة التدريب.
ضمانات الخصوصية: تحقق الطريقة دقة نسيان (UA) بنسبة 100% ودرجات MIA بنسبة 100% (مما يشير إلى عدم وجود تسريب)، وهو ما يطابق أداء إعادة التدريب من الصفر في هذه المقاييس.
الكفاءة: تتميز طريقة Block-wise NFT بكفاءة حاسوبية، حيث تكون أوقات التشغيل مقاربة لـ NFT القياسية وأقل بكثير من إعادة التدريب من الصفر.
القوة: تظل الطة فعالة عبر أحجام الكتل المختلفة ( $k$ ) واستراتيجيات بناء الكتل (عشوائية مقابل طبقات)، مما يظهر أن المكاسب ليست حساسة للغاية للتقسيم المحدد.

الأهمية والادعاءات

يدعي البحث أن Block-wise NFT يسد الفجوة بين الضمانات الرسمية الصارمة والفائدة العملية في النسيان المعتمد.

تخفيف انهيار الدقة: المساهمة الأساسية هي إثبات أن التدهور الشديد في الدقة المرتبط بالنسيان المستوحى من DP ليس قيدًا متأصلًا في النسيان المعتمد، بل هو نتيجة لخيارات تصميم محددة (حقن الضجيج في الفضاء الكامل وتقليم أسوأ الحالات).
القابلية للتطبيق العملي: من خلال استخدام حقن الفضاء الجزئي المتتالي ومعايرة القرب، تجعل طريقة Block-wise NFT النسيان المعتمد أقل تدميرًا بشكل كبير في النظم المدروسة.
القيود والنطاق: يتسم المؤلفون بالتواضع بشأن عمومية ادعاءاتهم. فقد أشاروا إلى أن معايرة $\Delta(\rho)$ هي عملية تجريبية وخاصة بفئة النموذج وسير عمل التدريب. كما أكدوا أن ضماناتهم مشروطة بإعداد الاعتماد وإجراء المعايرة المذكور، وأن الطريقة لا تدعي أنها حل عالمي لجميع سيناريوهات النسيان دون المعايرة المناسبة.

باختصار، يجادل العمل بأن النسيان المعتمد يمكن جعله عمليًا للنماذج الكبيرة من خلال الابتعاد عن حقن الضجيج العالمي في أسوأ الحالات نحو تحديثات هيكلية ومتتالية تحترم القرب الفعلي للنماذج المعنية بعملية النسيان.