ملخص تقني: التعلم من الوكلاء (Proxies) لضمان الدقة في عملية النسيان التام يؤدي إلى ضمانات التقارب في النسيان التقريبي

بيان المشكلة

يهدف "النسيان الآلي" (Machine Unlearning) إلى إزالة تأثير بيانات تدريب محددة (مجموعة النسيان، $D_f$) من مصنف مدرب دون الحاجة لإعادة تدريب النموذج من الب0داية على البيانات المتبقية (مجموعة الاستبقاء، $D_r$). وبينما يمثل "النسيان التام" (Exact Unlearning) المعيار الذهبي، إلا أنه غالبًا ما يكون مكلفًا حوسبيًا للشبكات العميقة الكبيرة. تعاني الطرق التقريبية الحالية، والتي تعتمد أساسًا على تحديثات التدرج من الدرجة الأولى (مثل صعود التدرج على مجموعة النسيان)، من عدة قيود:

1. نقص القابلية للتفسير: تعتمد هذه الطرق على مسارات تحسين لا تقدم توصيفًا مغلق الصيغة للتحول التنبؤي الناتج من حيث توزيعات البيانات.
2. عدم الاستقرار: تفتقر التحديثات التكرارية غالبًا إلى معايير توقف واضحة، مما يؤدي إلى "الإفراط في النسيان" أو "النسيان الكارثي".
3. فجوات التقييم: يتم قياس الأداء بشكل متكرر باستخدام هجمات استدلال العضوية (MIAs) أو مقاييس الدقة، والتي قد لا تعكس بدقة المسافة الإحصائية إلى النموذج المعاد تدريبه المثالي.
4. عدم المثالية: تعتمد الحدود النظرية الموجودة غالبًا على خصائص الشبكة العصبية (مثل تقريبات هسيان/Hessian) بدلاً من جودة نماذج توزيع البيانات الأساسية.

المنهجية

تقترح الورقة البحثية تحولًا في النموذج المعرفي: بدلًا من تحديث أوزان الشبكة مباشرة عبر التدرجات، يقوم المؤلفون بنمذجة إشارة النسيان التام كإزاحة في فضاء الـ "لوجيت" (logit space) المستمدة من نماذج رياضية صريحة لتوزيعات البيانات.

1. إشارة النسيان كإزاحة في الـ "لوجيت" (Logit Shift)

الفكرة الجوهرية هي تحديد هدف النسيان ليس عبر مسار تحسين، بل عبر الفرق بين التوزيعات اللاحقة (posterior distributions) لمجموعة الاستبقاء والبيانات الأصلية.

• ليكن $P$ هو التوزيع الحقيقي للبيانات الأصلية و $P_r$ هو التوزيع الحقيقي لمجموعة الاستبقاء.
• يقدم المؤلفون وكلاء (proxies) بارامتريين ($\bar{P}$ و $\bar{P}_r$) لنمذجة التوزيعات الشرطية للفئات $P(X|Y)$ و $P_r(X|Y)$.
• تولد هذه الوكلاء توزيعات لاحقة ومتجهات "لوجيت" مرتبطة بها $M(x)$ و $M_r(x)$.
• تُعرف إشارة النسيان بأنها الإزاحة $\Delta M(x) = M_r(x) - M(x)$.
• يتم بناء "لوجيتات" النموذج المنسي كتركيبة خطية: $\tilde{f}_\eta(x) = f_\theta(x) + \eta \Delta M(x)$، حيث $\eta$ هو عامل قياس.

2. الإطار النظري والضمانات

تضع الورقة حدودًا نظرية لتباعد كولباك - ليبلر (KL divergence) بين النموذج المنسي والنموذج المثالي المعاد تدريبه ($P_r$).

• معيار القبول (Admissibility Criterion): يُعتبر زوج الوكلاء "مقبولًا" إذا كان الوكيل الأولي $\bar{P}$ تمثل تقريبًا أفضل للتوزيع الحقيقي $P$ من كون الوكيل الخاص بالاستبقاء $\bar{P}_r$ يمثل $P_r$. وهذا شرط يمكن التحقق منه.
• نطاق الأمان ($\eta_{max}$): يثبت المؤلفون وجود حد أقصى لعامل القياس $\eta_{max}$ بحيث أنه لأي $\eta \in [0, \eta_{max}]$، تعمل عملية النسيان على تقليل تباعد KL إلى النموذج المثالي بشكل صارم، بشرط تحقق معيار القبول.
• الحدود: توفر المبرهنة 1 حدًا دقيقًا لتباعد KL، حيث تظهر أن الخطأ يعتمد على التباعد الأولي و"إزاحة النمذجة" (الاختلاف في مدى جودة نمذجة الوكلاء لأهدافهم). وتوفر المبرهنة 2 حدًا بديهيًا يربط الخطأ بجودة نمذجة الشروط للفئات.

3. بناء الوكلاء

تستكشف الورقة عدة عائلات من الوكلاء لتقريب بنية البيانات:

• النماذج الساذجة: استخدام LDA (التحليل التمييزي الخطي) و QDA (التحليل التمييزي التربيعي) القياسي، حيث يتم التعامل مع مجموعة البيانات بأكملها كتوزيع واحد لكل فئة.
• نماذج الخليط (LDA-Mix, QDA-Mix): نمذجة التوزيع الأصلي كخليط من مجموعات فرعية للاستبقاء والنسيان داخل كل فئة.
• مضاعفة الملصقات (Label Doubling) (LDA-2C, DIR-2C): نهج مبتكر حيث يتم مضاعفة فضاء الملصقات إلى $(y, s)$، حيث $s \in \{retain, forget\}$. يسمح هذا للنموذج باستيعاب التداخل بين توزيعات الاستبقاء والنسيان جوهريًا وتقدير احتمالية انتماء عينة ما إلى مجموعة النسيان.
  • DIR-2C: يستخدم توزيعات ديراك التجريبية على فضاء الملصقات المضاعف. ورغم أن التطبيق المباشر قد يبدو عنيفًا، إلا أنه يعمل كـ "معلم" قوي لعملية التقطير (distillation).

4. التنفيذ عبر التقطير (Distillation)

يتم تنفيذ إزاحة اللوجيت $\eta_{max} \Delta M(x)$ في الشبكة العصبية عبر تقطير المعرفة (Knowledge Distillation). تعمل الشبكة الأصلية $f_\theta$ كطالب، يتم تدريبه لتقليل تباعد KL بين مخرجاته واللوجيتات المستهدفة $\tilde{f}_{\eta_{max}}$. هذه الخطوة تنقل التصحيح التوزيعي ذو الصيغة المغلقة إلى معاملات الشبكة.

المساهمات الرئيسية

1. إشارة نسيان دقيقة عبر الوكلاء: تقدم الورقة إشارة نسيان ذات صيغة مغلقة وقابلة للتفسير مشتقة من نماذج رياضية صريحة لتوزيعات البيانات، بدلًا من مسارات التدرج.
2. ضمانات نظرية: توفر معايير قبول قابلة للتحقق وحدودًا نظرية دقيقة لتباعد KL، مما يربط أداء النسيان مباشرة بجودة وكلاء البيانات.
3. وكلاء دقيقو التفاصيل: تقترح الورقة تقنيات نمذجة محددة (نماذج الخليط ومضاعفة الملصقات) تتعلم تبعيات العضوية من بنية البيانات. ومن الجدير بالذكر أن LDA-2C و DIR-2C برزا كطرق فعالة لالتقاط البنية الداخلية للفئات.
4. حد شتاين (Stein Bound) للتقييم: تقترح الورقة استخدام تباعد KL للاشتقاق "حد شتاين" لعدد الاستعلامات التي يحتاجها المهاجم للتمييز بين النموذج المنسي والنموذج المعاد تدريبه، مما يوفر بديلًا أكثر استقرارًا وقابلية للتفسير لهجمات استدلال العضوية التجريبية.

النتائج التجريبية

تم تقييم الطريقة على مجموعتي بيانات CIFAR-10 و CIFAR-100 عبر ثلاثة سيناريوهات للنسيان:

• عشوائي (Random): نسيان عينات عشوائية.
• فئة (Class): نسيان فئة كاملة.
• فئة فرعية (Subclass): نسيان مجموعة فرعية من فئة ما (مثل "الطائرات" ضمن "المركبات")، وهو ما ذُكر أنه السيناريو الأكثر تحديًا وواقعية حيث تفشل نماذج صعود التدرج الأساسية.

النتائج:

• القرب من المثالي: أنتجت الطرق المقترحة (خاصة LDA-2C و DIR-2C) باستمرار نماذج منسية هي الأقرب إلى النموذج المثالي المعاد تدريبه ($p_{\theta_r}$) من حيث تباعد KL، متفوقة على النماذج المرجعية الحديثة مثل SCRUB و SalUn و GA+FT.
• الاستقرار: على عكس النماذج التكرارية التي أظهرت مسارات غير مستقرة أو نسيانًا كارثيًا (مثل SalUn الذي قلل دقة النسيان إلى ما يقرب من الصفر)، حققت الطريقة المقترحة تقاربًا سريعًا ومستقرًا.
• الكفاءة: حققت هذه الطرق نتائج باستخدام زمن تشغيل (RTE) يبلغ حوالي 5% فقط من الوقت المطلوب لإعادة التدريب الكامل.
• فعالية الوكيل: تفوقت وكلاء "مضاعفة الملصقات" (LDA-2C, DIR-2C) عمومًا على نماذج الخليط القياسية، خاصة في سيناريو الفئة الفرعية، من خلال التقاط التداخل التوزيعي بين مجموعتي الاستبقاء والنسيان بشكل أفضل.

الأهمية والادعاءات

تدعي الورقة أن إطار عملها يقدم تحولًا في النموذج المعرفي عبر ترسيخ النسيان الآلي في بنية توزيعات البيانات بدلًا من تحديثات بارامترات الشبكة العصبية.

• السلامة (Soundness): تثبت الحدود النظرية أنه إذا كانت الوكلاء دقيقة بما يكفي (يمكن التحقق منها عبر معيار القبول)، فإن عملية النسيان تضمن تحريك النموذج باتجاه الحالة المثالية المعاد تدريبها.
• القابلية للتفسير: توفر الطريقة تفكيكًا ذا صيغة مغلقة لخطأ النسيان، مبتعدة عن طبيعة "الصندوق الأسود" للتحديثات التكرارية للتدرج.
• العملية: من خلال استخدام التقطير، يمكن تطبيق الطريقة على الشبكات "الصندوق الأسود" التي تخرج لوجيتات، مما يجعلها متعددة الاستخدامات.
• القيود: يقر المؤلفون بتواضع ببعض القيود، مثل افتراض توفر مجموعة الاستبقاء $D_r$ لضبط الوكيل $P_r$، واحتمالية سوء حالة التوصيف في فضاءات الميزات عالية الأبعاد (التي تم التخفيف منها عبر تقليل الأبعاد)، وحقيقة أن معيار القبول يتم التحقق منه تجريبيًا على النموذج الأولي بدلاً من التوزيع الحقيقي.

باختصار، تجادل الورقة بأنه من خلال نمذجة توزيع البيانات صراحةً، يمكن اشتقاق إشارة نسيان دقيقة، والتي عند تقطيرها في شبكة، تنتج نموذجًا غير متمايز إحصائيًا عن نموذج تمت إعادة تدريبه من البداية، مع ضمانات مثبتة وأداء تجريبي متفوق.