ملخص تقني: CoUn - تمكين نسيان الآلة عبر التعلم التبايني

1. تعريف المشكلة

يعالج "نسيان الآلة" (Machine Unlearning - MU) الضرورة المتزايدة لخصوصية البيانات والامتثال التنظيمي (مثل GDPR) من خلال إزالة تأثير بيانات "النسيان" المحددة ($D_u$) من نموذج مدرب، مع الحفاظ على فائدة بيانات "الاحتفاظ" المتبقية ($D_r$). المعيار الذهبي لعملية نسيان الآلة هو النسيان الدقيق (Exact Unlearning)، والذي يتم تحقيقه عن طريق إعادة تدريب النموذج من الصفر على $D_r$ (نموذج إعادة التدريب - Retrain). ومع ذلك، فإن هذا النهج مكلف حاسوبياً بشكل كبير.

تهدف طرق النسيان التقريبي (Approximate Unlearning) إلى تحقيق نتائج مماثلة بكفاءة أكبر، لكنها غالباً ما تعاني من فجوة في الأداء مقارنة بنموذج إعادة التدريب. تندرج الطرق التقريبية الحالية عموماً تحت فئتين:

1. تلاعب بالملصقات (Labels): تعيين ملصقات غير متسقة دلالياً أو عشوائية لعينات النسيان لإجبار النموذج على التصنيف الخاطئ. غالباً ما يؤدي هذا إلى تدهور فائدة النموذج على بيانات الاحتفاظ ويتطلب الوصول إلى بيانات النسيان.
2. اضطراب أوزان النموذج (Model Weight Perturbation): تعديل أوزان النموذج لمحو تأثير بيانات النسيان. الاضطراب المفرط يضر بالفائدة، بينما الاضطراب غير الكافي يفشل في إزالة تأثير بيانات النسيان.

هناك ملاحظة جوهرية تقف وراء هذا العمل، وهي أن نموذج إعادة التدريب (المدرب فقط على $D_r$) يصنف عينات النسيان ($D_u$) بناءً على تشابهها الدلالي مع عناقيد (clusters) بيانات الاحتفاظ. على سبيل المثال، في سيناريو النسيان على مستوى الفئة (إزالة جميع عينات "الشاحنة" مثلاً)، يقوم نموذج إعادة التدريب بتصنيف عينات "الشاحنة" المنسية إلى عناقيد مشابهة دلالياً مثل "السيارات" أو "السفن". وفي حالة النسيان العشوائي، قد يصنف بعض عينات النسيان بشكل صحيح إذا ظلت قريبة دلالياً من عناقيد الاحتفاظ الأصلية الخاصة بها. تفشل الطرق التقريبية الحالية في محاكاة هذا السلوك الدقيق، حيث إما أنها تفرض تصنيفاً خاطئاً كلياً أو تفشل في تعطيل تأثير بيانات النسيان بشكل كافٍ.

2. المنهجية: CoUn

يقترح المؤلفون CoUn (التعلم التبايني لتمكين النسيان)، وهو إطار عمل يحقق نسياناً فعالاً من خلال ضبط التمثيلات (representations) للبيانات بناءً على التشابه الدلالي، باستخدام بيانات الاحتفاظ فقط. لا يتطلب CoUn الوصول إلى بيانات النسيان.

الآلية الجوهرية

يعتمد CoUn على حقيقة أن أوزان النموذج الأصلي تلتقط بالفعل التشابهات الدلالية بين جميع عينات التدريب. ومن خلال ضبط تمثيلات بيانات الاحتتماد ($D_r$)، يؤثر الإطار بشكل غير مباشر على تمثيلات بيانات النسيان ($D_u$).

يتكون الإطار من هدفين تعليميين متزامنين يتم تطبيقهما على $D_r$:

1. وحدة التعلم التبايني (Contrastive Learning - CL):

   • تُطبق على بيانات الاحتفاظ لضبط التمثيلات.
   • تستخدم تعزيز البيانات (data augmentation) لإنشاء أزواج إيجابية (رؤيتان مختلفتان لنفس الصورة) وأزواج سلبية (صور مختلفة).
   • تصادم العناقيد (Cluster Collision): تستخدم وحدة CL خسارة InfoNCE القياسية. ومن المهم ملاحظة أنه نظرًا لأن العينة (batch) يتم اختيارها عشوائياً من $D_r$، فإنها تتضمن حتماً سلبيات كاذبة (عينات من نفس فئة العينة الإيجابية ولكنها تُعامل كعينات سلبية).
   • يؤدي هذا إلى تصادم العناقيد، حيث يتم دفع العينات من نفس الفئة بعيداً عن بعضها البعض. وبناءً على ذلك، يتم دفع تمثيلات النسيان (التي تشترك في المعلومات الدلالية مع بيانات الاحتفاظ عبر الأوزان الأصلية) بشكل غير مباشر نحو عناقيد عينات الاحتفاظ الأخرى التي تظهر أعلى تشابه دلالي معها.
   • في حالة النسيان على مستوى الفئة، يدفع هذا عينات النسيان إلى عناقيد مختلفة. وفي النسيان العشوائي، فإنه يربط عينات النسيان بأكثر عناقيد الاحتفاظ تشابهاً دلالياً معها، محاكياً بذلك سلوك نموذج إعادة التدريب.

2. التعلم الخاضع للإشراف (Supervised Learning):

   • يُطبق على بيانات الاحتفاظ عبر رأس مصنف باستخدام خسارة الإنتروبيا المتقاطعة (Cross-Entropy - CE).
   • الحفاظ على الفائدة (Utility Preservation): بينما يسبب التعلم التبايني (CL) تصادم العناقيد (وهو أمر مفيد لنسيان بيانات النسيان)، إلا أنه يخاطر بتدهور فائدة النموذج على بيانات الاحتفاظ. يعمل مكون التعلم الخاضع للإشراف على مواجهة ذلك من خلال فرض بقاء تمثيلات الاحتفاظ ضمن عناقيدها الصحيحة، مما يحافظ على دقة عالية لـ $D_r$.

التحسين (Optimization)

تجمع دالة الخسارة الإجمالية بين كلا الهدفين:
$$L = L_{CE} + \lambda L_{CL}$$
حيث $L_{CE}$ هي خسارة الإنتروبيا المتقاطعة الخاضعة للإشراف، و $L_{CL}$ هي الخسارة التباينية، و $\lambda$ هو عامل قياس يوازن بينهما.

3. المساهمات الرئيسية

1. إطار عمل مبتكر: تقديم CoUn، وهو إطار عمل لنسيان الآلة يحقق نسياناً فعالاً من خلال ضبط التمثيلات بناءً على التشابه الدلالي باستخدام التعلم التبايني والتعلم الخاضع للإشراف حصرياً على بيانات الاحتفاظ.
2. رؤى تجريبية ونظرية:
   • أثبت أن CoUn يعمل بفعالية على النسيان من خلال دفع تمثيلات النسيان إلى عناقيد التمثيلات المماثلة دلالياً لتمثيلات الاحتفاظ، مما يطابق سلوك نموذج إعادة التدريب الدقيق عن كثب.
   • قدم تحليلاً نظرياً يوضح أن CoUn يحفز معدل تصنيف خاطئ أعلى على بيانات النسيان مع الحفاظ على معدل تصنيف خاطئ منخفض على بيانات الاحتفاظ، مما يحسن جودة النسيان والفائدة معاً.
3. التحقق من الأداء: تم التحقق من صحة CoUn عبر مجموعات بيانات متعددة (CIFAR-10/100, TinyImageNet) وبنيات مختلفة (ResNet-18, VGG-16, ViT). تظهر النتائج أن CoUn يتفوق باستمرار على أفضل الطرق المرجعية في تقليل الفجوة في الأداء مع نموذج إعادة التدريب الدقيق.
4. التكامل الوحدوي (Modular Integration): أظهر دمج وحدة CL الخاصة بـ CoUn في الطرق المرجعية القائمة قدرتها على تعزيز فعالية النسيان بشكل كبير.

4. النتائج التجريبية

أُجريت التجارب تحت سيناريوهين للنسيان: على مستوى الفئة (إزالة فئة كاملة) و العشوائي (إزالة نسبة مئوية من العينات).

• فجوة الأداء: حقق CoUn باستمرار أدنى "متوسط فجوة" (متوسط الفرق بين دقة الاحتفاظ، ودقة النسيان، ودقة الاختبار، ومعدل نجاح هجوم MIA مقارنة بنموذج إعادة التدريب) عبر جميع مجموعات البيانات والنماذج.
  • في CIFAR-10 مع ResNet-18 (نسيان عشوائي بنسبة 10%)، تفوق CoUn على أفضل طريقة مرجعية بنسبة 16.7%.
  • في CIFAR-100 مع ResNet-18، بلغت نسبة التحسن 15.8%.
  • في TinyImageNet، بلغت نسبة التحسن 6.3%.
• المقارنة مع الطرق المرجعية: تفوق CoUn على طرق مثل NegGrad+، و $\ell_1$-sparse، و SalUn، و NoT. ومن الجدير بالذكر أن الطرق التي تعتمد على التلاعب بالملصقات (مثل SalUn) غالباً ما عانت من انخفاض الفائدة على بيانات الاحتفاظ.
• التكامل: أدى دمج وحدة CL الخاصة بـ CoUn في طرق مرجعية تنافسية (NegGrad+، $\ell_1$-sparse، NoT) إلى زيادات كبيرة في الأداء (على سبيل المثال، تحسن يصل إلى 87.7% في متوسط الفجوة لطريقة $\ell_1$-sparse على CIFAR-100 مع نسيان بنسبة 50%).
• دراسات الاستئصال (Ablation Studies):
  • عامل القياس ($\lambda$): الضبط المناسب ضروري؛ حيث يؤدي $\lambda$ المرتفع إلى تقليل القيود الخاضعة للإشراف، مما يؤدي لتدهور الفائدة.
  • درجة الحرارة ($\tau$): تؤدي درجات الحرارة المنخفضة عموماً إلى تحسين فعالية CL، حيث كان الأداء الأمثل عند $\tau=0.1$.
  • التحويلات (Transformations): يمكن أن تؤدي عمليات التعزيز القوية في CL إلى عناقيد أكثر إحكاماً، مما يعيق عملية النسيان بشكل متناقض عبر منع التداخل الضروري بين العناقيد. وقد أعطت التحويلات الأبسط (التي تطابق تلك المستخدمة في التعلم الخاضع للإشراف) أفضل النتائج.
  • حجم الدفعة (Batch Size): كان الأداء مثالياً عندما تطابق حجم الدفعة مع حجم دفعة نموذج إعادة التدريب (256).

5. الأهمية والادعاءات

يزعم البحث أن CoUn يمثل خطوة مهمة للأمام في النسيان التقريبي للآلة من خلال نقل النموذج من "فرض التصنيف الخاطئ" إلى "محاكاة التشابه الدلالي".

• التوافق مع النسيان الدقيق: على عكس الطرق السابقة التي تحاول تصنيف بيانات النسيان بشكل خاطئ عشوائياً، يقوم CoUn بمحاكاة السلوك الطبيعي لنموذج إعادة التدريب الدقيق، الذي يصنف بيانات النسيان بناءً على القرب الدلالي من بيانات الاحتفاظ.
• الكفاءة والفائدة: يحقق CoUn نسياناً فعالاً دون الحاجة للوصو لبيانات النسيان، ويحافظ على فائدة عالية لبيانات الاحتفاظ من خلال التخفيف من تصادم العناقيد عبر التعلم الخاضع للإشراف.
• القدرة على التعميم: أثبت الإطار فعاليته عبر بنيات نماذج مختلفة وسيناريوهات نسيان متنوعة، ويمكن لوحدة CL الأساسية أن تعمل كإضافة (plug-in) لتعزيز طرق النسيان الموجودة.

يخلص المؤلفون إلى أنه بينما يركز CoUn حالياً على التصنيف القائم على الرؤية في مجموعات بيانات صغيرة نسبياً، فإن نهجه في الاستفادة من التشابه الدلالي وتصادم العناقيد يقدم اتجاهاً قوياً للبحوث المستقبلية في مجال نسيان الآلة.