ملخص تقني: الاستدلال الإحصائي للعضوية (SMI) للتدقيق الموثوق للنماذج المنسية

1. بيان المشكلة

يعد "التعلم غير المتصل" (Machine Unlearning - MU) آلية حاسمة لفرض "الحق في النسيان"، مما يتيح إزالة بيانات تدريب محددة من النموذج دون الحاجة إلى إعادة تدريبه من البداية. ويتمثل التحدي المركزي في هذا المجال في التدقيق (Auditing): أي التحقق الموثوق مما إذا كان النموذج قد نسي بالفعل بيانات محددة.

تعتمد معايير التدقيق الحالية بشكل أساسي على هجمات استدلال العضوية (Membership Inference Attacks - MIAs). ويسود افتراض مفاده أنه إذا فشل هجوم MIA في تحديد عينة كعضو، فإن النموذج قد نسيها بنجاح. ويرى المؤلفون أن هذا الافتراض معيب جوهرياً لسببين رئيسيين:

1. تحيز المحاذاة (Alignment Bias): تشغل العينات المنسية ($F_u$) فضاء سمات يختلف عن كل من عينات الأعضاء الأصلية ($F_m$) وعينات غير الأعضاء الحقيقية ($F_n$). وبينما تساهم $F_m$ بتدرجات موجبة، لا تساهم $F_n$ بأي تدرجات، بينما تسبب $F_u$ تدرجات سالبة. تفترض هجمات MIA التقليدية أن $F_u$ تتماشى مع $F_n$؛ ومع ذلك، فإن فشل محاولة الاستدلال غالباً ما يكون ناتجاً عن عدم المحاذاة هذا وليس عن النسيان الفعلي، مما يؤدي إلى "نسيان وهمي".
2. التكاليف الحسابية: تتطلب طرق تدقيق MIA الحديثة (مثل LiRA وRMIA) تدريب العديد من "النماذج الظلية" (Shadow Models) لإنشاء خطوط أساس، مما يترتب عليه تكاليف حسابية باهظة تضاهي إعادة تدريب النموذج المستهدف نفسه.

2. المنهجية: الاستدلال الإحصائي للعضوية (SMI)

لمعالجة تحيز المحاذاة وعدم الكفاءة الحسابية، يقترح المؤلفون الاستدلال الإحصائي للعضوية (SMI)، وهو إطار عمل للتدقيق لا يتطلب تدريباً.

الأساس النظري

يعيد البحث صياغة مشكلة التدقيق باستخدام نظرية النقل الأمثل (Optimal Transport Theory). فبدلاً من معاملة النسيان كمهمة تصنيف ثنائية (عضو مقابل غير عضو)، يقوم SMI بنمذجة توزيع السمات المنسية $F_u$ كمزيج محدب لتوزيع الأعضاء $F_m$ وتوزيع غير الأعضاء $F_n$:
$$F_u \approx (1 - \rho)F_m + \rho F_n$$
هنا، تمثل $\rho$ نسبة الخلط (أو معدل النسيان). وينتقل هدف التدقيق من تدريب مصنف إلى تقدير قيمة $\rho$. وقد أثبت المؤلفون باستخدام نظرية PAC-Bayes (باستخدام تباعد $\chi^2$) أن التدقيق القائم على MIA يعاني من خطأ محاذاة لا مفر منه يتحكم فيه الانزياح التوزيعي بين بيانات المهاجم وبيانات البيانات المنسية الفعلية.

المتغيرات الخوارزمية

يقوم SMI بتقدير $\rho$ عبر مطابقة العزوات الإحصائية للتوزيعات دون تدريب نماذج مساعدة:

1. SMI (العزوات من الرتب المنخفضة):

   • يفترض نموذج الخلط بالنسبة لأول رتبتين من العزوات (المتوسط $\mu$ والتباين $\Sigma$).
   • يشتق حلاً مغلق الصيغة عن طريق تقليل انحراف معيار "فوروبينيوس" (Frobenius norm) بين التباين التجريبي للبيانات المنسية والتباين المتوقع بواسطة نموذج الخلط.
   • يحل معادلة تكعيبية في متغير واحد لإيجاد $\rho$ الأمثل.

2. SMI-M (الفرق المتوسط الأقصى - Maximum Mean Discrepancy):

   • يعالج عدم استقرار تقدير التباين في الفضاءات عالية الأبعاد وتحت التوزيعات غير الغاوسية.
   • يقوم بدمج توزيعات السمات في "فضاء هيلبرت لإعادة الإنتاج" (RKHS) باستخدام تضمينات متوسط النواة (Kernel Mean Embeddings).
   • يصيغ عملية التقدير كمسألة برمجة تربيعية محدبة لتقليل الفرق المتوسط الأقصى (MMD) بين التوزيع المنسي والمزيج المحدب لتوزيعات الأعضاء وغير الأعضاء.

قياس عدم اليقين

على عكس طرق MIA التي تعتمد على النماذج الظلية لتحديد فترات الثقة، يستخدم SMI طريقة البوتستراب (Bootstrapping) على مجموعة سمات التدقيق. ومن خلال إعادة أخذ عينات من البيانات المنسية وإعادة تقدير $\rho$، يوفر SMI نطاقات مرجعية (على سبيل المثال، من المئوي الخامس إلى المئوي 95) لقياس مدى موثوقية نتيجة التدقيق.

3. المساهمات الرئيسية

• الرؤية النظرية: يثبت البحث أن فشل محاولة استدلال العضوية لا يعني النسيان الحقيقي بسبب "تحيز محاذاة" متأصل بين العينات المنسية وغير الأعضاء. كما يقرر أن التدقيق يجب أن يقيس نسب خلط التوزيعات بدلاً من نجاح التصنيف الثنائي.
• إطار عمل خالٍ من التدريب: يلغي SMI الحاجة إلى النماذج الظلية وتدريب مصنفات MIA، مما يقلل بشكل كبير من الأعباء الحسابية.
• مقاييس الموثوقية: يوفر الإطار نطاقات مرجعية قائمة على البوتستراب، مما يقدم وسيلة مؤسسة لتقييم الثقة في قرارات التدقيق.
• التفوق التجريبي: تُظهر التجارలు الشاملة أن SMI (خاصة SMI-M) يتفوق باستمرار على النماذج المرجعية القائمة على MIA (بما في ذلك LiRA وRMIA وIAM وRULI) من حيث دقة التقدير عبر مختلف مجموعات البيانات (CIFAR-10/100، CINIC-10) وبنيات النماذج (ResNet، ViT).

4. النتائج التجريبية

قيم المؤلفون SMI مقابل سبعة نماذج مرجعية قائمة على MIA تحت ظروف "الصندوق الأبيض" (White-box):

• الدقة: حقق SMI-M أعلى دقة في التقدير ($\rho^*$) عبر جميع مجموعات البيانات، حيث وصلت الدقة غالباً إلى أكثر من 90% في سيناريوهات النسيان الكامل (أهداف إعادة التدريب)، بينما أظهرت طرق MIA تبايناً كبيراً ودقة أقل.
• الكفاءة: لم تتطلب متغيرات SMI سوى تمريرة استدلال واحدة (بالإضافة إلى البوتستراب) ودون الحاجة لتدريب نماذج ظلية. في المقابل، تطلبت نماذج MIA المرجعية تدريب ما بين 8 إلى 64 نموذجاً ظلياً، مما نتج عنه تكاليف حسابية أعلى بمراتب عديدة من SMI.
• المتانة: ظل SMI-M مستقراً تحت تأثير التغييرات في اختيار النواة (Kernel) وعرض النطاق الترددي (Bandwidth). وأظهرت الطريقة أداءً موثوقاً حتى مع وجود 20 عينة فقط لكل فئة، رغم أن الأداء يتحسن مع مجموعات تدقيق أكبر.
• السيناريوهات العملية: عند تطبيقه على طرق النسيان التقريبية (FineTune، Fisher، Scrub)، نجح SMI في التمييز بين مستويات النسيان المختلفة وحدد أن Scrub هي الطريقة التقريبية الأكثر فعالية من بين الطرق المختبرة.

5. الأهمية والادعاءات

يضع البحث SMI كبديل ممنهج وفعال للتدقيق القائم على MIA. وتكمن أهميته في:

1. تصحيح خلل جوهري: يتحدى البحث اعتماد المجتمع على MIA للتحقق من النسيان، ويوضح أن الاستدلال التجريبي "فشل الهجوم = نسيان" هو أمر غير قابل للصمود هيكلياً.
2. القابلية للتوسع: من خلال إلغاء الاعتماد على النماذج الظلية، يجعل SMI التدقيق الموثوق ممكناً للنماذج الضخمة حيث يكون تدريب النماذج الظلية مكلفاً حسابياً بشكل لا يطاق.
3. الضمانات النظرية: تعتمد الطريقة على حدود PAC-Bayes ونظرية النقل الأمثل، مما يوفر أساساً رياضياً صارماً لتدقيق أداء النسيان.

يخلص المؤلفون إلى أن SMI يضع معياراً جديداً لتدقيق النماذج المنسية، حيث يقدم ضمانات نظرية وأداءً تجريبياً قوياً دون العبء الحسابي للمناهج السابقة.