ملخص تقني: قابلية الكشف في التنوع: تحسين صياغة الكناري للتدقيق في الخصوصية في تشغيل واحد

بيان المشكلة

يهدف التدقيق في الخصوصية إلى التقييم التجريبي لتسرب الخصوصية في نماذج تعلم الآلة، وغالبًا ما يكون ذلك لاستخلاص حدود دنيا لمعلمات الخصوصية التفاضلية (DP). يتم تحقيق ذلك عادةً عبر هجمات استدلال العضوية (MIAs)، حيث يحاول المهاجم تحديد ما إذا كانت نقطة بيانات معينة جزءًا من مجموعة تدريب النموذج.

تتطلب مناهج التدقيق القياسية تدريب آلاف النماذج المستقلة مع تضمينات متفاوتة لـ "الكناري" (canaries) للحصول على تقديرات موثوقة إحصائيًا، وهو أمر مكلف حاسوبيًا. ولمعالجة ذلك، تم اقتراح "التدقيق في تشغيل واحد" (one-run auditing)، حيث يتم تدريب نموذج واحد على مجموعة بيانات تحتوي على عدة كناري، يتم تضمين كل منها بشكل مستقل باحتمالية 1/2. بعد ذلك، يستنتج المهاجم حالة تضمين جميع الكناري من هذا النموذج الواحد.

ومع ذلك، توجد فجوة كبيرة بين الحدود العليا النظرية للخصوصية (التي توفرها طرق المحاسبة) والحدود الدنيا التجريبية (التي يتم تقديرها عبر التدقيق في تشغيل واحد). تعزو الأدبيات الحديثة هذه الفجوة إلى التداخل بين الكناري: حيث يمكن لتضمين أو استبعاد كناري $z'$ أن يغير درجة ثقة MIA لـ $z$ آخر، خاصة عندما تكون الكناري متشابهة في فضاء التمثيل. يؤدي هذا التداخل إلى إضعاف قدرة المهاجم على التمييز بين الأعضاء وغير الأعضاء، مما يؤدي إلى تقديرات تسرب أضعف مقارًا بطرق التشغيل المتعدد. لا تفرض طرق صياغة الكناري الحالية التنوع بشكل صريح للتخفيف من حدة هذا التداخل.

المنهجية

يقترح المؤلفون IBIS (صياغة الكناري بتأثير ثنائي المستوى مع كبت التداخل)، وهو مسار يتكون من مرحلتين مصمم لصياغة كناري تتميز بأنها عالية القابلية للكشف (محفوظة بقوة) ومتنوعة (أقل تداخلاً).

1. التهيئة الجشعة عبر دالات التأثير

تختار المرحلة الأولى مجموعة أولية من الكناري من بيانات التدريب باستخدام دالات التأثير، والتي تقيس تأثير زيادة وزن عينة بيانات على النموذج.

• التأثير الذاتي ($I_s(z, z)$): وكيل للقدرة على الحفظ. يشير التأثير الذاتي العالي إلى أن النقطة يتم حفظها بقوة من قبل النموذج.
• التأثير المتبادل ($I_s(z, z')$): وكيل للتداخل. يشير التأثير المتبادل العالي إلى أن وجود $z'$ يؤثر بشكل كبير على درجة $z$.
• استراتيجية الاختيار: تختار الخوارزمية جشعًا مجموعة من $m$ من الكناري لتعظيم نسبة التأثير الذاتي إلى أقصى تأثير متبادل من الكناري الأخرى المختارة. يتم صياغة ذلك كمشكلة تحسين توافقية تُحل عبر استدلال جشع. توفر هذه الخطوة تهيئة قوية ذات تداخل زوجي منخفض بتكلفة حاسوبية منخفضة.

2. التحسين ثنائي المستوى مع تنظيم التنوع

تقوم المرحلة الثانية بتنقية الكناري المختارة باستخدام التحسين القائم على التدرج. وخلافًا للأعمال السابقة التي تتطلب إعادة تدريب النموذج لكل مجموعة فرعية من الكناري (وهو أمر غير قابل للحل حاسوبيًا)، يصيغ المؤلفون مشكلة تحسين ثنائية المستوى قابلة للحل.

• الهدف: تقليل هدف التمييز الذي يعظم فرق الدرجة بين الكناري المضمنة والمستبعدة، مع مراعاة القيد بأن معاملات النموذج تقلل من الخطر التجريبي.
• منظم التنوع: لإخماد التداخل بشكل صريح، يتم إضافة منظم $R(C)$ يعزز التعامد في فضاء التمثيل (التمثيلات/embeddings) للكناري:
  $$R_{\theta^*}(C) = \lambda \sum_{z, z' \in C, z \neq z'} \langle \phi_{\theta^*}(z), \phi_{\theta^*}(z') \rangle^2$$
  حيث تقوم $\phi_{\theta^*}$ برسم العينات إلى تمثيلاتها تحت النموذج الأساسي $\theta^*$.
• المحلل الفعال (SOBA): يستخدم المؤلفون نهج التفاضل الضمني التقريبي (AID)، مع تكييف خوارزمية SOBA. يحافظ هذا النهج على متغيرات مقترنة لمعلمات النموذج ($\theta$)، ومتجه التأثير ($v$)، ومدخلات الكناري ($C_x$). والأهم من ذلك، يتم تحديث النموذج بشكل تدريجي جنبًا إلى جنب مع الكناري بدلاً من إعادة تدريبه من الصفر في كل خطوة، مما يسمح بحساب التدرجات الفائقة (hypergradients) بكفاءة.

المساهمات الرئيسية

1. الاختيار القائم على التأثير الجشع: خوارزمية منخفضة التكلفة تحدد نقاط التدريب ذات القدرة العالية على الحفظ والتداخل المتبادل المنخفض، مما يوفر تهيئة قوية للتحسين اللاحق.
2. صياغة التحسين ثنائي المستوى: صياغة مبتكرة تدمج منظم تنوع صريح لفرض التعامد في فضاء التمثيل. تسمح هذه الصياغة بخوارزميات ثنائية المستوى فعالة من خلال تحديث النموذج بشكل تدريجي، مما يتجنب التكلفة الباهظة لإعادة التدريب لكل مجموعة فرعية من الكناري.
3. مسار IBIS: إطار عمل موحد يجمع بين المكونات المذكورة أعلاه. يحقق تقديرات أقوى لخصوصية التسرب مقارنة بالطرق الموجودة مع تطلب موارد حاسوبية أقل بكثير.

النتائج التجريبية

تم تقييم الطريقة على بنيات WideResNet (WRN16-4) و CNN باستخدام مجموعة بيانات CIFAR-10.

• دراسات الاستئصال (Ablation Studies): تفوق الاختيار المسبق القائم على التأثير على الاختيار العشوائي حتى قبل التحسين ثنائي المستوى. في الإعدادات غير الخاصة، أدى منظم التنوع إلى تحسين الأداء بشكل أكبر.
• استدلال العضوية (MIA): عند صياغة الكناري باستخدام نفس بنية النموذج الذي يتم تدقيقه (WRN16-4)، حقق IBIS المنظم معدلات إيجابية حقيقية (TPR) تقارب الكمال عند معدل إيجابي كاذب (FPR) قدره 0.05، متفوقًا بشكل ملحوظ على الخطوط المرجعية العشوائية ومطابقًا أو متجاوزًا أداء أحدث طريقة لـ Boglioni وآخرون [6].
• تدقيق الخصوصية التفاضلية (DP Auditing): قدمت الطريقة حدودًا دنيا تنافسية لمعلم الخصوصية $\epsilon$ مقارنة بالنهج الحالية. وبينما أظهرت التقديرات تباينًا عاليًا (وهو أمر متسق مع صعوبة إعداد تدقيق DP)، فقد طابقت IBHS أداء العمل السابق.
• الكفاءة الحاسوبية: الطريقة المقترحة أكثر كفاءة بشكل كبير. تطلب إنشاء 1000 كناري حوالي 2.5 ساعة من وحدة معالجة الرسومات على NVIDIA A100، مقارنة بـ 90-120 ساعة المسجلة للنهج القائم على إعادة التدريب لـ Boglioni وآخرون [6]. ينبع هذا المكسب في الكفاءة من التحديثات التدريجية للنموذج بدلاً من إعادة التدريب الكامل.

الأهمية والادعاءات

يدعي البحث أن القيد الرئيسي لمناهج التدقيق في التشغيل الواحد هو التداخل بين الكناري. ومن خلال معالجة ذلك صراحةً عبر الاختيار القائم على التأثير والتحسين ثنائي المستوى المعزز للتنوع، يوضح المؤلفون أنه من الممكن سد الفجوة بين أداء التدقيق في التشغيل الواحد والتدقيق في التشغيل المتعدد.

تكمن أهمية هذا العمل في جعل التدقيق في الخصوصية في التشغيل الواحد ممكنًا حاسوبيًا وأقوى إحصائيًا. من خلال تقليل التكلفة الحاسوبية بمقدار عشرة أضعاف مع الحفاظ على قوة التدقيق أو تحسينها، تمكن هذه الطريقة المدققين من استخدام البنية المحددة للنموذج الذي يتم تدقيقه لتوليد الكناري، وهو ما أظهر المؤلفون أنه يحسن الأداء بشكل كبير. يضع المؤلفون هذا العمل كتقدم عملي للتقييم التجريبي للخصوصية، خاصة للنماذج واسعة النطاق حيث يكون التدقيق متعدد التشغيلات غير ممكن.