ملخص تقني: هجمات استنتاج العضوية المتسلسلة

بيان المشكلة

نادراً ما تكون نماذج تعلم الآلة الحديثة ثابتة؛ فهي تخضع لتحديثات مستمرة، وضبط دقيق، وإصدارات نسخ طوال دورات حياتها. وبينما يركز تدقيق الخصوصية عادةً على لقطة نموذج ثابتة واحدة، فإن هذا النهج يفشل في الاستفية من البنية الزمنية لإصدارات النماذج. غالباً ما تعامل الطرق الحالية تحديثات النماذج كأحداث معزولة أو تجمع الدرجات بشكل استدلالي، مما قد يؤدي إلى تمييع إشارة تسرب الخصوصية مع تراكم بيانات التدريب. تعالج الورقة البحثية تحدي تصميم هجمات استنتاج العضوية المتسلسلة (SeMI) التي تستغل تسلسل النماذج الصادرة لإجراء عمليات تدقيق خصوصية أكثر إحكاماً. وتحديداً، يبحث المؤلفون فيما إذا كان بإمكان خصم، يمتلك الوصول إلى تسلسل من $T$ من لقطات النماذج والقدرة على التحكم في وقت إدراج $\tau$ لـ "طائر الكناري" المستهدف (نقطة بيانات محددة)، تحقيق قدرة تمييز أعلى من الهجمات المقتصرة على لقطة النموذج النهائية.

المنهجية

الإطار النظري: لعبة SeMI

يصيغ المؤلفون المشكلة كلعبة اختبار فرضية بين "الصانع" (الذي يقوم بالإدراج) و"الخصم" (الذي يراقب تسلسل النموذج).

• الفرضيات: يختبر الخصم الفرضية $H_0$ (أن الهدف $z^*$ ليس في بيانات التدريب) مقابل $H_\tau^1$ (أن الهدف أُدرج تحديداً في الدفعة عند الخطوة $\tau$).
• تدقيق الخصوصية: يتم ربط أخطاء هجوم SeMI (النوع الأول والنوع الثاني) بحد أدنى لمعلمة الخصوصية التفاضلية $\epsilon$ باستخدام نسخة معممة من نظرية التركيب للخصوصية التفاضلية. ويتم تحقيق حد أكثر إحكاماً عن طريق تقليل هذه الأخطاء.

اشتقاق الهجوم الأمثل: المتوسط التجريبي

تشتق الورقة أولاً الهجوم الأمثل لآلية المتوسط التجريبي على البيانات الغاوسية.

• SeMI* (الهجوم الأمثل): باستخدام مبرهنة نيمان-بيرسون، يشتق المؤلفون اختبار نسبة الأرجحية (LR) لزمن إدراج معلوم $\tau$.
• خاصية العزل: أحد النتائج النظرية الرئيسية هو خاصية العزل. نسبة الأرجحية للتسلسل الكامل $(o_1, \dots, o_T)$ تتحلل بحيث تعتمد الإحصائية الاختبارية فقط على إحصاءات الدفعة مباشرة قبل وبعد خطوة الإدراج ($\hat{\mu}_{\tau-1}$ و $\hat{\mu}_\tau$). وتلغي جميع المساهمات من الخطوات الأخرى بعضها البعض.
• الاستنتاج: على عكس هجوم "الملاحظة النهائية"، الذي يجمع الهدف ضمن $nT$ من العينات (مما يؤدي إلى تمييع الإشارة بمعامل قدره $T$)، يعمل هجوم SeMI* على دفعة مستردة بحجم $n$. وبالتالي، تظل قدرته التمييزية ثابتة بغض النظر عن إجمالي خطوات التدريب $T$.
• $\tau$ غير المعلوم: يشتق المؤلفون أيضاً متغيرات لزمن الإدراج غير المعلوم: SeMI$_{max}$ (اختبار نسبة الأرجحية المعممة) و SeMI$_{Unif}$ (بافتراض توزيع منتظم على $\tau$).

التوسع إلى (DP-)SGD

لتطبيق هذه الرؤى على التعلم العميق العملي، يوسع المؤلفون الإطار ليشمل النماذج المدربة باستخدام (الخصوصية التفاضلية لـ) التدرج الاشتقاقي العشوائي (DP-SGD).

• الافتراض: يفترضون أن تدرجات الدفعة تتبع توزيعاً غاوسياً (وهو ما يبرره قانون المركز المحدد).
• SeM$_{SGD}$ (الصندوق الأبيض): تحت هذا الافتراض، تتحقق خاصية العزل لعمليات تحديث المعلمات. الإحصائية الاختبارية المثلى هي حاصل الضرب الداخلي الموزون بـ "ما هالانيس" (Mahalanobis-weighted) بين تحديث المعلمة المقياس ($\theta_\tau - \theta_{\tau-1}$) وانحراف تدرج الهدف عن المتوسط السكاني.
• هجمات الصندوق الأسود: عندما يكون الوصول متاحاً فقط لقيم الخسارة، يقترح المؤلفون إحصائيات Loss Diff و Loss Ratio. تقوم هذه الإحصائيات بمقارنة خسارة الهدف قبل وبعد خطوة الإدراج ($\ell(\theta_{\tau-1}; z^*)$ مقابل $\ell(\theta_\tau; z^*)$)، مما يؤدي فعلياً إلى حصر الاستدلالات السابقة (مثل Back-Front أو Delta) في الانتقال المحدد حيث تتركز الإشارة.

المساهمات الرئيسية

1. هجوم SeMI* الأمثل: اشتقاق هجوم استنتاج العضوية الأمثل نظرياً للملاحظات المتسلسلة، والمحدد بزمن الإدراج. تثبت الورقة أن هذا الهجوم يحقق خاصية العزل، مما يجعل قوته مستقلة عن إجمالي خطوات التدريب $T$، على عكس الهجمات الثابتة.
2. هجمات SeMI للصندوق الأبيض والصندوق الأسود لـ (DP-)SGD: توسيع إطار نسبة الأرجحية الأمثل للتدريب القائم على التدرج. يتضمن ذلك SeM$_{SGD}$ (باستخدام التدرجات) والبدائل العملية القائمة على الخسارة (Loss Diff، Loss Ratio) التي تستعيد وتصقل الاستدلالات الموجودة من خلال التركيز على انتقال الإدراج المحدد.
3. بروتوكول تدقيق الخصوصية المتسلسل: صياغة تدقيق الخصوصية كإحدى ألعاب التسلسل. يوضح المؤلفون كيفية تحويل معدلات الخطأ لهجمات SeMI إلى حدود دنيا محكمة لـ $\epsilon$.
4. التحقق التجريبي: تجارب واسعة النطاق على بيانات اصطناعية ومجموعات بيانات واقعية (Fashion-MNIST، CIFAR-10، Purchase-100) مدربة باستخدام DP-SGD.

النتائج

• التفوق على الخطوط المرجعية الثابتة: عبر جميع مجموعات البيانات والنماذج، تحقق هجمات SeMI باستمرار قدرة تمييز أعلى (TPR عند معدل FPR ثابت) وتوفر حدوداً دنيا أكثر إحكاماً لـ $\epsilon$ ($\hat{\epsilon}$) مقارنة بالخطوط المرجعية المستقلة عن اللقطات مثل هجمات LiRA و Back-Front و Delta.
• تأثير طول التسلسل ($T$): في حالة المتوسط التجريبي، تظل قوة SeMI* ثابتة مع زيادة $T$، بينما تتدهور قوة هجوم "الملاحظة النهائية" بشكل كبير. في تجارب DP-SGD، تؤدي ملاحظة التسلسل الكامل من اللقطات إلى حدود $\epsilon$ أكثر إحكاماً من ملاحظة النموذج النهائي فقط.
• أمثلية الطرق القائمة على نسبة الأرجحية (LR): يتفوق منهج SeM$_{SGD}$ القائم على نسبة الأرجحية على طرق الخسارة الاستدلالية (Delta، Back-Front)، خاصة في أنظمة الخصوصية المنخفضة (low $\epsilon$) وفي أنظمة معدل الخطأ الإيجابي المنخفض، وهي أمور حاسمة للتدقيق المحكم.
• دور زمن الإدراج ($\tau$):
  • معرفة زمن الإدراج $\tau$ توفر تدقيقاً أكثر إحكاماً بشكل ملحوظ من معاملة $\tau$ كقيمة غير معلومة (مقارنة SeM$_{SGD}$ بـ SeM$_{SGD}^{max}$).
  • يعتمد إحكام التدقيق بقوة على $\tau$. في سيناريوهات الضبط الدقيق لـ DP-SGD، غالباً ما تؤدي أوقات الإدراج المتأخرة إلى حدود أكثر إحكاماً، مما يشير إلى أن الإشارة تكون أقوى بمجرد ابتعاد النموذج عن نقطة البداية.

الأهمية والادعاءات

تزعم الورقة أن فحص تسلسل النماذج الصادرة يوفر تدقيقاً أكثر إحكاماً للخصوصية من تحليل لقطة نهائية واحدة. ومن خلال الاستفادة من خاصية العزل، تمنع هجمات SeMI تمييع إشارة الخصوصية مع تراكم بيانات التدريب.

يؤكد المؤلفون أن نهجهم يوفر تصميماً مبدئياً مدفوعاً بالنظرية لهجمات استنتاج العضوية، متجاوزين بذلك تجميع الدرجات الاستدلالي. ويجادلون بأن القدرة على التحكم في زمن الإدراج $\tau$ تعمل كرافعة جديدة يمكن للمدققين اتخاذ إجراء بشأنها، مما يسمح لهم باختيار اللحظات المثلى للإدراج لتعظيم إحكام التدقيق. يجسّر هذا العمل الفجوة بين ضمانات الخصوصية التفاضلية النظرية وتقديرات الخصوصية التجريبية، موضحاً أن الوصول المتسلسل يمكن أن يحسن بشكل كبير دقة تدقيق الخصوصية للأنظمة المتطورة من تعلم الآلة.

تظل الورقة متواضعة فيما يتعلق بافتراضاتها، مشيرة إلى أن الأمثلية النظرية تعتمد على تقريبات التدرج الغاوسي والتوزيعات المعلومة، رغم أن النتائج التجريبية لـ DP-SGD تشير إلى أن خاصية العزل تصمد بقوة حتى في بيئات التعلم العميق المعقدة. كما يُقترح كعمل مستقبلي تكييف تقنيات التدقيق أحادية التشغيل مع الإعدادات المتسلسلة، ومواصلة دراسة تأثير تغير التوزيع عبر إصدارات النماذج.