ملخص تقني: الضمانات المثلى لتدقيق الخصوصية التفاضلية لـ ريني (Rényi) في تعلم الآلة

1. بيان المشكلة

بينما تنتقل أنظمة تعلم الآلة ذات الخصوصية التفاضلية (DP) من الجانب النظري إلى التطبيق العملي، يظل هناك تحدٍ حرج: كيف يمكن التحقق بشكل موثوق، باستخدام ملاحظات تجريبية محدودة، مما إذا كانت خوارزمية التعلم تستوفي بالفعل ضمانات الخصوصية التي تدعيها. وبينما توجد أدبيات واسعة النطاق لتدقيق الخصوصية النقية والتقريبية من نوع $(\epsilon, \delta)$-DP، فإن الأسس النظرية لتدقيق خصوصية ريني (Rényi Differential Privacy - RDP) لا تزال غير مكتملة.

تعتمد طرق التدقيق "الصندوق الأسود" (black-box) الحالية غالبًا على بناء هجمات محددة (مثل استنتاج العضوية، أو تسميم البيانات)، أو تقريبات تقاربية. وتفتقر هذه النهج كثيرًا إلى ضمانات العينات المحدودة التي تفصل بوضوح بين خطأ التقدير الإحصائي وتسرب الخصوصية الخوارزمي. وبناءً على ذلك، ليس من الواضح مدى دقة تقدير معاملات RDP من العينات المحدودة، أو ما إذا كانت الطرق الموجودة مثالية، أو كيف يتدرج خطأ التدقيق مع تعقيد النموذج. تعالج هذه الورقة الفجوة في تقديم ضمانات صارمة، غير تقاربية، ومثلى من الناحية المعلوماتية لتدقيق RDP في إطار الصندوق الأسود.

2. المنهجية

يقترح المؤلفون إطار عمل جديد للتدقيق يعتمد على اختبار الفرضيات الذي يقوم بتقدير تباعد ريني (Rényi divergence) مباشرة بين التنفيذات المتجاورة لخوارزمية تعلم الآلة.

2.1 الإطار الجوهري: تباعد ريني التغايري (Variational Rényi Divergence)

تستخدم الطريقة التمثيل التغايري لـ "دونسكر-فارخاد" (Donsker–Varadhan - DV) لتباعد ريني. وبدلاً من الاعتماد على هجمات محددة، يصيغ المؤلفون تدقيق الخصوصية كمسألة تقدير إحصائي:

• الهدف: تقدير (أو إثبات حد أدنى لـ) تباعد ريني $D_\alpha(P \| Q)$ بين توزيعات المخرجات $P$ و $Q$ لآلية تم تقييمها على مجموعات بيانات متجاورة.
• المُقدِّر (Estimator): يستخدم المؤلفون مُقدِّرًا تغایريًا يعتمد على الشبكة العصبية. حيث يحددون فئة من الدوال (النقاد) $\Gamma_\Theta$ يتم تمثيلها بواسطة شبكة عصبية $T_\theta$. ويقوم المُقدِّر بتعظيم الهدف التغايري:
  $$R_\Theta^\alpha(Q \| P) = \sup_{\theta \in \Theta} \left\{ \frac{1}{\alpha-1} \log \mathbb{E}_Q[e^{(\alpha-1)T_\theta}] - \frac{1}{\alpha} \log \mathbb{E}_P[e^{\alpha T_\theta}] \right\}$$
• التنفيذ: يتم إجراء التقدير عبر التدرج الاشتقاقي العشوائي (stochastic gradient descent) مع استخدام الدفعات الصغيرة (mini-batching) والمتوسط المتحرك الأسي (EMA) لضمان الاستقرار العددي، خاصة بالنسبة للرتب الأعلى من $\alpha$.

2.2 بروتوكول تدقيق الصندوق الأسود

في إعداد الصندوق الأسود، يمكن للمهاجم فقط إدخال "كناري" (canary) مدخل ومراقبة النموذج المدرب النهائي. تتضمن إجراءات التدقيق (الخوارزمية 3) ما يلي:

1. التهيئة للسيناريو الأسوأ: اتباعًا لـ [31]، يصيغ المؤلفون معاملات النموذج الأولية للسيناريو الأسوأ (عبر التدريب المسبق) لزيادة حساسية عملية التدريب لوجود "الكناري".
2. التدريب: يتم تدريب النموذج مرتين باستخدام DP-SGD: مرة مع الكناري ($D'$) ومرة بدون الكناري ($D$).
3. الملاحظة: يجمع المدقق قيم الخسارة (أو مخرجات أخرى) للكناري من كلا النموذجين المدربين.
4. التقدير: يقوم مُقدِّر DV بحساب تباعد ريني بين توزيعات الخسارة للنموذجين.

2.3 الضمانات الإحصائية

تستنتج الورقة فترات ثقة صريحة وغير تقاربية للمُقدِّر القائم على DV عبر فئات النقاد المقيدة. ومن خلال معاملة التدقيق كاختبار فرضية، تحول الطريقة الأدلة التجريبية إلى شهادات انتهاك الخصوصية مع التحكم في خطأ النوع الأول (Type-I error).

3. المساهمات الرئيسية

3.1 أول تدقيق مباشر لـ RDP

المؤلفون هم أول من يقوم بتدقيق خصوصية ريني بشكل مباشر، حيث وضعوا طريقة "صندوق أسود" هي الأحدث (state-of-the-art) لتقدير تباعد ريني بين مخرجات آلية مجموعة البيانات المتجاورة. وخلافًا للأعمال السابقة التي تحول بين مفاهيم الخصوصية (مثل $\mu$-GDP إلى RDP)، تقوم هذه الطريقة بتقدير التباعد مباشرة.

3.2 فترات الثقة غير التقاربية والتحسين الأمثل

تقدم الورقة ضمانات نظرية صارمة:

• حدود العينة المحدودة: تثبت النظرية 3.2 فترات ثقة صريحة وغير تقاربية للمُقدِّر لتباعد ريني المقيد بالفئة. وتفصل هذه الحدود بين خطأ التقدير الإحصائي وتسرب الخصوصية الحقيقي.
• الأمثلية الدنيا القصوى (Minimax Optimality): تثبت النظرية 3.3 حدود دنيا مطابقة للحد الأدنى من التباين (minimax lower bounds). ويظهر المؤلفون أنه، باستثناء العوامل اللوغاريتمية، فإن ضمانات تعقيد العينة الخاصة بهم مثلى من الناحية المعلوماتية. لا يمكن لأي مُقدِّر أن يقدر هدف DV للمجتمع بدقة أعلى بنفس حجم العينة وقيود فئة الناقد.

3.3 التحقق التجريبي

تم تطبيق إطار العمل لتدقيق DP-SGD على مجموعات بيانات MNIST و CIFAR-10. وتظهر النتائج أن مدققينا المقترحين ينتجون تحسينات قوية على الحدود الدنيا التجريبية لـ RDP مقارنة بالطرق السابقة المتقدمة في مجال الصندوق الأسود، لا سيما عند رتب ريني الصغيرة والمتوسطة ($\alpha \in (1, 2]$) حيث يكون التدقيق الدقيق أكثر صعوبة.

4. النتائج

• الأداء: عبر مختلف أنظمة الخصوصية ومجموعات البيانات، يعطي مُقدِّر DV-Rényi حدودًا دنيا تجريبية أكثر إحكامًا من أحدث طرق الصندوق الأسود (SOTA) الحالية [31].
• الحساسية: تظهر التحسينات بشكل أوضح عند ميزانيات الخصوصية المنخفضة (قيم $\epsilon_\alpha$ الصغيرة)، حيث تعاني الطرق السابقة غالبًا من التشبع المبكر أو التباين العالي.
• المتانة: تظل الطريقة مستقرة حتى تحت التهيئة للسيناريو الأسوأ، والتي صُممت لزيادة قابلية اكتشاف تسرب الخصوصية.
• التوافق النظري: تتوافق الاتجاهات التجريبية مع التحليل النظري، مما يؤكد أن مجموعات البيانات الأصغر (التي تزيد من التأثير النسبي للكناري) تؤدي إلى عمليات تدقيق أكثر إحكامًا، بينما يقلل استخدام معايير قص (clipping norms) أكبر (الذي يحقن المزيد من الضجيج) من قابلية الاكتشاف.

5. الأهمية والادعاءات

تدعي الورقة أنها وضعت أول ضمانات مثلى لتدقيق RDP عبر مُقدِّرات DV. وتكمن أهميتها في:

1. الصرامة التأسيسية: الانتقة من الهجمات التجريبية إلى إطار إحصائي مبدئي مع فترات ثقة للعينات المحدودة.
2. الحدود المعلوماتية: توصيف الحدود الإحصائية الأساسية لتدقيق RDP، وإظهار أن الطريقة المقترحة تحقق الأمثلية الدنيا القصوى (minimax optimality).
3. الفائدة العملية: توفير أداة تقدم عمليات تدقيق خصوصية أكثر دقة ومتانة للأنظمة المنشورة، خاصة في الأنظمة التي يكون فيها التدقيق الدقيق صعبًا.

يشير المؤلفون إلى أنه بينما طريقتهم مثلى باستثناء العوامل اللوغاريتمية، فإن التحسينات الإضافية محدودة جوهريًا بالقيود المعلوماتية. وتشمل اتجاهات العمل المستقبلي التي تم تحديدها توسيع هذه الضمانات لتشمل البيئات التفاعلية والموزعة واستكشاف صيغ تغايرية بديلة لقيم $\alpha$ الأكبر.