Differentially Private Nonparametric Confidence Intervals Under Minimal Distributional Assumptions

ملخص تقني: فترات الثقة غير المعلمية ذات الخصوصية التفاضلية تحت افتراضات توزيعية دنيا

بيان المشكلة
تتناول الورقة البحثية تحدي بناء فترات ثقة (CIs) غير معلمية ذات خصوصية تفاضلية (DP) لأي كميات إحصائية. وبينما تُعد فترات الثقة أساسية لتكميم عدم اليقين في الاستدلال الإحصائي، فإن أساليب الخصوصية التفاضلية الحالية تواجه قيوداً كبيرة. فالعديد من النهج الحالية تعتمد على افتراضات قوية، مثل التوزيع الطبيعي التقاربي للإحصائية، أو ترتبط بآليات خصوصية محددة (مثل إضافة الضجيج الغاوسي). علاوة على ذلك، فإن الطرق القائمة على "البوتستراب" (bootstrapping) أو "حقيبة البوتستراب الصغيرة" (Bag-of-Little-Bootstrap - BLB) قد تكون غير عملية في أنظمة العينات المحدودة، مما يؤدي غالباً إلى فترات تكون إما غير صالحة (نقص في التغطية) أو متحفظة بشكل مفرط (واسعة للغاية). يهدف المؤلفون إلى تطوير إطار عمل عام يحول أي مُقدِّر ذي خصوصية تفاضلية يستوفي شروطاً طفيفة إلى فترة ثقة غير معلمية صالحة، دون اشتراط توزيعات حدية محددة أو افتراضات نعومة على الدالة المستهدفة.

المنهجية: PrivSub (الاستعيان الفرعي الخاص)
يعتمد الحل المقترح، PrivSub، على التقنية الإحصائية الاستعيان الفرعي (subsampling) بدلاً من "البوتستراب". تعمل الخوارزمية كما يلي:

1. التقدير الكامل: حساب تقدير ذي خصوصية تفاضلية للكمية المستهدفة على كامل مجموعة البيانات باستخدام آلية $M_{full}$.
2. الاستعيان الفرعي: سحب $T$ من المجموعات الفرعية بحجم $m$ من مجموعة البيانات بدون استبدال.
3. التقدير الفرعي الخاص: تطبيق مُقدِّر ذي خصوصية تفاضلية $M_{sub}$ على كل واحدة من الـ $T$ مجموعات فرعية.
4. المعالجة اللاحقة: بناء دالة التوزيع التراكمي (CDF) التجريبية للإحصائيات الخاصة المركزية والمدرجة (rescaled). وتحديداً، تقوم الطريقة بمركزة تقديرات المجموعات الفرعية حول تقدير مجموعة البيانات الكاملة، وإعادة مدرجتها بنسبة معدلات التقارب $\tau_m / \tau_n$ (حيث $\tau_n$ هو معدل تقارب الإحصائية).
5. بناء الفترة: يتم اشتقاق فترة الثقة النهائية عن طريق أخذ المئينات $\alpha/2$ و $1-\alpha/2$ من دالة التوزيع التراكمي التجريبية هذه.

يتميز إطار العمل بأنه "صندوق أسود"، مما يعني أنه لا يتطلب معرفة بالشكل المحدد للتوزيع الحدي، بل يتطلب فقط وجود توزيع وحالة تقارب معروفة. يتم تحقيق ضمان الخصوصية من خلال تطبيق آليات الخصوصية التفاضلية القياسية على حسابات المجموعات الفرعية والاستفادة من تضخيم الخصوصية عن طريق الاستعيان الفرعي، متبوعاً بالتركيب (composition) عبر الـ $T$ تكرارات.

المساهمات الرئيسية

• إطار عمل عام: يقترح المؤلفون طريقة تحول أي مُقدِّر ذي خصوصية تفاضلية إلى فترة ثقة غير معلمية تحت افتراضات توزيعية دنيا. وهي لا تتطلب أن تكون الإحصائية موزعة طبيعياً تقاربياً أو أن تكون الدالة ناعمة.
• الضمانات النظرية: تثبت الورقة أن دالة التوزيع التراكمي التجريبية الناتجة عن PrivSub تتقارب مع توزيع المعاينة الحقيقي للإحصائية الخاصة (النظرية 3.3). وبناءً على ذلك، ثبت أن فترة الثقة الناتجة صالحة تقاربياً ومحكمة (النتيجة 3.4)، بشرط أن تكون آلية الخصوصية متسقة بمعدل $\tau_n$ (أي أن الخطأ الناتج عن الخصوصية هو من رتبة أدنى من الخطأ الإحصائي).
• تحليل الخصوصية: يقدم المؤلفون حدوداً صارمة للخصوصية للخوارزمية، مع مراعاة كل من الخصوصية التفاضلية النقية ($\delta=0$) والخصوصية التفاضلية التقريبية ($\delta > 0$)، باستخدام تضخيم الاستعيان الفرعي ونظريات التركيب المتقدمة.
• التوجيه التجريبي: على الرغم من أنه لا يمكن اشتقاق المعلمات الفائقة المثلى للعينات المحدودة ($m$ و $T$) تحت افتراضات دنيا، إلا أن الورقة تقدم توجيهاً تجريبياً. فهي تقترح قيداً $m \cdot T \gtrsim n$ للموازنة بين استخدام البيانات وتكلفة الخصوصية، وتوصي بـ $m \propto n^{2/3}$ و $T=60$ للاستقرار العملي.

النتائج التجريبية
يقيم المؤلفون PrivSub مقابل طرق فترات الثقة غير المعلمية العامة الموجودة، وتحديداً BLBquant (القائمة على BLB) و PrivBoot (القائمة على البوتستراب الخاص)، عبر ثلاث مهام:

1. تقدير الوسيط: تحت توزيع طبيعي مبتور.
2. تقدير ميل الانحدار اللوجستي: إعداد معلمي ذو توزيع حدي طبيعي.
3. إحصائية كولموغوروف-سميرنوف (KS): دالة غير ناعمة ذات توزيع حدي غير طبيعي.

النتائج:

• الصلاحية والإحكام: تنتج PrivSub باستمرار فترات ثقة ذات تغطية قريبة من المستوى الاسمي (على سبيل المثال، 90%). وفي المقابل، غالباً ما تعاني BLBquant من نقص في التغطية (غير صالحة) في العينات المحدودة، بينما تكون PrivBoot متحفظة بشكل مستمر، مما ينتج فترات أوسع بكثير.
• المتانة: تؤدي PrivSub أداءً جيداً عبر كل من الدوال الناعمة (الوسيط، الانحدار) وغير الناعمة (KS). وقد تفوقت بشكل ملحوظ على المنافسين في تجربة KS، حيث تشكل التوزيعات الحدية غير الطبيعية تحدياً للطرق الأخرى.
• الأداء في العينات المحدودة: تحقق الطريقة عروضاً تنافسية، وغالباً ما تكون أصغر من خطوط الأساس غير الخاصة المقابلة، في حين تعاني الطرق المنافسة غالباً من عرض مفرط بسبب تكاليف تركيب الخصوصية أو عدم الصلاحية.

الأهمية والادعاءات
تدعي الورقة أن PrivSub يوفر نهجاً نموذجياً وعاماً للاستدلال الإحصائي الخاص. تكمن أهميتها الأساسية في تخفيف الافتراضات المطلوبة لفترات الثقة ذات الخصوصية التفاضلية الصالحة. وخلافاً للأعمال السابقة التي تستلزم التوزيع الطبيعي التقاربي أو آليات ضجيج محددة، تعتمد PrivSub فقط على وجود توزيع حدي ومعدل تقارب معروف. وهذا يجعل إطار العمل قابلاً للتطبيق على فئة أوسع من المشكلات الإحصائية، لا سيالما تلك التي تتضمن دوال غير ناعمة أو توزيعات معقدة حيث تفشل طرق البوتستراب التقليدية أو طرق التقريب الطبيعي. ويؤكد المؤلفون أن ضماناتهم النظرية تترجم إلى أداء عملي، مما يوفر بديلاً قوياً لتكميم عدم اليقين في تحليل البيانات الحساسة للخصوصية.