Quadratic Objective Perturbation: Curvature-Based Differential Privacy

ملخص تقني: اضطراب الهدف التربيعي لتقليل المخاطر التجريبية ذي الخصوصية التفاضلية

بيان المشكلة
تتناول الورقة البحثية تحدي تحقيق الخصوصية التفاضلية (Differential Privacy - DP) في مسائل تقليل المخاطر التجريبية (Empirical Risk Minimization - ERM)، لا سيما في سياقات تعلم الآلة الحديثة حيث تكون البيانات حساسة والنماذج غالباً ما تكون مفرطة المعلمات (overparametrized). يتضمن الصياغة القياسية تقليل مجموع دوال الخسارة المحدبة بالإضافة إلى منظم (regularizer) عبر مجموعة بيانات $D$. تعتمد الأساليب الحالية، وتحديداً "اضطراب الهدف الخطي" (Linear Objective Perturbation - LOP)، على فرض تحقيق الخصوصية عبر إضافة حد خطي عشوائي إلى الهدف. ومع ذلك، يعتمد LOP على افتراض قوي بأن تدرجات (gradients) دوال الخسارة محدودة بشكل موحد. هذا الافتراض غالباً ما يُنتهك في التعلم العميق الحديث والأنظمة مفرطة المعلمات، حيث يمكن أن تكون التدرجات غير محدودة، مما يجعل LOP غير قابل للتطبيق أو يتطلب آليات قص (clipping) غير واقعية تؤدي إلى تدهور المنفعة.

المنهجية: اضطراب الهدف التربيعي (QOP)
يقترح المؤلفون اضطراب الهدف التربيعي (Quadratic Objective Perturbation - QOP)، وهو آلية تقوم باضطراب دالة الهدف باستخدام صيغة تربيعية عشوائية بدلاً من الصيغة الخطية. بدلاً من حل المسألة الأصلية، تقوم الآلية بحل:
$$\theta_{priv} = \arg\min_{\theta \in C} \left\{ J(\theta; D) + \frac{\sigma^2}{2}(\theta - \tilde{\theta}^*)^T W (\theta - \tilde{\theta}^*) \right\}$$
حيث $W$ هي مصفوفة عشوائية مستمدة من توزيع (تحديداً تجمع ويشارت/Wishart ensemble) و $\tilde{\theta}^*$ هو تقريب للمُقلل المشترك لدوال الخسارة.

الميزات المنهجية الرئيسية تشمل:

1. الخصوصية القائمة على الانحناء: على عكس LOP، الذي يزيح المُقلل ويتطلب تدرجات محدودة للتحكم في الحساسية، يقوم QOP بتعديل انحناء (curvature) الهدف. يؤدي الحد التربيعي العشوائي إلى إحداث تقعر قوي (strong convexity)، ويتم التحكم في حساسية المخرج من خلال الخصائص الطيفية (القيم الذاتية) للمصفوفة العشوائية $W$.
2. نظام الاستيفاء (Interpolation Regime): يفترض التحليل وجود مُقلل مشترك $\theta^*$ لجميع دوال الخسوة الفردية (نظام الاستيفاء)، وهو شرط قياسي في التعلم مفرط المعلمات حيث يمكن تحقيق خسارة تدريب صفرية.
3. الحلول التقريبية: يمتد الإطار ليشمل السيناريوهات العملية التي يتم فيها حل المسألة المضطربة تقريبياً ($\tau$-accuracy) ويكون نقطة الارتكاز (anchor point) $\tilde{\theta}^*$ تقريباً ($\eta$-accuracy) للمُقلل المشترك الحقيقي. تضيف الآلية ضجيجاً غاوسياً (Gaussian noise) إلى الحل التقريبي لمعالجة هذه الأخطاء.
4. التنفيذ الخوارزمي: تحتفظ المسألة المضطبة الناتجة بهيكل مركب (مجموع منتهٍ سلس + منظم غير سلس + قيود)، مما يسمح بحلها بكفاءة باستخدام مخططات التجزئة الثلاثية العشوائية (Stochastic Three-Operator Splitting - StoTOS).

المساهمات الرئيسية

1. آلية اضطراب جديدة: تقديم QOP، الذي يلغي الحاجة إلى افتراض التدرجات المحدودة المطلوبة في طرق الاضطراب الخطي السابقة.
2. تحليل الخصوصية تحت افتراضات أضعف: إثبات جديد للخصوصية يوضح أنه يمكن ضمان الخصوصية التفاضلية من نوع $(\epsilon, \delta)$ في نظام الاستيفاء دون افتراض تدرجات محدودة. يستفيد الإثبات من الخصائص الطيفية للمصفوفة العشوائية $W$ للحد من حساسية المُقلل.
3. المتانة تجاه التقريب: توسيع ضمانات الخصوصية لتشمل الحالات التي تتضمن حلولاً غير دقيقة ونقاط ارتكاز تقريبية، مما يظهر أن الخصوصية ذات المعنى تظل محفوظة رغم هذه العيوب العملية.
4. ضمانات المنفعة: اشتقاق حدود على المخاطر الزائدة التجريبية (empirical excess risk)، مما يحدد المقايضة بين معلمات الخصوصية، ودقة الحل، والمسافة بين المُقلل الحقيقي والمُقلل المشترك.

النتائج

• المقارنة النظرية: تثبت الورقة أن QOP و LOP يحققان قوانين قياس (scaling laws) مختلفة جوهرياً. يوضح التحليل النظري أن مخاطر LOP تتناسب مع قطر مجموعة القيود (بسبب اعتماده على حدود التدرج)، بينما تظل مخاطر QOP مستقرة ومستقلة عن قطر القيد.
• التجارب العددية: تؤكد النتائج التجريبية على المربعات الصغرى الخطية مع انحدار LASSO هذه النتائج النظرية. في الأنظمة ذات التدرجات غير المحدودة (أقطار القيود الكبيرة)، تزديد مخاطر LOP التجريبية بشكل كبير، بينما يظل QOP مستقراً. حتى في أنظمة النطاق الصغير، يظهر QOP مخاطر تجريبية أقل مقارنة بـ LOP و LOP مع قص التدرج.
• الكفاءة الخوارزمية: يسمح استخدام مخططات التجزئة العشوائية بحل المسائل المضطربة بكفاءة، مما يؤكد الجدوى العملية لهذا النهج.

الأهمية والادعاءات
تدعي الورقة أن QOP يوفر بديلاً طبيعياً لطرق اضطراب الهدف الكلاسيكية، خاصة في سياقات تعلم الآلة الحديثة حيث نادراً ما يتم استيفاء افتراضات الانتظام القوية (مثل التدرجات المحدودة). من خلال نقل التحكم في الحساسية من حدود التدرج إلى انحناء الهدف عبر اضطرابات المصفوفة العشوائية، يقدم المؤلفون إطاراً سليماً نظرياً وأكثر تفوقاً من حيث الاستقرار تجريبياً. يشير العمل إلى أن التحكم في الانحناء هو آلية أكثر متانة لموازنة الخصوصية والمنفعة في النماذج مفرطة المعلمات. يشير المؤلفون إلى أن العمل المستقبلي يمكن أن يركز على تخفيف فرضية المُقلل المشترك واستكشاف خصوصية رينيي (Rényi differential privacy) للحصول على ضمانات أكثر دقة.