ملخص تقني: دمج ارتباط الميزات في الخصوصية التفاضلية مع تطبيقات في DP-ERM

بيان المشكلة

تفرض الخصوصية التفاضلية (DP) القياسية قيودًا موحدة للخصوصية عبر جميع ميزات مجموعة البيانات، حيث تعامل كل ميزة على أنها متساوية في الحساسية. هذا الافتراض يؤدي غالبًا إلى مقايضات مفرطة في التحفظ بين الخصوصية والمنفعة في التطبيقات الواقعية حيث تكون حساسية الميزات متباينة. على سبيل المثال، في البيانات الصحية، قد تكون قراءات ضغط الدم شديدة الحساسية، بينما تكون الفئات العمرية أقل حساسية. ومع ذلك، غالبًا ما تكون هذه الميزات مرتبطة ببعضها البعض؛ إذ يمكن أن يؤدي الكشف عن العمر عن غير قصد إلى تسريب معلومات حول توزيعات ضغط الدم.

تحاول مناهج الخصوصية التفاضلية "شبه الحساسة" الحالية معالجة هذا الأمر من خلال معاملة بعض الميزات كبيانات عامة وأخرى كبيانات خاصة. ومع ذلك، فإن هذه الأساليب تفترض غالبًا استقلال الميزات الحساسة عن غير الحساسة. وعند وجود ارتباطات، فإن معاملة ميزة ما كبيانات عامة يمكن أن يمس بالخصوصية للميزة الحساسة التي ترتبط بها، مما يؤدي إلى انتهاكات محتملة للخصوصية. وعلى العكس من ذلك، فإن تطبيق ضوضاء موحدة على جميع الميزات (الخصوصية التفاضلية القياسية) يشوه مجموعة البيانات دون داعٍ، مما يقلل من المنفعة. تحدد الورقة فجوة في الأدبيات الحالية: وهي الافتقار إلى أطر عمل تأخذ في الاعتبار بدقة الارتباطات بين الميزات الحساسة وغير الحساسة لتحسين المنفعة دون التضحية بضمانات الخصوصية.

المنهجية: إطار عمل CorrDP

يقترح المؤلفون CorrDP (الخصوصية التفاضلية المدركة للارتباط)، وهو تعريف مريح للخصوصية التفاضلية يدمج ارتباطات الميزات في قيد الخصوصية.

1. تعريف CorrDP

يقوم CorrDP بتعديل تعريف الخصوصية التفاضلية القياسية عن طريق إدخال مقياس مسافة $d(D, D')$ بين قواعد البيانات المتجاورة $D$ و $D'$.

• قواعد البيانات المتجاورة: تُعرف بأنها تختلف في مدخل واحد على الأكثر، حيث يحدث الاختلاف إما في الميزات الحساسة ($S$) أو الميزات غير الحساسة ($U$)، ولكن ليس في كليهما في آن واحد.
• مقياس المسافة: يتم تخفيف قيد الخصوصية بناءً على الارتباط بين الميزة المتغيرة والميزات الحساسة.
  $$P(A(D) \in R) \leq e^{\frac{\epsilon}{d(D, D')}} P(A(D') \in R) + \delta$$
• اختيار المقياس: تستخدم الورقة مسافة التباين الكلي (TV Distance) لتكميم الارتباط. وتحديدًا، يتم تعريف $d(D, D')$ كأقصى مسافة تباين كلي بين التوزيعات الشرطية للميزات الحساسة بناءً على الميزات غير الحساسة قبل التغيير وبعده.
  • إذا كان التغيير في ميزة حساسة، فإن $d(D, D') = 1$ (الخصوصية التفاضلية القياسية).
  • إذا كان التغيير في ميزة غير حساسة مستقلة عن الميزات الحساسة، فإن $d(D, D') = 0$ (لا توجد تكلفة للخصوصية).
  • إذا كان التغيير في ميزة غير حساسة مرتبطة بالميزات الحساسة، فإن $d(D, D') \in (0, 1)$، مما يخفف ميزانية الخصوصية إلى $\epsilon / d(D, D')$.

2. الآليات والخوارزميات

يقوم المؤلفون بتكييف الآليات القياسية مع إطار عمل CorrDP:

• آلية لابلاس لـ CorrDP (CorrDP Laplace Mechanism): تقدم "حساسية مرتبطة" $\Delta_C f$ تقوم بوزن حساسية الميزات غير الحساسة بناءً على مسافة التباين الكلي الخاصة بها تجاه الميزات الحاسية. وهذا يسمح بتقليل حقن الضوضاء في الميزات غير الحساسة.
• خوارزمية CorrDP-SGD (النزول الاشتقاقي العشوائي): تُطبق على تقليل المخاطر التجريبية (DP-ERM).
  • معايرة الضوضاء: يتم تعديل تباين الضوضاء $\sigma_i^2$ للميزة رقم $i$. بالنسبة للميزات الحساسة ($i \in S$)، تُستخدم الضوضاء القياسية. بالنسبة للميزات غير الحساسة ($i \in U$)، يتم تقليل مقياس الضوضاء بعامل يعتمد على $\max\{TV(i), m_s^2/m^2\}$، حيث $m_s$ هو عدد الميزات الحساسة و $m$ هو الإجمالي للأبعاد.
  • التعامل مع الارتباطات غير المعروفة: عندما تكون مسافة التباين الكلي غير معروفة، يقترح المؤلفون إجراءً للتقدير باستخدام الحد الأعلى للثقة للتباين الكلي التجريبي. وقد أثبتوا أن خطوة التقدير هذه، عند ضبطها بشكل صحيح، تحافظ على ضمانات الخصوصية والمنفعة.

3. الضمانات النظرية

• الخصوصية: تلبي الخوارزميات المقترحة معيار $(\epsilon, \delta)$-CorrDP.
• المنفعة: بالنسبة لدوال الخسارة المحدبة (بما في ذلك النماذج الخطية المعممة مثل الانحدار الخطي العادي والانحدار اللوجستي)، يتم تحديد فجوة المنفعة (المخاطر التجريبية الزائدة) بـ:
  $$R(\theta_{priv}) = \tilde{O}\left( \frac{\sqrt{m_s + \min\{\sum_{i \in U} TV(i), m_s/4\}}}{n\epsilon} \right)$$
  يمثل هذا تحسنًا عن حد DP-ERM القياسي البالغ $\tilde{O}(\sqrt{m}/(n\epsilon))$ عندما يكون عدد الميزات الحساسة $m_s$ صغيرًا مقارنة بإجمالي الميزات $m$، وتكون الميزات غير الحساسة ضعيفة الارتباط بالميزات الحساسة.
• الحد الأدنى: تضع الورقة حداً أدنى يقارب هذا الحد، مما يؤكد أن التحسن في المنفعة دقيق نظريًا.

المساهمات الرئيسية

1. إطار عمل جديد (CorrDP): تقديم مفهوم للخصوصية التفاضلية يدمج صراحةً ارتباطات الميزات عبر مقياس مسافة (مسافة التباين الكلي)، والذي يتقلص إلى الخصوصية التفاضلية القياسية عندما تكون جميع الميزات حساسة.
2. تحسين المنفعة في DP-ERM: تصميم خوارزميات CorrDP-SGD التي تدمج ضوضاء تعتمد على المسافة. تظهر النتائج النظرية تحسنًا في المنفعة بمعامل قدره $\sqrt{m/m_s}$ في ظل ظروف معينة.
3. تقدير المسافة: إجراء لتقدير مسافة التباين الكلي غير المعروفة من مجموعة البيانات باستخدام الحدود العليا للثقة، مما يضمن أن خطأ التقدير لا يمس ضمانات الخصوصية أو المنفعة.
4. التوسع إلى الشبكات العصبية: تكييف إطار العمل مع الشبكات العصبية، وتحديدًا تقليل الضوضاء في الطبقة الأولى حيث تتم معالجة الميزات غير الحساسة، مما يؤدي إلى أداء محسّن مقارنة بـ DP-SGD القياسي.
5. التحقق التجريبي: تجارب على بيانات اصطناعية وواقعية (Adult، Sepsis، Credit Card، Medical Cost) تظهر أن CorrDP يتفوق باستمرار على الخصوصية التفاضلية القياسية ونماذج "الجزئي" (التي تستبعد الميزات الحساسة)، محققًا دقة تقارب نماذج "شبه" (التي تتجاهل الارتباطات) مع توفير ضمانات خصوصية أقوى.

النتائج

• البيانات الاصطناعية: في مهام انحدار ريدج (Ridge Regression)، حقق CorrDP فجوات منفعة أقل (دقة أفضل) من الخصوصية التفاضلية القياسية عبر مختلف ميزانيات الخصوصية ($\epsilon$)، لا سيما في أنظمة الخصوصية العالية. كما أدى أداءً مشابهًا لنموذج "شبه" (الذي يتجاهل الارتباطات) ولكن مع حماية خصوصية صارمة.
• البيانات الواقعية:
  • Adult (التنبؤ بالدخل): تفوق CorrDP على نموذج "شبه" وعانى من انخفاض في الدقة بنسبة أقل من 4% مقارنة بالنماذج غير الخاصة في أنظمة الخصوصية العالية.
  • Sepsis (التنبؤ بالبقاء على قيد الحياة): باستخدام شبكة عصبية ذات طبقتين، طابق CorrDP أداء نموذج "شبه" وتفوق باستمرار على الخصوصية التفاضلية القياسية.
  • Credit Card & Medical Cost: لوحظت اتجاهات مماثلة، حيث حقق CorrDP منفعة قريبة من نموذج "شبه" مع الحفاظ على ضمانات خصوصية صارمة.
• تقدير مسافة التباين الكلي: نجحت طريقة التقدير المقترحة في التعامل مع الارتباطات غير المعروفة، حيث تم تعديل مقاييس الضوضاء ديناميكيًا بناءً على قوة الارتباط المقدرة (على سبيل المثال، في مجموعة بيانات Adult، تطلبت ميزة "workclass" ضوضاء أعلى بسبب ارتباطها العالي مع الميزات الحساسة).

الأهمية والادعاءات

تدعي الورقة أن CorrDP يوفر وسيلة منهجية لتخفيف قيود الخصوصية في وجود ارتباطات الميزات دون المساس بضمانات الخصوصية الصارمة. ومن خلال كميّة "التسريب" من الميزات غير الحساسة إلى الحساسة عبر مسافة التباين الكلي، يسمح إطار العمل بـ حقن ضوضاء يعتمد على المسافة.

يؤكد المؤلفون أن نهجهم:

• لا يعتمد على البيانات العامة أو افتراضات هندسية محددة للتدرج (على عكس بعض طرق تحسين المنفعة الأخرى).
• يوفر تعميمًا طبيعيًا للخصوصية التفاضلية والخصوصية التفاضلية "شبه الحساسة".
• يثبت أن مراعاة الارتباطات تسمح بمنفعة أفضل بكثير في الإعدادات عالية الأبعاد حيث يكون جزء فقط من الميزات حساسًا حقًا.

يُقدم هذا العمل كخطوة نحو تعلم آلي أكثر عملية يحافظ على الخصوصية، مع الإقرار بأن الواقع غالباً ما يحتوي على مستويات حساسية متباينة واعتمادات معقدة تفشل الخصوصية التفاضلية القياسية في استغلالها لتحقيق مكاسب في المنفعة. ويشير المؤلفون إلى بعض القيود، مثل التكلفة الحسابية لتقدير مسافات التباين الكلي في الأبعاد العالية وضرورة وجود تقسيمات واضحة للميزات الحساسة وغير الحساسة، مشيرين إلى هذه كتوجهات للبحوث المستقبلية.