Optimal Cox regression under federated differential privacy: coefficients and cumulative hazards

فيما يلي ملخص تقني مفصل للورقة البحثية بعنوان "Optimal Cox regression under federated differential privacy: coefficients and cumulative hazards" من إعداد إيلي كيه إتش هانغ ويي يو.

1. صياغة المشكلة

تتناول الورقة البحثية تحدي إجراء تحليل البقاء (survival analysis) على بيانات موزعة مع الحفاظ على ضمانات خصوصية صارمة. وتحديداً، تركز الورقة على نموذج مخاطر كوكس النسبية (Cox Proportional Hazards Model)، وهو أداة قياسية لتحليل بيانات "الوقت حتى وقوع الحدث" مع وجود بيانات خاضعة للرقابة (censoring).

• الإطار: بيئة تعلم اتحادي (Federated Learning) حيث يتم توزيع البيانات عبر $S$ من الخوادم. كل خادم $s$ يمتلك $n_s$ من الثلاثيات المستقلة والمتماثلة التوزيع (i.i.d.) المتمثلة في $(T_{s,i}, \Delta_{s,i}, Z_{s,i}(\cdot))$، والتي تمثل وقت الحدث، ومؤشر الرقابة، وعمليات المتغيرات المستقلة.
• الهدف: تقدير كميتين أساسيتين:
  1. متجه معاملات الانحدار $\beta_0 \in \mathbb{R}^d$.
  2. دالة المخاطر الأساسية التراكمية $\Lambda_0(t) = \int_0^t \lambda_0(s) ds$.
• القيد: يجب أن يستوفي النظام الخصوصية التفاضلية الاتحادية (Federated Differential Privacy - FDP). في هذا النموذج، يمتلك كل خادم $s$ ميزانية خصوصية محلية $(\epsilon_s, \delta_s)$. تتم معالجة البيانات محلياً، ولا يتم التواصل إلا عبر رسائل مشفرة الخصوصية (التدرجات أو الإحصاءات) إلى مجمع مركزي. ينطبق قيد الخصوصية على البيانات داخل كل خادم، ويجب أن يضمن بروتوكول التفاعل أن المخرجات الإجمالية تستوفي القيود الاتحادية.
• التحدي الرئيسي: تتضمن احتمالية "كوكس الجزئية" (Cox partial likelihood) حداً معقداً للتطبيع (مجموع مجموعة المخاطرة - risk set sum) يعتمد على كامل مجموعة البيانات عند نقطة زمنية معينة. وهذا يخلق تبعيات بين نقاط البيانات، مما يجعل حساب الحساسية (المطلوبة لإضافة الضجيج) وتصميم خوارزميات فعالة للخصوصية أكثر صعوبة بكثير مقارنة بالانحدار الخطي القياسي.

2. المنهجية

يقترح المؤلفون إطار عمل شاملاً يتضمن تحليلاً للحد الأدنى الأقصى (minimax analysis) وخوارزميات محددة لتقدير كل من المعلمات والدوال.

أ. تقدير معاملات الانحدار ($\beta_0$)

• الخوارزمية: FDP-Cox (الخوارزمية 1).
  • هذه خوارزمية الاشتقاق المتدرج العشوائي الخاص (Private Stochastic Gradient Descent - SGD).
  • الآلية: في كل تكرار $k$، يقوم كل خادم $s$ بحساب تدرج الاحتمالية الجزئية على دفعة محلية من البيانات. ولتحقيق $(\epsilon_s, \delta_s)$-CDP محلياً، يضيف الخادم ضجيجاً غاوسياً (Gaussian noise) إلى التدرج.
  • التعامل مع الحساسية: تشتق الورقة حداً وثيقاً لحساسية $\ell_2$ لدالة "سكور" كوكس (Cox score function). وعلى عكس الإعدادات القياسية، فإن الحساسية هنا تتناسب مع $O(\log(n)/n)$ بسبب تطبيع مجموعة المخاطرة المعتمد على الزمن.
  • التجميع: يقوم الخادم المركزي بتجميع التدرجات المشوشة باستخدام أوزان تتناسب مع "حجم العينة الفعال" لكل خادم، والمعرف بـ $\min(n_s, n_s^2 \epsilon_s^2 / d)$.
• امتداد خصوصية الملصقات (Label DP): يدرس المؤلفون أيضاً إعداداً مخففاً حيث تكون المتغيرات $Z$ عامة، بينما تكون مؤشرات الوقت/الرقابة فقط خاصة. ويستنتجون حدود "الحد الأدنى الأقصى" لهذا السيناريو، موضحين أنه بينما تنخفض تكلفة الأبعاد في بعض الأنظمة، فإن تكلفة الخصوصية الأساسية تظل كبيرة في الإعدادات المركزية/الاتحادية.

ب. تقدير المخاطر الأساسية التراكمية ($\Lambda_0$)

• الخوارزمية: FDP-Breslow (الخوارزمية 2).
  • هذه نسخة موزعة من مُقدّر "بريسلو" (Breslow estimator).
  • الآلية: يتم تقسيم الأفق الزمني $[0, 1]$ إلى فترات. تبني الخوارزمية شجرة ثنائية من تقديرات المخاطر التراكمية.
  • آلية الخصوصية: بدلاً من إصدار المخاطر التراكمية عند كل نقطة زمنية (مما سيؤدي لتراكم الضجيج خطياً)، تصدر الخوادم تقديرات مشوشة لعقد الشجرة الثنائية. وهذا يسمح بإعادة بناء أي خطر تراكمي $\Lambda(t)$ عن طريق جمع $O(\log(1/\text{interval}))$ من الحدود المشوشة فقط، مما يحافظ على تراكم الضجيج بشكل لوغاريتمي.
  • القطع (Truncation): للتعامل مع خطر صغر حجم مجموعات المخاطرة (الذي قد يؤدي لانفجار الحساسية)، تقوم الخوارزمية بقطع مقام مُقدّر "بريسلو" باستخدام تقدير خاص لاحتمالية التعرض للخطر.

ج. الإطار النظري

• حدود الحد الأدنى الأقصى (Minimax Lower Bounds): يشتق المؤلفون حدوداً دنيا أساسية لخطأ التقدير باستخدام متباينة فان تريز (van Trees inequality) وحجج هجوم السكور (score attack). توضح هذه الحدود "تكلفة الخصوصية" من خلال مقارنة معدلات الخصوصية بالمعدلات غير الخاصة.
• الحدود العليا (Upper Bounds): يثبتون أن الخوارزميات المقترحة تحقق معدلات تطابق الحدود الدنيا (lower bounds) مع عوامل لوغاريتمية متعددة (poly-logarithmic factors).

3. المساهمات الرئيسية

1. أول تحليل منهجي للحد الأدنى الأقصى: هذا هو العمل الأول الذي يقدم تحليلاً دقيقاً للحد الأدنى الأقصى لنموذج كوكس تحت نظام الخصوصية التفاضلية الاتحادية. وهو يحدد التكلفة الإحصائية الأساسية للخصوصية في تحليل البقاء.
2. التحولات الطورية (Phase Transitions): يكشف التحليل عن "تحولات طورية على مستوى الخادم". اعتماداً على حجم العينة المحلي $n_s$ وميزانية الخصوصية $\epsilon_s$، ينتقل مساهمة الخادم بين نظام غير خاص (تهيمن عليه $1/n_s$) ونظام خاص (تهيمن عليه $d/(n_s^2 \epsilon_s^2)$).
3. خوارزميات مبتكرة:
   • FDP-Cox: تتعامل مع بنية التبعية الفريدة للاحتمالية الجزئية لكوكس عبر SGD خاص مع حساسية محكومة بعناية.
   • FDP-Breslow: تكيّف آليات الشجرة الثنائية مع الإعداد الموزع لتقدير التكامل غير المعلمي، محققة معدلات تقترب من المثالية للحد الأدنى الأقصى للمخاطر التراكمية.
4. نتائج خصوصية الملصقات (Label DP): تقدم الورقة أول حدود للحد الأدنى الأقصى لنموذج كوكس تحت "الخصوصية التفاضلية للملصقات" (حيث المتغيرات مستقلة)، موضحين أن هيكل تكلفة الخصوصية يختلف بشكل كبير عن الـ DP الكامل ولكنه يظل غير مهمل.
5. التنفيذ: أصدر المؤلفون حزمة بلغة R تسمى FDPCox لتنفيذ هذه الطرق.

4. النتائج الرئيسية

أ. معاملات الانحدار ($\beta_0$)

معدل الحد الأدنى الأقصى لخطأ $\ell_2$ المربع هو:
$$\mathbb{E}\|\hat{\beta} - \beta_0\|_2^2 \asymp \frac{d^2}{\sum_{s=1}^S \min(n_s, \frac{n_s^2 \epsilon_s^2}{d})} \cdot \text{polylog}(\dots)$$

• التفسير: حجم العينة الفعال هو مجموع الحد الأدنى بين حجم العينة المحلي و"حجم العينة الفعال الخاص" ($n_s^2 \epsilon_s^2 / d$).
• التحول الطوري: إذا كان $n_s \epsilon_s^2 \ll d$، يعمل الخادم في النظام الخاص حيث يتناسب الخطأ مع $1/(n_s^2 \epsilon_s^2)$. أما إذا كان $n_s \epsilon_s^2 \gg d$، فإنه يعمل في النظام غير الخاص ($1/n_s$).

ب. المخاطر التراكمية ($\Lambda_0$)

معدل الحد الأدنى الأقصى لخطأ معيار الـ supremum هو:
$$\mathbb{E}\left[\sup_{t} |\hat{\Lambda}(t) - \Lambda_0(t)|\right] \asymp \frac{1}{\sqrt{\sum_{s=1}^S \min(n_s, n_s^2 \epsilon_s^2)}} + \text{terms involving } \|\hat{\beta} - \beta_0\|$$

• يعتمد معدل $\Lambda_0$ على الجذر التربيعي لحجم العينة الفعال، بشكل مشابه لتقدير الكثافة غير المعلمي، ولكن مع دمج عقوبة الخصوصية.
• يعتمد الخطأ أيضاً على دقة المُقدّر المعتمد على التعويض (plug-in estimator) $\hat{\beta}$.

ج. خصوصية الملصقات (Label DP)

تحت نظام Label FDP (المتغيرات المستقلة عامة)، يكون الحد الأدنى الأقصى لتقدير $\beta_0$ هو:
$$\frac{d^2}{\sum \min(n_s, n_s^2 \epsilon_s^2)} + \frac{d^3}{(\sum n_s)^2 (\max \epsilon_s)^2}$$
وهذا يوضح أنه بينما تقل عقوبة الأبعاد ($d^2$ مقابل $d^3$) في المصطلح غير الخاص، فإن المصطلح الخاص لا يزال يتكبد تكلفة كبيرة، خاصة في الإعداد الاتحادي.

5. الأهمية والتأثير

• الربط بين النظرية والتطبيق: تتجاوز الورقة الحدود النظرية لتقدم خوارزميات فعالة حاسوبياً يتم تنفيذها في حزمة برمجية حقيقية، مما يجعل تحليل البقاء الخاص متاحاً للاستخدام.
• تطبيقات الرعاية الصحية والتمويل: من خلال معالجة التحديات المحددة للبيانات الخاضعة للرقابة في إطار اتحادي، يتيح هذا العمل تعاوناً آمناً في المجالات عالية المخاطر مثل التجارب السريرية متعددة المراكز وإدارة المخاطر المالية، حيث تكون مشاركة البيانات مقيدة قانونياً.
• الحدود الأساسية: تعمل حدود الحد الأدنى الأقصى المستمدة كمعيار للأبحاث المستقبلية، حيث تحدد الحدود النظرية لما يمكن تحقيقه تحت قيود الخصوصية الاتحادية.
• التعامل مع التعقيد: نجح العمل في معالجة الصعوبة الرياضية غير التافهة لتطبيع مجموعة المخاطرة في نموذج كوكس تحت قيود الخصوصية، وهي مشكلة ظلت غير مستكشفة إلى حد كبير في الأدبيات الإحصائية الصارمة.

باخت-صار، وضع هانغ وي يو دراسة تأسيسية تحدد الحدود الإحصائية لتحليل البقاء الخاص، وتقدم خوارزميات مثالية لتقدير كل من معاملات الانحدار والمخاطر الأساسية في بيئة اتحادية.