ملخص تقني: التعلم المعدل للارتباط الخطي الخاص والموزع مع عينة واحدة لكل عميل

بيان المشكلة

يتناول هذا العمل قصوراً حرجاً في معايير التعلم الاتحادي (FL) والتعلم المعتمد على الخصوصية التفاضلية (DP) التقليدية: وهو افتراض أن أجهزة العملاء تمتلك مجموعات بيانات محلية كبيرة بما يكفي لحساب تحديثات تدرج (gradient updates) ذات معنى. في العديد من السيناريوهات الواقعية — مثل أجهزة تتبع اللياقة البدنية، أو المستشعرات التي تُرتدى على الجسم، أو أجهزة مراقبة الأحداث اليومية — قد يمتلك العملاء عينة بيانات واحدة فقط (أو عدد قفيلاً جداً من العينات).

في نظام "العينة الواحدة لكل عميل" هذا، يفشل التعلم الاتحادي القائم على DP-SGD (الاشتقاق المتدرج ذو الخصوصية التفاضلية) للأسباب التالية:

1. تحديثات محلية غير موثوقة: التدرج المحلي المحسوب بناءً على نقطة واحدة يكون شديد الضجيج وغير موثوق لتقدير معاملات النموذج، خاصة في جولات التدريب المبكرة.
2. تضخيم ضجيج الخصوصية: الضجيج الذي يتم حقنه لاستيفاء الخصوصية التفاضلية يؤدي إلى تدهور إضافي في فائدة هذه التحديثات المحلية الضعيفة أصلاً، مما يجعل تقارب النموذج العالمي غير فعال.

يطرح البحث السؤال التالي: هل يمكننا تمكين تعلم موزع مفيد وذي خصوصية تفاضلية عندما يساهم كل عميل بنقطة بيانات واحدة فقط؟

المنهجية

يقترح المؤلفون إطار عمل "التعلم المعدل" (Modulated Learning). بدلاً من إرسال العملاء لمعاملات النموذج (كما في التعلم الاتحادي القياسي) أو التدرجات الخام، يقوم العملاء بإرسال تمثيل مُحول بخصوصية لعينة البيانات الوحيدة الخاصة بهم. ثم يقوم الخادم بتجميع هذه التمثيلات لاستعادة تقدير غير متحيز للتدرج المركزي.

الآلية الجوهرية: التحويل المعدل بجيب التمام (Cosine-Modulated Transformation)

يعمل البروتوكول عبر جولات. في كل جولة $t$، يحافظ الخادم على نموذج عالمي $\beta_t$ ويختار اتجاه تعديل $v_t$ (متعامد مع $\beta_t$).

1. المعالجة من جانب العميل:
بالنظر إلى عينة خاصة $(x_i, y_i)$، يقوم العميل بالخطوات التالية:

• التعديل (Modulation): يقوم العميل بأخذ عينة من طور عشوائي $\phi_i \sim \text{Unif}[0, 2\pi]$ ويحسب متجه ميزات معدل:
  $$g_i = (1 - \alpha)x_i + \lambda \cos(\omega \langle x_i, v_t \rangle + \phi_i) v_t$$
  هنا، المصطلح $(1-\alpha)x_i$ يحافظ على الإشارة، بينما يُدخل مصطلح جيب التمام (cosine) اضطراباً انكماشياً يحافظ على الخصوصية.
• حقن الضجيج: لضمان الخصوصية التفاضلية المحلية $(\epsilon, \delta)$-LDP، يضيف العميل ضجيجاً غاوسياً $\xi_i \sim \mathcal{N}(0, \sigma_{DP}^2 I)$:
  $$\tilde{g}_i = g_i + \xi_i$$
• الإرسال: يرسل العميل الزوج $(\tilde{g}_i, y_i)$ إلى الخادم. لاحظ أن $y_i$ تُعامل كبيانات عامة/غير حساسة في هذا الإعداد المحدد، بينما $x_i$ هي المدخل الخاص.

2. التجميع من جانب الخادم وإزالة الانحياز:
يتلقى الخادم $\{(\tilde{g}_i, y_i)\}_{i=1}^K$ ويقوم بتصحيحات جبرية لإزالة الانحياز الناتج عن التعديل والضجيج:

• تقدير التباين المشترك (Covariance Estimation): يحسب الخادم التباين المشترك التجريبي للميزات المستلمة ويطرح مصطلحات الانحياز المعروفة (تباين التعديل وتباين الضجيج):
  $$\hat{\Sigma}_x = \frac{1}{(1-\alpha)^2} \left( \frac{1}{K}\sum \tilde{g}_i \tilde{g}_i^\top - \frac{\lambda^2}{2} v_t v_t^\top - \sigma_{DP}^2 I \right)$$
  تثبت النظرية 3.1 والنتيجة 3.2 أن $\hat{\Sigma}_x$ هو مقدر غير متحيز لتباين البيانات الحقيقي $\Sigma_x = \frac{1}{K}\sum x_i x_i^\top$.
• استعادة التدرج: يبني الخادم مقدراً غير متحيز للتدرج $G$:
  $$G = \hat{\Sigma}_x \beta_t - \frac{1}{1-\alpha} \frac{1}{K} \sum y_i \tilde{g}_i$$
  هذا المقدر $G$ يحقق $\mathbb{E}[G] = \nabla L(\beta_t)$، وهو ما يطابق التدرج المركزي غير الخاص في التوقع.

المتغيرات

• التعديل متعدد المتجهات (Multi-Vector Modulation): لتقليل ثابت ليبشيتز (وبالتالي تقليل الضجيج المطلوب $\sigma_{DP}$)، يعمم المؤلفون الطريقة لاستخدام $m$ من المتجهات المتعامدة. هذا يقلل من حد الحساسية من $|1-\alpha| + \lambda\omega$ إلى $|1-\alpha| + \frac{\lambda\omega}{\sqrt{m}}$.
• المقدر غير التكراري (الخطوة الواحدة - One-Shot): يشتق الورقة أيضاً مقدراً للعز moments (moment estimator) في صيغة مغلقة يحل لـ $\beta$ في خطوة واحدة، متجنباً تكاليف تكوين الخصوصية (privacy composition) المتأصلة في الطرق التكرارية.

المساهمات الرئيسية

1. تقدير التدرج غير المتحيز من العينات الفردية: يوضح البحث أنه من خلال تحويل البيانات عبر خريطة معدلة بجيب التمام وتطبيق معالجة لاحقة لإزالة الانحياز، يمكن للخادم استعادة تقدير غير متحيز للتدرج حتى عندما يمتلك العملاء عينة واحدة فقط لكل منهم.
2. تحسين المقايضة بين الخصوصية والفائدة:
   • يضع الأسلوب حد كرامر-راو الأدنى (Cramér-Rao lower bound) لخطأ إعادة البناء، مما يثبت أن معاملات التعديل ($\lambda, \omega$) تزيد فعلياً من صعوبة إعادة بناء المدخل الخاص $x_i$ بما يتجاوز الحماية التي يوفرها ضجيج غاوس وحده.
   • أظهر متغير المتجهات المتعددة أنه يقلل من تباين الضجيج المطلوب بعامل مرتبط بـ $\sqrt{m}$، مما يحسن الفائدة لميزانية خصوصية ثابتة.
3. الضمانات النظرية:
   • عدم الانحياز (Unbiasedness): إثبات صارم بأن مقدر الخادم غير متحيز.
   • التقارب (Convergence): تثبت الورقة التوزيع الطبيعي التقاربي للمقدر وتستنتج حدود التباين، مما يوضح معدلات التقارب للاشتقاق المتدرج العشوائي المسقط.
   • محاسبة الخصوصية: تستخدم الطريقة محاسبة الخصوصية المركزة صفرياً (zCDP)، والتي توفر حدود تكوين أكثر دقة من $(\epsilon, \delta)$-DP التقليدية للجولات المتتالية.
4. الحدود الدنيا لإعادة البناء: يستنتج المؤلفون حداً أدنى نظرياً لمتوسط مربع الخطأ (MSE) لأي مهاجم غير متحيز يحاول إعادة بناء $x_i$ من الرسالة المرسلة، مما يحدد حماية الخصوصية مباشرة من خلال معاملات البروتوكول.

النتائج التجريبية

قيم المؤلفون النهج على خمس مجموعات بيانات واقعية (مثل انبعاثات ثاني أكسيد الكربون، والعدالة في مدة الزواج، واختيار النمط) حيث تم التعامل مع كل مثال تدريبي كعميل منفصل.

• المقارنة: تمت مقارنة مقدرات المعدل التكراري (Modulated Iterative) والمعدل بخطوة واحدة (Modulated One-Shot) المقترحة مع خط الأساس DP-SGD FedAvg المضبوط.
• النتائج:
  • الخصوصية العالية ($\epsilon$ منخفض): تفوق مقدر Modulated One-Shot على الطرق التكرارية. نظرًا لاعتماده على إصدار خاص واحد، فإنه يتجنب فقدان الخصوصية التراكمي (composition) المتأصل في DP-SGD التكراري، مما يجعله أكثر قوة عندما تكون ميزانية الخصوصية ضيقة للغاية.
  • الخصوصية المتوسطة/المنخفضة ($\epsilon$ مرتفع): تحسن مقدر Modulated Iterative بشكل مستمر مع زيادة عدد الجولات وتفوق في النهاية على طريقة الخطوة الواحدة وعلى خط الأساس DP-SGD في معظم المهام.
  • أداء خط الأساس: عانى DP-SGD بشكل كبير في هذا النظام لأن الضجيج المطلوب لحماية عينة واحدة لكل جولة، مضافاً إليه التراكم عبر عدة جولات، طغى على الإشارة.

الأهمية والادعاءات

يدعي البحث حل نظام محدد لا يمكن تطبيق التعلم الاتحادي التقليدي فيه: التعلم من الأجهزة ذات البيانات المحدودة للغاية (عينة واحدة) تحت قيود خصوصية صارمة.

• تحول في النموذج: على عكس التعلم الاتحادي الخاص التقليدي الذي يشارك تحديثات النموذج (التدرجات/الأوزان)، يشارك هذا النهج تمثيلات بيانات مُحولة بخصوصية. هذا التحول يسمح للخادم بإجراء تصحيحات إحصائية عالمية يستحيل القيام بها عندما يرسل العملاء تدرجات محلية مشوشة فقط.
• العملية: يُمكّن هذا الأسلوب الأجهزة ذات البيانات الدنيا من التعلم التعاوني لنماذج انحدار دقيقة دون التضحية بالخصوصية الفردية أو الحاجة إلى مجموعات بيانات محلية كبيرة.
• الصرامة النظرية: يوفر العمل إطاراً نظرياً كاملاً، بما في ذلك براهين عدم الانحياز، وتحليل التباين، وضمانات التقارب، والحدود الدنيا لإعادة البناء، مما يثبت أن الطريقة ليست مجرد تجربة استدلالية بل هي سليمة إحصائياً.

يخلص المؤلفون إلى أن هذا النهج يجعل من الممكن نشر التعلم الآلي المحافظ على الخصوصية في سيناريوهات كانت تعتبر سابقاً مستحيلة بسبب ندرة البيانات ومتطلبات الخصوصية.