🤖 machine learning

Federated and differentially private estimation of KL divergence

تقدم هذه الورقة البحثية FedPriKL، وهي طريقة جديدة للخصوصية التفاضلية لتقدير تباعد كولباك - ليبلر في البيئات الاتحادية، والتي تحقق دقة غير متحيزة ومنخفضة التباين مع حساسية محدودة مع تقليل عبء الاتصالات مقارنة بالنماذج المرجعية الحالية.

المؤلفون الأصليون: Sayan Biswas, Graham Cormode, Carsten Maple, Mary Scott

نُشر 2026-08-24

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Sayan Biswas, Graham Cormode, Carsten Maple, Mary Scott

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

في عالم البيانات المعاصر، غالبًا ما تكون المعلومات مبعثرة عبر ملايين الأجهزة الفردية، من الهواتف الذكية إلى أجهزة تتبع الصحة القابلة للارتداء. هذا التشتت يخلق وسيلة قوية للتعلم عن العالم دون الحاجة أبدًا إلى جمع بيانات الجميع في خزنة مركزية واحدة. هذا النهج، المعروف باسم "التعلم الاتحادي" (Federated Learning)، يسمح لنظام مركزي ببناء نماذج من خلال الطلب من الأجهزة إجراء حسابات على بياناتها المحلية ثم مشاركة النتائج فقط. ومع ذلك، يظل هناك تحدٍ حاسم: كيف نعرف ما إذا كانت البيانات المستخدمة تتغير بمرور الوقت؟ إذا تغير سلوك الأشخاص الذين يستخدمون تطبيقًا ما، فقد تصبح النماذج المبنية على بيانات قديمة غير دقيقة أو غير ذات صلة. ولإصلاح ذلك، يحتاج المحللون إلى قياس الفرق بين البيانات الحالية ومعيار معروف، وهي مهمة تتطلب عادةً رؤية البيانات الخام. ولكن في عالم تعتبر فيه الخصوصية أمرًا بالغ الأهمية، فإن الكشف عن البيانات الخام غالبًا ما يكون مستحيلاً. يتطلب الحل طريقة لقياس هذا الفرق رياضيًا دون الكشف أبدًا عن التفاصيل الفردية التي تشكل البيانات.

لقد طور باحثون من المعهد الفيدرالي لتقنية النانو (EPFL)، وجامعة أكسفورد، وجامعة وارويك، ومرصد بيانات الأمراض المعدية، طريقة جديدة تسمى "FedPriKL" لحل هذه المشكلة تحديدًا. يركز عملهم على مقياس رياضي محدد يُستخدم لمقارنة مجموعتين من البيانات، وهي أداة تخبرنا بمدى ابتعاد مجموعة من المعلومات عن نقطة مرجعية. في هذا السيناريو، تمثل النقطة المرجعية معيارًا عامًا يتفق عليه الجميع، بينما تمثل المجموعة الأخرى البيانات الخاصة والحساسة التي يحتفظ بها المستخدمون على أجهزتهم. الهدف هو حساب المسافة بين هاتين المجموعتين دون أن يرى الخادم المركزي السجلات الفردية أبدًا. لقد ابتكر الباحثون بروتوكولًا يسم يسمح لمنسق مركزي بطلب فحص عدد مرات ظهور عناصر معينة في البيانات المحلية من خلال اختيار عينة عشوائية صغيرة من الأجهزة. تقوم هذه الأجهزة بعد ذلك بإرسال "العدّات" (counts) لتلك العناصر المحددة فقط، والتي يتم دمجها بشكل آمن. ولضمان عدم إمكانية تتبع حتى هذه العدّات للوصول إلى شخص واحد، يضيف النظام مقدارًا محسوبًا بعناية من الضجيج الرياضي إلى النتيجة النهائية.

وجد الفريق أن طريقتهم تعمل بدرجة عالية من الدقة مع الحفاظ على ضمانات خصوصية صارمة. لقد أثبتوا رياضيًا أن نهجهم ينتج تقديرًا غير متحيز، مما يعني أن النتيجة صحيحة في المتوسط، وأن مقدار الضجيج المطلوب لحماية الخصوصية صغير بما يكفي لعدم إفساد فائدة البيانات. وفي تجاربهم، اختبروا النظام باستخدام مجموعة بيانات كبيرة من الأرقام المكتوبة بخط اليد، محاكيين سيناريو من العالم الحقيقي حيث يساهم آلاف المستخدمين بالبيانات. واكتشفوا أنه من خلال الاختيار الدقيق لعدد الأجهزة التي يتم سؤالها وكمية الضجيج المضافة، يمكن للنظام إنتاج نتائج دقيقة تقريبًا كما لو لم يتم استخدام أي حماية للخصوصية على الإطلاق. ويمثل هذا تحسنًا كبيرًا مقارنة بالطرق السابقة حيث كانت الأجهزة تحاول إخفاء بياناتها عن طريق إضافة الضجيج قبل الإرسال، وهي تقنية غالبًا ما تؤدي إلى نتائج غير دقيقة. تحافظ الطريقة الجديدة على إضافة الضجيج في نهاية العملية تمامًا، بعد دمج البيانات بشكل آمن، مما يحافظ على سلامة القياس.

استكشف الباحثون أيضًا كيف تؤثر الإعدادات المختلفة على النتيجة. ووجدوا أن النظام يعمل جيدًا حتى عندما يتم سؤال جزء صغير فقط من إجمالي المستخدمين للمشاركة في أي جولة معينة، وأن كمية البيانات التي يحتاج كل مستخدم لإرسالها صغيرة جدًا، وغالبًا ما تكون أقل من كيلوبايت واحد. وهذا يجعل النظام عمليًا للأجهزة ذات البطارية والذاكرة المحدودة. وأظهرت الدراسة أن الطريقة يمكنها التمييز بدقة بين التغييرات الصغيرة في البيانات والتغييرات الكبيرة، وهو أمر ضروري لتحديد متى يحتاج نموذج الكمبيوتر إلى التحديث. وبينما تعتمد النسخة الحالية من النظام على خطوة وسيطة موثوقة لدمج البيانات بشكل آمن، فقد أثبت الباحثون أنه يمكن تنفيذ هذه الخطوة باستخدام أجهزة آمنة موجودة أو تقنيات تشفير متقدمة، مما يضمن عدم رؤية أي كيان واحد للبيانات الخام. يوفر هذا العمل مسارًا ملموسًا للمراقبة المستمرة لاتجاهات البيانات بطريقة تحترم خصوصية المستخدم، مما يسمح للمؤسسات بالحفاظ على دقة نماذجها دون المساس بسرية الأفراد الذين يولدون تلك البيانات.

ملخص تقني: FedPriKL – تقدير تباعد كولباك - ليبلر (KL Divergence) في بيئة تعلم اتحادي مع خصوصية تفاضلية

بيان المشكلة

في مجالات التعلم الاتحادي والتحليلات الحديثة، تعد مراقبة انزياح التوزيع (distribution drift) مهمة بالغة الأهمية لتحديد متى تتطلب النماذج إعادة تدريب أو ضبط دقيق. يتطلب هذا الأمر مقارنة التوزيع التجريبي للبيانات التي يحتفظ بها العملاء الموزعون ( $P$ ) مقابل توزيع مرجعي عام ثابت ( $\Pi$ ). ومع ذلك، فإن مشاركة بيانات العملاء أو الإحصاءات الكاملة (histograms) أمر غير ممكن غالباً بسبب تكالب التواصل العالية وقيود الخصوصية.

تواجه الأساليب الحالية عقبات كبيرة:

الخصوصية: الجمع المركزي للعينات ينتهك خصوصية المستخدمين.
نتائج الاستحالة: تنص نظرية عدم تغير الإزاحة (Shift Invariance Theorem) [9] على أن تقدير تباعد KL بين توزيعين مجهولين في فضاء أصغر من حجم المجال هو أمر مستحيل.
التواصل: نقل الإحصاءات الكاملة من العملاء إلى الخادم يستهلك عرض نطط ترددي (bandwidth) كبير بالنسبة للمجالات الواسعة.
التحيز في الاضطراب المحلي: تؤدي أساليب الخصوصية التفاضلية المحلية (LDP) القياسية، حيث يضيف العملاء ضجيجاً قبل التجميع، إلى تحيز كبير عند تقدير الدوال غير الخطية مثل تباعد KL، لا سيما عند التعامل مع الكتل الاحتمالية الصغيرة.

تعالج الورقة مشكلة تقدير $D_{KL}(\Pi \parallel P)$ في إطار تعلم اتحادي أفقي حيث يتم تعريف $P$ من خلال البيانات المجمعة لـ $n$ من العملاء، و $\Pi$ هو معيار عام معروف. الهدف هو تحقيق خصوصية تفاضلية رسمية على مستوى المثال (example-level DP) مع تقليل عبء التواصل والحفاظ على دقة المقدر.

المنهجية: FedPriKL

يقترح المؤلفون FedPriKL، وهو بروتوكول يعتمد على أخذ العينات ويستفيد من نموذج "المجمع الموثوق" (trusted aggregator) لتحقيق تقدير غير متحيز تحت ظل الخصوصية التفاضلية (DP). الابتكار التقني الجوهري هو مقدر مونت كارلو غير متحيز يعتمد على نسب الأرجحية (likelihood ratios)، مدمج مع تجميع آمن وحقن ضجيج مُعاير.

المكونات الرئيسية:

مقدر مونت كارلو غير المتحيز:
بدلاً من حساب التباعد الكامل، تقوم الطريقة بأخذ عينات من $m$ من النقاط $x_i$ من التوزيع المرجعي $\Pi$ . لكل عينة، يقدر البروتوكول نسبة الأرجحية $r(x) = P(x)/\Pi(x)$ .
باستخدام المتطابقة المستمدة من الحقيقة IV.2، يتم تقدير تباعد KL عبر الدالة:
$\Phi(r(x), \lambda) = \lambda(r(x) - 1) - \ln(r(x))$
قيمة التوقع لهذه الدالة عبر العينات من $\Pi$ تساوي $D_{KL}(\Pi \parallel P)$ . يتحكم المعلم $\lambda$ في تباين (variance) المقدر.
سير عمل البروتوكول (الخوارزمية 2):

أخذ العينات: يختار الخادم دفعات منفصلة من العملاء ( $C_t$ ) ويأخذ عينات من النقاط $x_{i,t}$ من $\Pi$ .
التجميع الآمن (SecAgg): يحسب العملاء تكرار النقاط المختارة في مجموعات بياناتهم المحلية. يتم تجميع هذه التكرارات باستخدام بروتوكول تجميع آمن (مثل مشاركة أسرار شامير) لحساب الكتلة الاحتمالية التجريبية العالمية $P(x)$ دون الكشف عن بيانات كل عميل على حدة.
معالجة المجمع الموثوق: تُرسل الاحتمالات المجمعة إلى مجمع موثوق. يقوم المجمع بحساب نسب الأرجحية $r(x)$ ، ويطبق التحويل غير الخطي $\Phi$ ، ويضيف ضجيجاً غاوسياً مُعايراً ( $\eta_{\epsilon, \delta}$ ) إلى النتيجة.
التقدير النهائي: يتم حساب متوسط القيم المحولة والمشوبة بالضجيج لإنتاج التقدير النهائي لـ DP.

آلية الخصوصية:
على عكس الأساليب المرجعية حيث يضيف العملاء الضجيج محلياً (قبل التجميع)، يقوم FedPriKL بإضافة الضجيج بعد التجميع الآمن ولكن قبل استكمال التحويل غير الخطي. هذا يتجنب التحيز الناتج عن قص (clipping) القيم السالبة في التقديرات الاحتمالية المحلية (وهي مشكلة شائعة في LDP). يتم تحديد حساسية المقدر (النظرية IV.4 و IV.5)، مما يسمح بمعايرة دقيقة للضجيج لتحقيق $(\epsilon, \delta)$ -DP.
نموذج الثقة:
يفترض البروتوكول وجود مجمع موثوق (أو تنفيذ عبر TEE/SMC) يرى فقط الإحصاءات المجمعة آمنًا للنقاط المختارة، وليس بيانات العملاء الخام. الخادم هو "صادق ولكن فضولي" (honest-but-curious) ويتلقى فقط التقدير النهائي المشوب بالضجيج.

المساهمات الرئيسية

صياغة المشكلة: صاغت الورقة مشكلة حساب تباعد KL في بيئة اتحادية مع ضمانات خصوصية تفاضلية رسمية، وتحديداً حالة المرجع العام مقابل التوزيع التجريبي الخاص.
خوارزمية FedPriKL: قدم المؤلفون أول مقدر اتحادي قائم على أخذ العينات وفعال في التواصل لـ $D_{KL}(\Pi \parallel P)$ يوفر خصوصية تفاضلية رسمية على مستوى المثال.
التحليل النظري:

عدم التحيز: تم إثبات أن المقدر غير متحيز (النظرية IV.7).
حدود الحساسية: تم وضع حدود حساسية مقيدة للمقدر، مما سمح باشتقاق مقاييس الضجيج المثلى (النظرية IV.4، IV.5).
توصيف التباين: قدمت الورقة توصيفاً نظرياً لتباين المقدر كدالة لـ $\lambda$ و $\epsilon$ وحجم العينة، واشتققت قيمة $\lambda$ المثلى لتقليل التباين (النظرية V.1، V.3).

كفاءة التواصل: حمولة كل عميل مستقلة عن حجم المجال. بالنسبة لمجال يحتوي على $2^{16}$ عنصراً، تظل الحمولة أقل من 1 كيلوبايت.

النتائج التجريبية

قيم المؤلفون FedPriKL على مجموعة بيانات FEMNIST (أرقام مكتوبة بخط اليد مقسمة حسب الكاتب)، وقارنوها بمقدر غير خاص (non-private) وبأسلوب مرجعي يعتمد على LDP (الخوارزمية 1).

الدقة مقابل الخصوصية: يحقق Fed-PriKL دقة مقاربة للمقدر غير الخاص عندما تكون ميزانية الخصوصية $\epsilon$ متوسطة ( $0.5 \le \epsilon \le 1.0$ ).
التفوق على المرجع الأساسي: يتفوق FedPriKL بشكل كبير على المرجع الأساسي (الاضطراب المحلي) من حيث الدقة والاستقرار. يعاني المرجع الأساسي من التحيز بسبب عملية القص الضرورية لتقديرات الاحتمالية السالبة.
حساسية المعلمات:
- $\lambda$ : تم إيجاد معلم التباين الأمثل $\lambda$ تجريبياً ليكون قريباً من 0.
- حجم العينة ( $m$ ): عدد صغير من العينات ( $m=10$ ) كافٍ لتحقيق دقة تقارب المثالية، مما يبقي تواصل العميل خفيفاً.
- حجم الدفعة (Batch Size): يؤثر تغيير عدد العملاء المشاركين على معدل التقارب ولكنه لا يغير جوهرياً قيمة $\lambda$ المثلى.
المتانة: يحافظ الأسلوب على خطأ مطلق منخفض عبر مختلف قيم التباعد (من الصغير إلى الكبير لـ KL).

الأهمية والادعاءات

تدعي الورقة أن FedPriKL هو أول مقدر اتحادي فعال في التواصل لتباعد KL بين مرجع عام وسكان خاصين يوفر خصوصية تفاضلية رسمية على مستوى المثال.

تكمن الأهمية في قدرته على:

تمكين اكتشاف الانزياح: توفير آلية تحافظ على الخصوصية للمنصات لاكتشاف انزياحات التوزيع وتفعيل إعادة تدريب النماذج دون كشف بيانات المستخدمين الحساسة.
التغلب على الاستحالة: من خلال حصر المشكلة في مرجع عام معروف، فإنه يتجنب نتائج الاستحالة المتعلقة بتمثيل التوزيعات المجهولة.
الموازنة بين المنفعة والخصوصية: يثبت إمكانية الحفاظ على منفعة عالية تحت قيود خصوصية صارمة من خلال نقل خطوة حقن الضجيج إلى مرحلة ما بعد التجميع عبر مكون موثوق، مما يتجنب التحيز المتأصل في أساليب الاضطراب المحلي.

يشير المؤلفون إلى أن الاعتماد على مجمع موثوق (أو TEE/SMC) هو مقايضة عملية يمكن معالجتها عبر أجهزة آمنة أو حساب متعدد الأطراف، ويحددون إزالة فرضية الثقة هذه كاتجاه للعمل المستقبلي.