🤖 machine learning

Optimal Client Sampling in Federated Learning with Client-Level Heterogeneous Differential Privacy

لمعالجة تدهور المنفعة الناتج عن فرض قيود خصوصية موحدة في البيئات غير المتجانسة، تقترح هذه الورقة إطار عمل **GDPFed**، الذي يقسم العملاء إلى مجموعات بناءً على ميزانيات الخصوصية الخاصة بهم ويحسن نسب أخذ العينات وتخفيف كثافة النموذج لكل مجموعة لتحقيق منفعة نموذج فائقة تحت ظل الخصوصية التفاضلية على مستوى العميل.

المؤلفون الأصليون: Jiahao Xu, Rui Hu, Olivera Kotevska

نُشر 2026-02-10

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Jiahao Xu, Rui Hu, Olivera Kotevska

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك جزء من مجموعة عالمية ضخمة من الناس يحاولون تدريب ذكاء اصطناعي فائق الذكاء للتعرف على أنواع مختلفة من الفاكهة. وللقيام بذلك، يحتاج الجميع إلى مشاركة ما تعلموه من صورهم الخاصة للفاكهة.

ومع ذلك، هناك مشكلة: الخصوصية.

المشكلة: "حارس الأمن الموحد"

في عالم تدريب الذكاء الاصطناعي (الذي يسمى التعلم الاتحادي - Federated Learning)، نستخدم تقنية أمنية تسمى الخصوصية التفاضلية (Differential Privacy - DP). فكر في الـ DP كأداة "تغبيش" أو "تمويه". قبل أن ترسل بياناتك إلى الذكاء الاصطناعي المركزي، تضيف طبقة من "الضجيج" الرقمي أو "التشويش" إلى بياناتك. هذا الضجيج يجعل من المستح المستحيل لأي شخص رؤية صورتك بدقة، لكن الذكاء الاصطناعي لا يزال بإمكانه رؤية الأنماط العامة.

المشكلة هي أن الجميع لديهم مستويات مختلفة من "الخجل":

الشخص (أ): شديد الخصوصية ويريد تغبيشًا كثيفًا وثقيلًا (أمن عالٍ، لكن البيانات تصبح فوضوية جدًا).
الشخص (ب): أكثر استرخاءً ولا يمانع تغبيشًا خفيفًا وبسيطًا (أمن منخفض، لكن البيانات تظل واضحة جدًا).

حاليًا، تستخدم معظم الأنظمة نهج "حارس الأمن الصارم". ينظر الحارس إلى الشخص الأكثر خجلاً في الغرفة ويقول: "بما أن الشخص (أ) خجول للغاية، فيجب على الجميع استخدام أثقل وأكثف طبقة تغبيش ممكنة!"

هذا أمر كارثي للذكاء الاصطناعي. نظرًا لأن الجميع يستخدمون كميات هائلة من "الضجيج"، تصبح البيانات عبارة عن فوضى مغبشة، وينتهي الأمر بالذكاء الاصطناعي ليكون غبيًا للغاية.

الحل: GDPFed (نهج "ردهات كبار الشخصيات")

ابتكر الباحثون نظامًا أكثر ذكاءً يسمى GDPFed. بدلًا من وجود حارس صارم واحد للجميع، يقومون بإنشاء "مجموعات خصوصية".

تخيل نادياً يحتوي على ردهات مختلفة:

الخزنة (The Vault): للأشخاص شديدي الخجل. يحصلون على تغبيش ثقيل.
الردهة (The Lounge): للأشخاص متوسطي الخجل. يحصلون على تغبيش متوسط.
الشرفة (The Terrace): للأشخاص المسترخين. يحصلون على تغبيش خفيف.

من خلال تقسيم الناس إلى مجموعات بناءً على مستويات راحتهم، لا يهدر النظام "قوة التغبيش" على من لا يحتاجون إليها. هذا يحافظ على وضوح البيانات الإجمالي للذكية الاصطناعي ليتعلم منها.

التطوير: +GDPFed ("الفلتر الذكي" و"الجدول المثالي")

ثم ذهب الباحثون خطوة أبعد باستخدام +GDPFed. لقد أدركوا أنه حتى مع وجود المجموعات، كانت هناك طريقتان لجعل الذكاء الاصطناعي أكثر ذكاءً:

الفلتر الذكي (التخلية - Sparsification):
تخيل أنك ترسل وصفًا مفصلاً لفاكهة ما. بدلًا من إرسال كتاب مكون من 1000 صفحة حيث 900 صفحة منها مجرد حشو لا فائدة منه، ترسل فقط الـ 100 صفحة الأكثر أهمية. في عالم الذكاء الاصطناعي، يسمى هذا "التخلية". من خلال إرسال أهم "أجزاء" المعلومات فقط، يتجنب النظام إضافة "الضجيج" إلى الأجزاء غير المفيدة، مما يجعل الأجزاء المهمة أكثر حدة ووضوحًا.
الجدول المثالي (أخذ العينات الأمثل - Optimal Sampling):
إذا كان الذكاء الاصطناعي يحاول التعلم، فلا ينبغي له اختيار الأشخاص عشوائيًا. إذا كان لديك مجموعة من الأشخاص الذين يشعرون بخجل شديد (وبالتالي يقدمون بيانات ضوضائية ومغبشة للغاية)، فلا ينبغي السماح لهم بالتحدث كثيرًا، وإلا فإنهم سيطغون على المعلومات الواضحة من المجموعة المسترخية. يستخدم +GDPFed الرياضيات لحساب الجدول المثالي — تحديد عدد مرات مشاركة كل مجموعة بالضبط بحيث يتعلم الذكاء الاصطناعي قدر الإقصى دون أن يصاب بالارتباك بسبب الضجيج.

النتيجة

عندما اختبر الباحثون هذا، كانت النتائج تشبه الانتقال من تلفزيون ذو دقة منخفضة ومغبشة إلى شاشة 4K واضدحة.

من خلال معاملة الناس بشكل مختلف بناءً على احتياجات الخصوصية لديهم، واستخدام "الفلاتر الذكية" لقطع الأجزاء غير المفيدة، وإدارة "جدول التحدث" بشكل مثالي، أنشأوا ذكاءً اصطناعيًا هو أكثر خصوصية وذكاءً في آن واحد.

ملخص تقني: أخذ العينات الأمثل للعملاء في التعلم الاتحادي مع الخصوصية التفاضلية غير المتجانسة على مستوى العميل

1. بيان المشكلة

تتناول الورقة البحثية فجوة حرجة في التعلم الاتحادي (Federated Learning - FL): كيفية توفير ضمانات خصوصية صارمة عندما يكون لدى العملاء متطلبات خصوصية غير متجانسة (الخصوصية التفاضلية غير المتجانسة، أو HDP).

بينما استكشفت الأبحاث الحالية الـ HDP على مستوى السجل، لا يزال موضوع الـ HDP على مستوى العميل (حماية مجموعة البيانات الكاملة للعميل) غير مستكشف بشكل كافٍ. تفشل الأساليب التقليدية مثل DP-FedAvg في البيئات غير المتجانسة لأنها تضطر إلى فرض أشد ميزانيات الخصوصية ( $\epsilon$ ) صرامة على جميع العملاء لضمان السلامة. يؤدي هذا إلى "هدر ميزانية الخصوصية"، حيث يُجبر العملاء الذين لديهم احتياجات خصوصية مخففة على الخضوع لحقن ضوضاء مفرط، مما يؤدي إلى تدهور شديد في فائدة النموذج العالمي. علاوة على التوضيح، فإن الأساليب الاستدلالية الحالية للتخفيف من ذلك غالباً ما تفترض وجود خادم موثوق، وهو أمر غير واقعي في العديد من البيئات المعادية.

2. المنهجية

يقترح المؤلفون إطار عمل يتكون من مرحلتين لتحسين المقايضة بين الخصوصية والفائدة تحت نموذج هجوم "فضولي ولكن أمين" (حيث قد يحاول كل من الخادم والعملاء استنتاج البيانات الخاصة).

أ. GDPFed (التعلم الاتحادي التفاضلي القائم على المجموعات):

استراتيجية التجميع: بدلاً من استخدام $\epsilon$ عالمي، يتم تقسيم العملاء إلى $M$ من المجموعات بناءً على ميزانيات الخصوصية الخاصة بهم.
الخصوصية التفاضلية على مستوى المجموعة: يتم فرض الخصوصية التفاضلية على مستوى العميل داخل كل مجموعة باستخدام الحد الأدنى لميزانية الخصوصية لتلك المجموعة المحددة ( $\epsilon_m$ ). وهذا يمنع العميل الأكثر صرامة من فرض مستوى الضوضاء على الجميع.
التجميع الآمن: لحماية العملاء من خادم فضولي، يتم تجميع التحديثات المشوبة بالضوضاء باستخدام بروتوكولات التجميع الآمن، مما يضمن أن الخادم لا يرى سوى مجموع التحديثات.

ب. GDPFed+ (الإطار المعزز):
لتقليل خطأ التقارب الذي تم تحديده في تحليلهم النظري، قدم المؤلفون تحسينين:

تجزئة النموذج لكل مجموعة (Per-group Model Sparsification): بما أن ضوضاء الخصوصية التفاضلية تتناسب مع أبعاد النموذج ( $d$ )، يطبق المؤلفون مجزئ Top- $k$ على التحديثات المجمعة لكل مجموعة. يقوم هذا بإزالة المعلمات الأقل أهمية، مما يقلل بفعالية من أبعاد الضوضاء التي يتم حقنها في النموذج.
نسب أخذ عينات العملاء المثلى: اشتق المؤلفون صيغة رياضية (المسألة 1) لتحسين نسبة أخذ العينات ( $q_m$ ) لكل مجموعة. يوازن هذا بين الحاجة إلى المشاركة المتكررة (لتحسين الفائدة) والحاجة إلى الحد من المشاركة للمجموعات ذات الخصوصية العالية/الضوضاء العالية (لتلبية قيود الخصوصية التفاضلية).

3. المساهمات الرئيسية

الأساس النظري: توفر الورقة تحليلاً صارماً للخصوصية (باستاستخدام التركيب المتوازي) وتحليلاً للتقارب للأهداف غير المحدبة في ظل إعدادات HDP.
الخوارزمية المبتكرة (GDPFed): نهج قائم على المجموعات يخفف من هدر ميزانية الخصوصية في HDPFL على مستوى العميل.
إطار التحسين (GDPFed+): أول عمل يقوم نظرياً بتحسين نسب أخذ عينات العملاء ودمج التجزئة لتعزيز المقايضة بين الخصوصية والفائدة في HDP على مستوى العميل.
كفاءة التعقيد: أظهر المؤلفون أن العبء الحسابي لحل مسألة التحسين وإجراء التجزئة ضئيل، مما يجعله مناسباً لأجهزة إنترنت الأشياء (IoT) محدودة الموارد.

4. النتائج التجريبية

قيم المؤلفون أساليبهم على أربع مجموعات بيانات مرجعية: FMNIST، SVHN، CIFAR-10، وShakespeare.

فائدة فائقة: تفوق GDPFed+ باستمرار على النماذج المرجعية الحديثة (IDP-FedAvg و PFA) وعلى DP-FedAvg القياسي. في المتوسط، حقق GDPFed+ تحسناً في الدقة بنسبة 5.75% مقارنة بـ GDPFed الأساسي.
تقليل الضوضاء: أظهر التحليل التجريبي أن GDPFed يقلل من الحجم الإجمالي للضوضاء المحقونة ( $\Lambda$ ) بنسبة تقارب النصف مقارنة بـ DP-FedAvg.
المتانة: أثبتت الطريقة متانتها عبر مختلف توزيعات خصوصية العملاء، وعتبات القص المختلفة، ودرجات متفاوتة من عدم تجانس البيانات (بيانات non-IID).
التكوين الأمثل: أكدت التجارب أن تخصيص تجزئة أكثر عدوانية للمجموعات ذات متطلبات الخصوصية الأكثر صرامة (أقل $\epsilon$ ) يحقق أفضل أداء للنموذج العالمي.

5. الأهمية

تكتسب هذه الدراسة أهمية كبيرة لأنها تنقل التعلم الاتحادي نحو نموذج نشر أكثر عملية وواقعية. في أنظمة إنترنت الأشياء والرعاية الصحية الواقعية، لا تعد الخصوصية متطلباً "موحداً للجميع". من خلال توفير طريقة قائمة على أسس رياضية لاستيعاب تفضيلات الخصوصية المتنوعة دون التضحية بدقة النموذج، يقدم المؤلفون حلاً قابلاً للتوسع للتعلم الآلي الموزع المحافظ على الخصوصية في البيئات غير المتجانسة.