Who Trains Matters: Federated Learning under Enrollment and Participation Selection Biases
تتناول هذه الورقة فجوة الأداء المستمرة في التعلم الاتحادي الناتجة عن كل من انحياز التسجيل وانحياز اختيار المشاركة، وذلك عبر صياغة نموذج اختيار ثنائي المراحل واقتراح FedIPW، وهو مخطط تجميع يعتمد على الأوزان العكسية للاحتمالية يستعيد بفعالية أهداف المجتمع المستهدف حتى عندما تكون المتغيرات المصاحبة على مستوى العميل محدودة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول خبز الكعكة المثالية لمدينة بأكملها. وللقيام بذلك، تطلب من آلاف الخبازين المنزليين إرسال قطعة صغيرة من عجينتهم حتى تتمكن من خلطها معاً ومعرفة الوصفة المثالية. هذا هو بالضبط كيف يعمل التعلم الاتحادي (Federated Learning): فبدلاً من جمع كل البيانات في مكان واحد، يطلب خادم مركزي من العديد من الأجهزة (مثل الهواتف) تدريب نموذج محلياً وإرسال "التحديثات" فقط (قطع العجين).
المشكلة، كما يشرح هذا البحث، هي أن من تطلب منهم إرسال العجين يهم تماماً مثل كيفية خلطه.
الفلتر ذو المرحلتين: من يدخل من الباب؟
يجادل البحث بأن الخبازين الذين ستسمع منهم في الواقع نادراً ما يمثلون عينة مثالية من المدينة بأكملها. يحدث هذا في مرحلتين متميزتين، مثل فحص أمني ذي خطوتين عند دخول حفل موسيقي:
- تحيز التسجيل (من يحصل على الدعوة؟):
أولاً، يجب أن تكون مؤهلاً للانضمام إلى المشروع. ربما تحتاج إلى هاتف معين، أو إصدار برمجيات محدد، أو ببساك عليك الضغط على "أوافق" في نموذج الموافقة. إذا كان هاتفك قديماً أو كنت تعيش في منطقة ذات إنترنت ضعيف، فلن تتلقى الدعوة أبداً. سيتم استبعادك قبل أن تبدأ اللعبة حتى. يطلق البحث على هذا اسم تحيز التسجيل (Enrollment Bias).
- مثال توضيحي: تخيل أنك تدعو فقط الأشخاص الذين يمتلكون سيارة حمراء للانضمام إلى نادي الخبز الخاص بك. حتى لو طلبت من كل من يملك سيارة حمراء المشاركة، فقد فاتك بالفعل كل من يملك سيارة زرقاء، أو دراجة، أو لا يملك وسيلة نقل على الإطلاق. "نادي الخبز" الخاص بك منحاز بالفعل.
- تحيز المشاركة (من يحضر فعلياً؟):
ثانياً، حتى بين الأشخاص الذين تلقوا الدعوة، لا يحضر الجميع إلى كل اجتماع. ربما بطاريتهم فارغة، أو إنترنت لديهم غير مستقر، أو أن الساعة تشير إلى الثالثة صباحاً في منطقتهم الزمنية. هم مسجلون، لكنهم لا يشاركون في تلك الجولة المحددة. يطلق البحث على هذا اسم تحيز المشاركة (Participation Bias).
- مثال توضيحي: حتى لو دعوت كل من يملك سيارة حمراء، فربما يحضر فقط أولئك المستيقظون ولديهم خزان وقود ممتلئ للذهاب إلى الاجتماع.
المشكلة: خبز الكعكة الخاطئة
تحاول معظم الطرق الموجودة معالجة المشكلة الثانية (من يحضر). يقولون: "حسناً، معظم الذين حضروا الليلة هم من عمال المناوبات الليلية؛ دعونا نعدل الوصفة لتراعي ذلك".
لكن هذا البحث يشير إلى مشكلة أكبر: إذا كان الأشخاص الذين تمت دعوتهم في المقام الأول (أصحاب السيارات الحمراء) لا يشبهون بقية سكان المدينة، فإن إصلاح جزء "من حضر" لن يفيد. قد تضبط الوصفة بدقة لتناسب عمال المناوبات الليلية، لكنك ستظل تخبز كعكة تعتمد بالكامل على أصحاب السيارات الحمراء. النتيجة النهائية ستكون لذيذة لأصحاب السيارات الحمراء، لكنها ستكون سيئة للغاية بالنسبة للآخرين.
يطلق البحث على هذا اسم "عدم تطابق المجتمع المستهدف" (Target-Population Mismatch). النموذج يتعلم لخدمة الأشخاص الذين يمكن "الوصول إليهم"، وليس الأشخاص الذين "يُفترض" أن يخدمهم.
الحل: الميزان الموزون (FedIPW)
لإصلاح ذلك، يقترح المؤلف طريقة جديدة تسمى FedIPW (الوزن العكسي الاتحادي - Federated Inverse Probability Weighting).
فكر في هذا كاستخدام ميزان موزون بدلاً من المتوسط البسيط.
- الطريقة القديمة (FedAvg): إذا أرسل 10 أشخاص تحديثات، فإنك تعطي كل شخص 1/10 من الوزن.
- الطريقة الجديدة (FedIPW): تنظر إلى من لم يحضر وتسأل: "لماذا؟"
- إذا كانت مجموعة من الناس (مثل أصحاب هواتف أندرويد) نادراً ما تُدعى بسبب قواعد برمجية صارمة، لكنهم يظهرون بالفعل عندما تتم دعوتهم، فإن الخوارزمية تعطي تحديثاتهم وزناً إضافياً.
- إذا كانت مجموعة أخرى (مثل أصحاب هواتف آيفون الجديدة) تُدعى كثيراً ولكنها نادراً ما تحضر، فإن تحديثاتهم أيضاً تُوزن بعناية لتمثيل أولئك الذين حضروا.
من خلال "إعادة وزن" التحديثات رياضياً بناءً على احتمالية الدعوة واحتمالية الحضور، يمكن للخادم إعادة بناء ما كان سيساهم به "خباز المدينة المتوسط"، حتى لو لم يرسلوا قطعة من العجين فعلياً.
ماذا لو لم تكن لدينا كافة التفاصيل؟ (إصلاح "المعلومات المحدودة")
في بعض الأحيان، لا يعرف الخادم تفاصيل الأشخاص الذين لم تتم دعوتهم (على سبيل المثال، لا يعرف كم عدد الأشخاص في المدينة الذين يمتلكون هواتف قديمة). هو يعرف فقط الصورة الكبيرة (على سبيل المثال، "20% من المدينة يستخدمون أندرويد").
في هذه الحالة، يقترح البحث حيلة "المعايرة" (Calibration).
- مثال توضيحي: تخيل أنك تخبز مع عينة من الخبازين، لكنك لا تعرف الديموغرافيا الدقيقة للمدينة بأكملها. ومع ذلك، لديك تقرير تعداد يقول: "المدينة تتكون من 50% رجال و50% نساء".
- إذا كانت عينة الخبازين لديك تتكون من 80% رجال، فلا يمكنك تجاهل النساء فحسب. بدلاً من ذلك، تعطي تحديثات الرجال وزناً أقل وتحديثات النساء وزناً أكبر حتى تبدو عيّنتك مثل تقرير التعداد (50/50).
- هذا لا يصلح كل شيء بشكل مثالي، لكنه يجعلك أقرب بكثير إلى الوصفة الصحيحة مما لو لم تفعل شيئاً.
التحذير من "أرضية التحيز" (Bias Floor)
يحذر البحث أيضاً من "أرضية التحيز".
تخيل أنك تحاول إصابة مركز الهدف. إذا أخطأت الهدف قليلاً بسبب عدم ثبات يدك (خطأ عشوائي)، فيمكنك التحسن مع الممارسة. ولكن إذا كان السلاح نفسه معوجاً (خطأ هيكلي)، فستخطئ المركز دائماً، مهما تمرنت.
يثبت البحث أنه إذا تجاهلت مرحلة "التسجيل" (السلاح المعوج)، فستصطدم بـ "أرضية تحيز". مهما عددت جولات التدريب، لن يصل النموذج أبداً إلى الحل الأمثل الحقيقي للمجتمع بأكمله. سيعلق في منطقة "جيدة بما يكفي" ولكنها في الواقع خاطئة بالنسبة للأشخاص الذين تهتم لأمرهم.
الملخص
- المشكلة: غالباً ما يفشل التعلم الاتحادي لأن الأشخاص الذين ينضمون للتدريب (التسجيل) والأشخاص الذين يشاركون فعلياً (المشاركة) لا يمثلون المجتمع بأكمله.
- الحل: استخدام تصحيح ذي مرحلتين (FedIPW) يقوم بوزن التحديثات رياضياً لمراعاة من تم استبعادهم في البداية ومن انسحبوا أثناء العملية.
- الخلاصة: لا يكفي إصلاح من يحضر الاجتماع؛ بل يجب عليك إصلاح من تمت دعوته للاجتماع في المقام الأول. إذا لم تفعل ذلك، فسيكون نموذجك منحازاً لمجموعة معينة، بغض النظر عن مدى ذكاء الخوارزمية التي تستخدمها.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.