FedCC: Towards Addressing Label Distribution Skews in Distillation-Based Federated Learning
تقترح الورقة البحثية FedCC، وهو خوارزمية للتعلم الاتحادي القائم على التقطير، تعمل على تخفيف حدة انحراف توزيع الملصقات من خلال السماح للعملاء بوسم العينات الغامضة بأنها "غير معروفة" واستخدام ملصقات وهمية مُعايرة، مما يؤدي إلى تفوقها بشكل كبير على الأساليب الحالية في السيناريوهات ذات عدم التجانس الشديد في البيانات.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في الشبكة الواسعة والمترابطة للاتصالات الحديثة، تحدث ثورة هادئة في كيفية تعلم الحواسيب. تقليديًا، يتم تدريب أنظمة الذكاء الاصطناعي من خلال جمع كميات هائلة من البيانات في موقع مركزي واحد، حيث تدرس الخوارزميات ملايين الأمثلة لإيجال الأنماط. ومع ذلك، يثير هذا النهج مخاوف جدية بشأن الخصوصية والأمن، لأنه يتطلب نقل المعلومات الشخصية الحساسة من الهواتف، والأجهزة الطبية، والخوادم الخاصة إلى مركز رئيسي. ولحل هذه المشكلة، طور الباحثون طريقة تسمى "التعلم الاتحادي" (Federated Learning)، والتي تسمح للعديد من الأجهزة المختلفة بالتعلم معًا دون مشاركة بياناتها الخام أبدًا. فبدلاً من إرسال البيانات نفسها، ترسل الأجهزة فقط الدروس التي تعلمتها—وهي تحديثات رياضية تصف ما رأته. وهذا يحافظ على خصوصية المعلومات محليًا بينما يسمح في الوقت نفسه لذكاء عالمي بالظهور من الجهد الجماعي.
ومع ذلك، تواجه هذه العملية التعاونية عقبة مستعصية: فالبيانات الموجودة على كل جهاز نادرًا ما تكون متوازنة. فقد يكون هاتف شخص ما مليئًا بصور القطط، بينما يحتوي هاتف آخر فقط على صور للسيارات. وعندما تحاول هذه الأجهزة تعليم نموذج مشترك، تميل الأجهزة التي تمتلك بيانات وفيرة لفئات معينة إلى الهيمنة على المحادثة، مما يدفع النموذج ليصبح خبيرًا في تلك المجالات المحددة مع تجاهل الفئات النادرة أو المفقودة. يخلق هذا عدم التوازن "نقطة عمياء"، مما يجعل النظام يقدم تخمينات واثقة ولكن خاطئة حول الأشياء التي لم يرها من قبل. وتتضاعف حدة التحدي عندما تحاول الأجهزة التعلم من مجموعة مشتركة من الصور غير المصنفة—أي الصور التي تفتقر إلى أي علامات تعريفية—وهو أمر ضروري غالبًا لحماية الخصوصية. فبدون معرفة الإجابات الصحيحة لهذه الصور المشتركة، يكافح الخادم المركزي لتصحيح التحيزات الناتجة عن الأجهزة الفردية، مما يؤدي إلى نموذج عالمي منحاز وغير موثوق.
اقترح فريق من الباحثين نهجًا جديدًا لحل هذه المشكلة، حيث قدموا نظامًا أطلقوا عليه اسم "FedCC". يركز عملهم على نوع محدد من التعلم التعاوني حيث تشارك الأجهزة توقعاتها بدلاً من إعداداتها الداخلية. في هذا الإعداد، ينظر كل جهاز إلى مجموعة من الصور العامة غير المصنفة ويرسل قائمة بالاحتمالات التي تشير إلى ما يعتقد أن كل صورة تمثله. وتكمن المشكلة في أنه عندما يُجبر جهاز، كان قد رأى أنواعًا قليلة فقط من الصور، على التخمين في كل شيء؛ فإذا كان الجهاز قد رأى صور الكلاب فقط، فسيصنف قطة بثقة على أنها كلب، وإذا فعل العديد من الأجهزة ذلك، فإن الخادم المركزي يجمع هذه الأخطاء في استنتاج واحد معيب. أدرك الباحثون أن الحل ليس في إجبار كل جهاز على تقديم تخمين، بل في منحه الإذن للاعتراف بعدم تأكده.
يكمن الابتكار الجوهري لـ FedCC في إدخال فئة "غير معروف" (Unknown). في الأنظمة التقليدية، يجب على الجهاز اختيار فئة واحدة من الفئات المعروفة، مثل "كلب" أو "قطة" أو "سيارة"، حتى لو كانت الصورة شيئًا لم يصادفه من قبل. يغير FedCC القواعد من خلال السماح للجهاز بتصنيف صورة مربكة أو غير مألوفة على أنها "غير معروفة". يعمل هذا الإضافة البسية كصمام أمان؛ فعندما يواجه الجهاز صورة تقع خارج نطاق خبرته المحدودة، يمكنه تصنيفها ضمن هذه الفئة الجديدة الشاملة بدلاً من فرض إجابة خاطئة. وهذا يمنع الجهاز من ضخ ثقة زائفة في المعرفة الجماعية للمجموعة. فمن خلال الاعتراف بما لا يعرفه، يحمي الجهاز المجموعة من التضليل بسبب منظوره الضيق.
ولإنجاح هذا الأمر، صمم الباحثون عملية تتعلم فيها الأجهزة أولاً من بياناتها الخاصة ثم تستخدم مجموعة مشتركة من الصور غير المصنفة لصقل فهمها. وخلال عملية الصقل هذه، يحسب النظام مدى ثقة الجهاز في توقعاته؛ فإذا كان الجهاز واثقًا للغاية، فإنه يشارك تخمينه، أما إذا كان غير متأكد، فإن النظام يعتمد بشكل كبير على فئة "غير معروف". ولا يُعامل عدم اليقين هذا كفشل، بل كإشارة قيمة. يقوم الخادم المركزي بعد ذلك بدمج التوقعات من جميع الأجهزة، مع إعطاء وزن أكبر لتلك الواثقة ووزن أقل لتلك غير المتأكدة. ومن الأهمية بمكان أن يقوم الخادم بتصفية علامات "غير معروف" عند إنشاء الدرس العالمي النهائي، مما يضمن بناء المعرفة المشتركة فقط على المعلومات الموثوقة والمتفق عليها. تسمح هذه الطريقة للنظام بالتعلم بفعالية حتى عندما تكون البيانات منحازة بشدة، مما يعني أن بعض الأجهزة تمتلك بيانات قليلة جدًا لفئات معينة.
اختبر الباحثون هذه الطريقة على عدة مجموعات بيانات صور قياسية، بما في ذلك مجموعات من الأشياء اليومية والحيوانات، تحت ظروف كانت فيها البيانات موزعة بشكل غير متساوٍ للغاية. وفي الاختبار الأكثر قسوة، قاموا بمحاكاة سيناريو حيث امتلك كل جهاز من عشرة أجهزة صورًا لفئة واحدة فقط من أصل عشر فئات ممكنة. في هذه البيئة القاسية، انهارت الأساليب الحالية، حيث انخفضت دقتها إلى مستويات تقترب من التخمين العشوائي، وغالبًا ما كانت أقل من اثني عشر بالمائة. في المقابل، حافظ نظام FedCC على دقة قوية بلغت سبعة وستين فاصل ثلاثة بالمائة. وتثبت هذه النتيجة أنه من خلال السماح للأجهزة بالتراجع عن ارتكاب أخطاء مفروضة، يصبح النظام ككل أكثر دقة بشكل ملحوظ. وقد اتسعت الفجوة بين FedCC والأساليب الأخرى كلما أصبحت البيانات غير متوازنة، مما يثبت أن هذا النهج فعال بشكل خاص عندما يكون التحدي في أقصى درجاته.
وبعيدًا عن مجرد تحسين النموذج العالمي النهائي، أظهرت الدراسة أن هذا النهج ساعد الأجهزة الفردية أيضًا. فمن خلال تعلم التعرف على حدودها وتصنيف العينات غير المؤكدة كـ "غير معروفة"، أصبحت الأجهزة أفضل في تحديد الفئات النادرة التي كان من المفترض أن تتعلمها. لقد عمل النظام فعليًا كمنظم (Regularizer)، مما منع النماذج من أن تصبح مفرطة الثقة في الفئات التي تعرفها جيدًا وتجاهل الفئات التي لا تعرفها. وأظهر التحليل البصري للبيانات أن النماذج التي تم تدريبها باستخدام FedCC حافظت على تميز وانفصال الفئات المختلفة، بينما تميل الأساليب الأخرى إلى دمجها معًا. يشير هذا الوضوح إلى أن فئة "غير معروف" تعمل كحاجز، حيث تمتص الضجيج والارتباك الذي عادة ما يعرقل التعلم التعاوني.
تشير النتائج إلى أنه في عالم من البيانات المتنوعة والمجزأة، يعد الاعتراف بالجهل أداة قوية للتعلم. فمن خلال تحويل الهدف من فرض التوقع إلى السماح بعدم اليقين، يوفر FedCC طريقة بسيطة وفعالة لبناء أنظمة ذكاء اصطناعي أكثر موثوقية وعدالة. لا يتطلب هذا الأسلوب بنية تحتية معقدة جديدة أو مشاركة البيانات الخاصة؛ بل يغير ببساطة كيفية إبلاغ الأجهزة عن مستوى ثقتها. ومع استمرار نمو شبكات الأجهزة وتزايد تنوع البيانات التي تحملها، ستصبح التقنيات التي يمكنها التعامل مع حالات عدم التوازن هذه دون التضحية بالخصوصية أمرًا ضروريًا. يقدم FedCC مسارًا واضحًا للمضي قدمًا، موضحًا أنه في بعض الأحيان، أفضل طريقة للتعلم هي معرفة متى تقول: "أنا لا أعرف".
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.