Pattern Recognition Tasks with Personalized Federated Learning

تخيل أنك تحاول تعليم مجموعة من 20 طالباً كيفية التعرف على أشياء مختلفة، مثل الأرقام المكتوبة بخط اليد أو إشارات اليد. في الأيام الخوالي (التعلم الآلي التقليدي)، كان عليك جمع كل واجباتهم المنزلية، وإحضارها إلى فصل دراسي واحد ضخم، وتعليمهم جميعاً في وقت واحد. المشكلة؟ هذا يمثل كابوساً للخصوصية. سيتعين عليك رؤية ملاحظات الجميع الخاصة، وإذا سرق شخص ما الفصل الدراسي، فستضيع كل الأسرار.

لقد غير التعلم الاتحادي (Federated Learning - FL) قواعد اللعبة. بدلاً من إحضار الواجب المنزلي إلى المعلم، يرسل المعلم "كتاباً مدرسياً" إلى منزل كل طالب. يدرس الطلاب على ملاحظاتهم الخاصة، ويفهمون ما تعلموه، ثم يرسلون فقط ملاحظاتهم عما تعلموه إلى المعلم. يقوم المعلم بدمج هذه الملاحظات لصنع كتاب مدرسي أفضل للجولة التالية. لا يرى أحد أبداً الواجبات المنزلية الخاصة بأي شخص آخر.

ومع ذلك، كانت هناك عقبة؛ فقد كان المعلم يحاول صنع كتاب مدرسي واحد يكون "جيداً" للجميع. ولكن ماذا لو كان الطالب (أ) خبيراً في الرياضيات ولكنه سيء في الفن، بينما الطالب (ب) هو العكس تماماً؟ لا يمكن لكتاب مدرسي واحد أن يكون مثالياً لكليهما. هنا يأتي دور التعلم الاتحادي المخصص (Personalized Federated Learning - PFL). الأمر يشبه قول المعلم: "حسناً، سأعطيكم كتاباً مدرسياً أساسياً، ولكن يمكنك تعديل الفصول الأخيرة لتناسب أسلوبك الخاص".

السباق الكبير: اختبار 7 "أساليب تدريس" مختلفة

عمل مؤلفو هذه الورقة البحثية كمسؤولي سباق. أرادوا معرفة أي من سبعة أساليب تدريس مختلفة للتعلم الاتحادي المخصص (PFL) يعمل بشكل أفضل في التعرف على الأنماط (مثل الأرقام وإشارات اليد). اختبروا هذه الأساليب في ثلاثة "امتحانات" مختلفة:

1. MNIST: التعرف على الأرقام المكتوبة بخט اليد (0-9).
2. SignMNIST: التعرف على إشارات اليد للحروف الأبجدية (مثل لغة الإشارة الأمريكية).
3. Digit5: مزيج من خمسة أنماط مختلفة من الأرقام المكتوبة بخط اليد (بعضها يبدو وكأنه كُتب على هاتف، وبعضها على ورق، وبعضها تم إنشاؤه بواسطة الكمبيوتر).

قاموا بإعداد "مدرسة" افتراضية مكونة من 20 طالباً (عملاء) وأجروا التجارب لمعرفة من سيحصل على أعلى الدرجات.

المتنافسون والنتائج

إليك كيف كان أداء "أساليب التدريس" السبعة، باستخدام تشبيهات بسيطة:

• APPLE (الشامل): هذه الطريقة تشبه رئيس طهاة ماهر يكيف الوصفة قليلاً لكل زبون مع الحفاظ على النكهة الأساسية ثابتة.

  • النتيجة: كان هو البطل. سجل أكثر من 99% في امتحانات الأرقام والأرقام المختلطة، وأكثر من 92% في امتحان لغة الإشارة. كان الأكثر موثوقية في جميع المجالات.

• FedGC (اليد الثابتة): تركز هذه الطريقة على إصلاح الأخطاء الصغيرة في كيفية تعلم الطلاب حتى لا يبتعدوا عن بعضهم البعض.

  • النتيجة: وصيف قوي جداً. سجل باستمرار أعلى من 97% في جميع الاختبارات. إنه "الرهان الآمن" الذي نادراً ما يرتكب الأخطاء.

• FedProto (باني النماذج الأولية): تعلم هذه الطريقة الطلاب من خلال عرض "نماذج أولية" (أمثلة مثالية) لما يجب أن يبدو عليه الرقم أو الإشارة، بدلاً من مجرد مشاركة الملاحظات الخام.

  • النتيجة: أداء قوي آخر، سجل أعلى من 94% في جميع الاختبارات. إنه جيد جداً في التعميم لما يتعلمه.

• FedALA (المتخصص): هذه الطريقة رائعة في التكيف محلياً، لكنها تعثرت عندما تغيرت المهمة.

  • النتيجة: كان ظاهرة لمرة واحدة. حصل على نسبة تقارب الكمال بلغت 99.8% في امتحان لغة الإشارة، لكنه انهار في امتحانات الأرقام، حيث سجل فقط حوالي 40-50%. إنه يشبه طالباً عبقرياً في الفن ولكنه يفشل في الرياضيات.

• FedPAC (المتعاون): تحاول هذه الطريقة مواءمة الميزات ومشاركة المصنفات.

  • النتيجة: كان جيداً، حيث سجل بين 86% و91%. إنه طالب مجتهد، لكنه ليس الأول على الفصل.

• FedPCL (القارئ المسبق): تستخدم هذه الطريقة نماذج مدربة مسبقاً (مثل طالب قرأ الكتاب بالفعل قبل الفصل) والتعلم التبايني.

  • النتيجة: كان غير موثوق. أدى بشكل جيد في الأرقام والإشارات (حوالي 82-84%)، لكنه فشل تماماً في امتحان الأرقام المختلطة، حيث سجل نسبة ضئيلة بلغت 18%. إنه يشبه طالباً درس بجد لاختبار واحد محدد، لكنه لم يستطع التعامل مع مزيج مفاجئ من الأسئلة.

• FedBABU (باني الأجسام): تقوم هذه الطريقة بتحديث "جسم" النموذج ولكنها تبقي "الرأس" (صانع القرار النهائي) عشوائياً وغير محدث حتى النهاية.

  • النتيجة: عانى بشكل كبير، حيث سجل حوالي 44-55% في جميع المجالات. يبدو أن هذا النهج المحدد لم يعمل بشكل جيد مع أنواع التعرف على الأنماط هذه.

المقايضات: "شد وجذب ثلاثي الأبعاد"

تشرح الورقة البحثية أنه في عالم التعلم المخصص، غالباً ما يتعين عليك الاختيار بين ثلاثة أشياء، ولا يمكنك الحصول على الأفضل من الثلاثة معاً:

1. الدقة مقابل التخصيص: إذا كنت تريد أعلى درجة ممكنة (الدقة)، فقد تضطر للالتزام أكثر بمتوسط المجموعة (تخصيص أقل). إذا تركت كل طالب يسلك طريقه الخاص (تخصيص عالٍ)، فقد ينخفض إجمالي درجة المجموعة قليلاً لأنهم لا يتعلمون من بعضهم البعض بفعالية كافية.
2. التخصيص مقابل الأمن: كلما قمت بتخصيص نموذج لشخص معين، زادت كمية البيانات الفريدة التي يتعين عليك مشاركتها لجعل ذلك يعمل. وهذا يزيد قليلاً من خطر اكتشاف شخص ما لما قد تبدو عليه بيانات ذلك الشخص الخاصة، حتى لو لم تتم مشاركة البيانات الخام.
3. الدقة مقابل الأمن: أحياناً، لجعل النموذج آمناً للغاية (مثل استخدام تشفير ثقيل)، قد تفقد القليل من الدقة لأن العمليات الحسابية تصبح أصعب في التنفيذ بشكل مثالي.

الخلاصة

تخلص الورقة البحثية إلى أن التعلم الاتحادي المخصص هو أداة قوية. فهو يتفوق على الطرق القديمة "التي تناسب الجميع" وطرق "التعلم الجماعي" القياسية.

إذا كنت بحاجة إلى نظام يعمل بشكل جيد للجميع في مجموعة مع الحفاظ على خصوصية بياناتهم، فإن APPLE وFedGC وFedProto هم "الطلاب المتفوقون" الذين يجب اختيارهم. ومع ذلك، إذا كان لديك مهمة محددة وفريدة جداً (مثل التعرف على لغة الإشارة تحديداً)، فقد يكون الأسلوب المتخصص مثل FedALA هو الخيار المناسب، حتى لو فشل في المهام الأخرى.

الدرس المستفاد الرئيسي هو: لا توجد خوارزمية واحدة "مثالية". عليك اختيار الأداة المناسبة للمهمة المحددة ولديات التي تملكها.