Personalized Federated Learning Under Severe Statistical Heterogeneity: A Multi-Dataset Analysis of Accuracy, Tail Performance, and Client Fairness

في عالمنا الرقمي المعاصر، غالباً ما يتم تدريب الذكاء الاصطناعي على كميات هائلة من البيانات التي تُجمع من ملايين المستخدمين. تقليدياً، تُجمع هذه البيانات في مستودع مركزي واحد وضخم لتعليم الكمبيوتر كيفية التعرف على الأنماط، مثل تحديد الأشياء في الصور الفوتوغرافية أو فهم الكلمات المنطوقة. ومع ذلك، هناك حركة متنامية في علوم الحاسوب تسعى لتدريب هذه الأنظمة دون نقل البيانات أبداً من الأجهزة التي أُنشئت فيها. هذا النهج، المعروف باسم "التعلم الاتحادي" (Federated Learning)، يسمح لنموذج عالمي بالتعلم من مصادر مختلفة عديدة مع الحفاظ على خصوصية المعلومات الخام ومحليتها. التحدي الجوهري في هذا الإعداد هو أن العالم ليس متجانساً؛ فغالباً ما تبدو البيانات التي يمتلكها شخص أو مؤسسة واحدة مختلفة تماماً عن البيانات التي يمتلكها آخر. فقد يلتقط أحد المستخدمين صوراً للقطط في الغالب، بينما يلتقط آخر صوراً للسيارات؛ وقد يمتلك أحدهم آلاف العينات، بينما لا يمتلك الآخر سوى القليل منها. وعندما يحاول نموذج واحد خدمة الجميع في آن واحد، فإنه غالباً ما يصبح حلاً وسطاً يعمل بشكل جيد معقول للمستخدم المتوسط، ولكنه يفشل الأشخاص الذين لديهم بيانات غير عادية أو نادرة.

ولحل هذه المشكلة، طور الباحثون تقنية تسمى "التعلم الاتحادي المخصص" (Personalized Federated Learning). وبدلاً من إجبار كل مستخدم على الاعتماد على نفس النموذج العالمي بالضبط، يسمح هذا الأسلوب لكل مستخدم بالحصول على نسخة من النموذج معدلة قلياً لتناسب احتياجاته الخاصة. الهدف هو إنشاء نظام ليس جيداً في المتوسط فحسب، بل جيد للجميع، بما في ذلك أولئك الذين لديهم أكثر البيانات صعوبة. ومع ذلك، فإن تحديد ما إذا كانت الطريقة الجديدة تساعد المستخدمين الأكثر ضعفاً هو أمر صعب بشكل مفاجئ. فالعديد من الدراسات تكتفي بالنظر إلى متوسط الدرجة الإجمالي للنظام؛ فإذا ارتفع المتوسط، يُعلن عن نجاح الطريقة. لكن المتوسط الأعلى قد يخفي واقعاً مقلقاً: قد يكون النظام يتحسن للمؤثرين في الأغلبية بينما يزداد سوءاً للقلة الذين هم في أمس الحاجة إليه. وتتحدى دراسة جديدة أجراها محمد شاهنور إسلام شاغور، وهو باحث مستقل في جامعة فورونيست لعلوم الغابات والتقنيات، الطريقة التي تُختبر بها هذه الأنظمة. وتجادل الدراسة بأن النظر في المتوسط ليس كافياً، وتقترح طريقة أكثر صرامة وأمانة لقياس ما إذا كان التخصيص يساعد حقاً الأشخاص الموجودين في أسفل مقياس الأداء.

جوهر هذا العمل هو إطار عمل جديد لاختبار مدى جودة أداء طرق التعلم المخصص المختلفة عندما تكون البيانات غير متساوية للغاية. حلل الباحث ستة نهج مختلفة للتعلم الاتحادي، تتراوح من الطرق القياسية التي تشارك نموذجاً واحداً إلى التقنيات الأكثر تقدماً التي تسمد بالتعديلات المحلية. اختُبرت هذه الطرق عبر أربع مجموعات بيانات صور معروفة، بما في ذلك الأرقام البسيطة بالأبيض والأسود والصور الطبيعية الملونة المعقدة. والأهم من ذلك، أن الدراسة لم تكتفِ بتشغيل هذه الطرق مرة واحدة ومقارنة النتائج، بل استخدمت تصميماً تجريبياً صارماً حيث تم اختبار كل طريقة على نفس مجموعة تقسيمات البيانات وظروف البداية العشوائية تماماً. وهذا يضمن أن أي فرق في الأداء يعود إلى الطريقة نفسها، وليس مجرد ضربة حظ في كيفية تقسيم البيانات. فحصت الدراسة ليس فقط الدقة الإجمالية، بل أيضاً أداء "ذيل" المجموعة — أي العشرة بالمائة من المستخدمين الذين سجلوا أسوأ أداء، والمستخدم الواحد الذي سجل الأسوأ على الإطلاق. كما قامت بقياس مدى تشتت النتائج بين جميع المستخدمين، متسائلة عما إذا كان النظام يعامل الجميع بإنصاف أم أنه يخلق فجوة واسعة بين الأفضل والأسوأ أداءً.

كشف التحليل عن عدة حقائق مهمة حول كيفية سلوك هذه الأنظمة. أولاً، أظهرت الدراسة أن الطريقة القياسية لوصف عدم تجانس البيانات غالباً ما تكون مضللة؛ فغالباً ما يستخدم الباحثون رقماً واحداً لوصف مدى انحراف البيانات، لكن الدراسة وجدت أن هذا الرقم لا يروي القصة كاملة. إذ يمكن لتجربتين بنفس الإعداد أن تؤديا إلى توزيعات فعلية مختلفة تماماً للبيانات، مما يعني أن مقارنة الطرق دون استخدام نفس تقسيم البيانات بالضبط قد تؤدي إلى استنتاجات خاطئة. ثانياً، أوضحت الدراسة العلاقة بين العدالة والدقة. فالمقياس الشائع للعدالة ينظر إلى مدى تساوي النتائج بين المستخدمين، وقد أثبتت الدراسة رياضياً أن هذا المقياس هو مجرد انعكاس لمدى تباين النتال عن المتوسط. وهذا يعني أن الطريقة يمكن أن تجعل النتائج أكثر مساواة عن طريق خفض أداء الجميع إلى مستوى منخفض واحد، وهو ما سيبدو تحسناً في العدالة ولكنه سيكون كارثة في الفائدة (Utility). لذلك، لا يمكن الحكم على العدالة بمعزل عن غيرها؛ بل يجب دائماً النظر إليها جنباً إلى جنب مع الجودة الفعلية للتنبؤات.

ولعل الاكتشاف الأكثر أهمية هو أن التخصيص لا يعني تلقائياً نتائج أفضل للمستخدمين الأقل حظاً. فقد أظهرت الدراسة أن بعض الطرق يمكن أن تحسن متوسط أداء المجموعة بينما تترك العشرة بالمائة في الأسفل دون تغيير أو حتى في وضع أسوأ. وعلى العكس من ذلك، قد تجعل طريقة ما النتائج أكثر مساواة ولكنها تخفض الجودة الإجمالية. وتخلص الدراسة إلى أنه لكي يكون نظام التعلم المخصص ناجحاً حقاً، يجب أن يحسن أداء المستخدمين الأقل أداءً دون التضحية بالدقة الإجمالية. ويوفر بروتوكول التقييم الجديد المقترح في الورقة البحثية وسيلة للتحقق من ذلك. فمن خلال النظر في سيناريوهات الحالة الأسوأ وتشتت النتائج جنباً إلى جنب مع المتوسط، يمكن للباحثين تحديد ما إذا كانت الطة الجديدة تساعد حقاً الأشخاص الذين هم في أمس الحاجة إليها. وينقل هذا النهج المجال بعيداً عن التصنيفات البسيطة القائمة على المتوسطات نحو فهم أكثر دقة لكيفية معاملة هذه الأنظمة لكل فرد في الشبكة.

كما سلطت الدراسة الضوء على أن أنواعاً مختلفة من عدم تجانس البيانات تتطلب حلولاً مختلفة. فقد اختبر البحث سيناريوهات امتلك فيها المستخدمون أنواعاً مختلفة من التصنيفات (Labels)، مثل امتلاك فئات قليلة فقط من الصور، وكذلك سيناريوهات امتلك فيها المستخدمون كميات متفاوتة جداً من البيانات. وأظهرت النتائج أن الطريقة المصممة لإصلاح نوع واحد من المشكلات قد لا تعمل مع نوع آخر. وهذا يشير إلى عدم وجود خوار_زمية واحدة "مثلى" لجميع المواقف؛ بدلاً من ذلك، يعتمد اختيار الطريقة بشكل كبير على الطبيعة المحددة لتوزيع البيانات. ويسمح إطار العمل الذي تم تطويره في هذه الورقة للباحثين باختبار هذه الطرق تحت ظروف مضبوطة وواقعية، مما يضمن أن الادعاءات بشأن العدالة والأداء مدعومة بأدلة صلبة بدلاً من الحظ الإحصائي.

في الختام، يعد هذا العمل بمثابة دعوة لمزيد من الصرامة في مجال الذكاء الاصطناعي. فهو يشير إلى أن الهدف من التعلم المخصص لا ينبغي أن يكون بناء نموذج متوسط أكثر ذكاءً فحسب، بل بناء نظام يتسم بالمتانة والعدالة لكل مشارك على حد. ومن خلال التركيز على الطرف الأدنى من طيف الأداء والمطالبة باختبار الطرق تحت ظروف بيانات متطابقة، توفر الدراسة مساراً أوضح للمضي قدماً. إنها تضمن أنه عندما نقول إن نظاماً ما "مخصص"، فإننا نعني أنه يساعد حقاً الأشخاص الذين يتم تهميشهم حالياً، بدلاً من مجرد تحسين التجربة لأولئك الذين يسيرون بشكل جيد بالفعل. إن النتائج لا تدعي أنها حلت مشكلة عدم التجانس الإحصائي، لكنها توفر الأدوات اللازمة لقياس التقدم بدقة ولتجنب فخاخ المتوسطات المضللة.