تخيل عالماً تريد فيه هاتفك الذكي، وساعتك الذكية، وجهاز الكمبيوتر المحمول الخاص بجارك، جميعهم تعلم كيفية التعرف على قطة، لكن لا يمكنهم مشاركة صورهم. ربما تكون الصور خاصة جداً، أو رب move أن اتصال الإنترنت بطيء جداً لرفعها جميعاً إلى حاسوب مركزي ضخم. هذه هي المشكلة التي يحاول التعلم الاتحادي (Federated Learning) حلها. بدلاً من جمع كل البيانات في مكان واحد، يرسل "المعلم" (الخادم المركزي) خطة درس أساسية للجميع. كل طالب (جهاز العميل) يتدرب على صوره الخاصة والخاصة، ويكتشف ما تعلمه، ثم يرسل فقط "ملاحظات الدرس" إلى المعلم. يقوم المعلم بخلط كل الملاحظات معاً لإنشاء خطة درس أكثر ذكاءً للجولة التالية. إنه يشبه مجموعة دراسة عالمية ضخمة حيث يحتفظ الجميع بواجباتهم المنزلية مخفية، ومع ذلك يتعلمون معاً.

ومع ذلك، فإن مجموعة الدراسة هذه تعاني من بعض المشكلات الفوضوية. أولاً، ليس لدى الجميع نفس القدر من الواجبات المنزلية (بعضهم لديه 10 صور، والبعض الآخر لديه 10,000 صورة). ثانياً، بعض الطلاب لديهم فقط صور لقطط برتقالية، بينما لدى آخرين فقط قطط سوداء (وهذا ما يسمى "انحراف التسمية" أو Label Skew). ثالثاً، قد يكون بعض الطلاب قد كتبوا بالخطأ كلمة "كلب" على صورة قطة (بيانات مصنفة بشكل خاطئ). إذا اختار المعلم الطلاب عشوائياً لمشاركة ملاحظاتهم، فقد تتعلم الفئة أشياء غريبة أو تتعثر. السؤال الكبير هو: كيف يقرر المعلم من يختاره للمساعدة في تعلم الفصل بأفضل طريقة، دون التلصص على واجباتهم المنزلية الخاصة؟

هذه الورقة البحثية، بعنوان "تقييم آثار مجموعات البيانات غير المثالية على اختيار العملاء في التعلم الاتحادي،" تغوص في هذا الفوضى تحديداً. قام المؤلفون، وهم باحثون من جامعة نانيانغ مينغ جياو تونغ الوطنية، بإجراء سلسلة من التجارب لمعرفة كيف تؤثر أنواع مختلفة من البيانات "السيئة" على سرعة تعلم الفصل ودرجته النهائية. واكتشفوا أن الحل ليس واحداً يناسب الجميع. أحياناً، تحتاج إلى أن تكون عادلاً وتختار الجميع بالتساوي؛ وفي أحيان أخرى، تحتاج إلى أن تكون صارماً وتتجنب الطلاب الذين لديهم بيانات فوضوية. ولحل ذلك، اخترعوا نظام "تقرير درجات" جديداً يسمح للمعلم بتقييم مدى فائدة كل طالب دون رؤية صوره الخاصة أبداً.

تجربة مجموعة الدراسة الكبرى

أعد الباحثون فصلاً دراسياً افتراضياً مكوناً من 100 عميل (طلاب) وخادم مركزي (المعلم). استخدموا مجموعتي بيانات كلاسيكيتين لتجاربهم: MNIST (أرقام مكتوبة بخط اليد) و CIFAR-10 (صور لحيوانات وأشياء). في محاكاتهم، اختبروا ما يحدث عندما يغيرون قواعد اللعبة.

سيناريوهات "البيانات السيئة"
لقد خلقوا ثلاثة أنواع رئيسية من المشاكل ليروا كيف سيتفاعل الفصل معها:

1. انحراف الكمية (Quantity Skew): بعض الطلاب لديهم دفاتر ملاحظات صغيرة، والبعض الآخر لديهم مكتبات ضخمة. وجدوا أن الدفاتر الأكبر تؤدي عموماً إلى درجات أفضل، ولكن إذا كان الدفتر صغيراً جداً، فإنه لن يستطيع المساعدة كثيراً.
2. انحراف التسمية (Label Skew): تخيل طالباً لديه فقط صور للأرقام "3" وطالب آخر لديه فقط صور للأرقام "7". إذا استمع الفصل لهذين الاثنين فقط، فلن يتعلموا شكل الرقم "1" أو "2". اختبر الباحثون كل شيء بدءاً من "الجميع لديه مزيج" وصولاً إلى "الجميع لديه رقم واحد محدد فقط". وجدوا أنه عندما كانت البيانات غير متوازنة للغاية (مثل طالب لديه فقط رقم "3")، فإن الفصل يعاني للتعلم، خاصة مع صور CIFAR-10 الأكثر صعوبة.
3. البيانات المصنفة بشكل خاطئ (Mislabeled Data): كان هذا هو المسبب الحقيقي للمشاكل. لقد قاموا بمحاكاة طلاب لديهم صور لقطط مصنفة ككلاب. واختبروا ثلاث طرق يمكن أن يحدث بها ذلك: أخطاء عشوائية، أخطاء متسلسلة (حيث يصبح "1" هو "2"، و"2" هو "3"، وهكذا)، وأخطاء دورية. كانت النتائج صارخة: البيانات المصنفة بشكل خاطئ كانت أسوأ بكثير من البيانات غير المتوازنة. في الواقع، عندما قاموا بمحاكاة مستوى عالٍ من الأخطاء المتسلسلة (حيث تم إزاحة التسميات بمقدار 7 مواضع)، فشلت عملية التعلم تماماً. لم يستطع الفصل تعلم أي شيء مفيد من الطلاب الذين كانوا مخطئين بثقة.

معضلة "العدالة"
بعد ذلك، سألوا: "هل يجب على المعلم اختيار الطلاب عشوائياً (عادل) أم تجنب أولئك الذين لديهم بيانات فوضوية (غير عادل)؟"

• عندما كانت المشكلة هي انحراف التسمية (بيانات غير متوازنة): كان الخيار العادل هو الفائز. حتى لو كان الطالب لديه فقط صور للرقم "3"، فإن السماح له بالمشاركة ساعد الفصل على تعلم هذا الرقم المحدد. إذا استبعده المعلم، فإن الفصل سيفقد فرصة التعلم. أظهرت النتائج أن الاختيار العادل حسن الدقة، رغم أنه استغرق أحياناً بضع جولات إضافية للانتهاء.
• عندما كانت المشكلة هي البيانات المصنفة بشكل خاطئ: كان الخيار العادل كارثة. تضمين الطلاب ذوي التسميات الخاطئة جرّ الفصل بأكمله للأسفل. في هذه الحالات، نجحت استراتيجية "غير العادل" (استبعاد الطلاب الفوضويين) بشكل أفضل. تشير الورقة إلى أنه عندما تكون البيانات تالفة، يجب عليك إعطاء الأولوية للجودة على العدالة.

نظام "تقرير الدرجات" الجديد

بما أن المعلم لا يمكنه التلصص على دفاتر ملاحظات الطلاب الخاصة، فكيف يعرف من هو المفيد ومن هو الفوضوي؟ اقترح المؤلفون نظام تسجيل من ثلاثة أجزاء يعمل بالكامل في جانب الخادم:

1. درجة حجم البيانات (Datasize Score): هذا بسيط. فهو يتحقق فقط من حجم دفتر ملاحظات الطالب. الدفتر الأكبر يحصل على درجة أعلى (يتم تطبيعها بين 0 و 1).
2. درجة الجودة (Quality Score): هذا هو الجزء الذكي. بعد أن يرسل الطالب ملاحظات الدرس الخاصة به، يختبر المعلم تلك الملاحظات في "اختبار تجريبي" سري يعرف المعلم إجاباته مسبقاً. إذا أدت ملاحظات الطالب إلى درجة عالية في الاختبار التجريبي، فإنه يحصل على درجة جودة عالية. إذا فشل في الاختبار التجريبي، تنخفض درجته. هذا يخبر المعلم: "بيانات هذا الطالب مفيدة"، أو "بيانات هذا الطالب مشوشة"، دون رؤية الصور الفعلية أبداً.
3. درجة العدالة (Fairness Score): هذا هو "مقياس الصبر". في كل جولة، تزداد درجة كل طالب بمقدار صغير. إذا تم اختيار الطالب للمشاركة، فتعود درجته إلى الصفر. هذا يضمن أن الطلاب الذين لم يتم اختيارهم منذ فترة سيحصلون في النهاية على فرصة، مما يمنع المعلم من الاستماع فقط إلى نفس الطلاب "الأذكياء".

الموازن الذكي
السحر الحقيقي يكمن في كيفية دمج هذه الدرجات. ينظر النظام إلى التباين (variance) (الانتشار) في درجات الجودة.

• إذا كانت درجات الجودة متشابهة جميعها (تباين منخفض)، فهذا يعني أن البيانات نظيفة في الغالب. عندها، يعتمد النظام على درجة العدالة، لضمان حصول الجميع على دور.
• إذا كانت درجات الجودة متباعدة جداً (تباين مرتفع)، فهذا يعني أن بعض الطلاب لديهم بيانات سيئة ومشوشة. عندها، يغير النظام مساره فوراً، متجاهلاً درجة العدالة، ويختار فقط الطلاب الذين لديهم أعلى درجات جودة.

ماذا وجدوا (وما لم يجدوه)

تخلص الورقة إلى أنه لا توجد طريقة واحدة "مثلى" لاختيار الطلاب. الأمر يعتمد كلياً على سبب كون البيانات غير مثالية.

• إذا كانت البيانات مجرد غير متوازنة (بعض الطلاب لديهم تسميات نادرة)، تقترح الورقة أن العدالة أمر بالغ الأهمية. استبعاد هؤلاء الطلاب يضر بالنموذج.
• إذا كانت البيانات تالفة/مفسدة (مصنفة بشكل خاطئ)، تقترح الورقة أن العدالة يجب أن تُضحى بها لحماية النموذج من المعلومات السيئة.

يلاحظ المؤلفون بحذر أن "درجة الجودة" الخاصة بهم هي أداة رائعة، لكن لديها نقطة ضعف. يمكنها إخبارك أن بيانات الطالب "سيئة"، لكن لا يمكنها إخبارك لماذا. هي لا تعرف ما إذا كانت البيانات سيئة لأن الطالب لديه فقط رقم "3" (انحراف التسمية) أو لأن الطالب كتب "كلب" على صورة قطة (بيانات مصنفة بشكل خاطئ). لهذا السبب، يضطر النظام أحياناً للتخمين. إذا كان التباين مرتفعاً، يفترض النظام الأسوأ (البيانات المصنفة بشكل خاطئ) ويعطي الأولوية للجودة، وهو رهان آمن. ومع ذلك، يعترف المؤلفون أنه إذا كان التباين العالي ناتجاً في الواقع عن انحراف التسمية، فإن هذا النهج التحفظي قد يضيع بعض فرص التعلم الجيدة.

باختاً، لا تدعي الورقة أنها حلت المشكلة للأبد. بدلاً من ذلك، فهي تقدم دليلاً تجريبياً مدروساً يوضح أن النظام التكيفي الذكي -الذي يمكنه التبديل بين "كن عادلاً" و"كن صارماً" بناءً على الموقف- هو المسار الأفضل للمضي قدماً في التعلم الاتحادي. ويقترحون أن العمل المستقبلي يجب أن يركز على بناء نظام يمكنه التمييز بين البيانات "غير المتوازنة" والبيانات "التالفة" بشكل أفضل، حتى يتمكن المعلم من اتخاذ الخيار المثالي في كل مرة.