تخيل عالماً يريد فيه هاتفك، وساعتك الذكية، وجهاز التصوير بالرنين المغناطيسي في مستشفاك أن يتعلموا معاً ليصبحوا أكثر ذكاءً، لكن لا يمكنهم مشاركة أسرارهم. هذا هو جوهر التعلم الاتحادي (Federated Learning - FL). فكر في الأمر كأنه مجموعة دراسة عالمية ضخمة حيث يعمل الطلاب (الأجهزة) على نفس الواجب المنزلي، ولكن يُمنعون من إظهار دفاتر ملاحظاتهم للمعلم أو لبعضهم البعض. بدلاً من ذلك، يرسلون فقط إجاباتهم النهائية أو "التحديثات" إلى مركز رئيسي. والهدف هو بناء نموذج فائق الذكاء يساعد الجميع دون الكشف أبداً عن بياناتك الخاصة مثل تاريخك الطبي أو رسائلك النصية.

ومع ذلك، فإن مجموعة الدراسة هذه تواجه بعض المشكلات. أولاً، واجب الجميع الدراسي مختلف؛ فبعض الطلاب يدرسون الرياضيات بينما يدرس آخرون الفن، و"بياناتهم" ليست موحدة. ثانياً، قد يكون بعض الطلاب مشوشين، أو معطلين، أو حتى يحاولون التخريب في المجموعة عبر تقديم إجابات مزيفة. في الماضي، حاول المعلم (الخادم المركزي) معرفة من كان مفيداً بمجرد النظر إلى أسلوب الإجابات (الأرقام داخل النموذج). لكن مؤلفي هذه الورقة البحثية يجادلون بأن النظر إلى "أسلوب" الإجابة يشبه الحكم على أغنية بمجرد النظر إلى كثافة الحبر في النوتة الموسيقية؛ فهذا لا يخبرك ما إذا كانت الأغنية تبدو جيدة بالفعل. أنت بحاجة للاستماع إلى الموسيقى نفسها. تستكشف هذه الورقة طريقة جديدة للاستماع إلى الموسيقى قبل السماح لأي شخص بالانضمام إلى الجوقة.

---

المشكلة: الحكم على الكتاب من غلافه (أو النموذج من أرقامه)

في عالم تعلم الآلة، النماذج هي في الأساس قوائم ضخمة من الأرقام تسمى "المعلمات" (parameters). لفترة طويلة، عندما حاول الباحثون تحديد ما إذا كان واجب الطالب جيداً بما يكفي ليتم دمجه في دليل الدراسة النهائي للمجموعة، كانوا ببساد مقارنة هذه القوائم من الأرقام. كانوا يتساءلون: "هل تبدو أرقامك مشابهة لأرقامي؟"

يقول مؤلفو هذه الورقة، ميركو كونستانتين وفريقه، إن هذه فكرة سيئة. فهم يشيرون إلى أن نموذجين يمكن أن يمتلكا أرقاماً متشابهة جداً، لكنهما يتصرفان بشكل مختلف تماماً عند إجراء تنبؤ فعلي. الأمر يشبه طباخين يستخدمان نفس بطاقة الوصفة بالضبط، لكن أحدهما يصنع كعكة لذيذة والآخر يصنع طوبة. في بيئة فوضوية حيث تكون البيانات غير منظمة (مثل استخدام مستشفيات مختلفة لأجهزة فحص مختلفة) أو عندما يحاول بعض الطلاب كسر النظام، يصبح النظر إلى الأرقام وحدها أمراً غير موثوق به. وغالباً ما يؤدي ذلك إلى تعلم المجموعة للأشياء الخاطئة أو الارتباك بسبب التحديثات السيئة.

الحل: LIGHTYEAR و"درجة الاتفاق"

لإصلاح ذلك، يقترح الفريق إطار عمل جديد يسمى LIGHTYEAR (الاستدلال المحلي الموجه للتجميع في بيئات التدريب غير المتجانسة لتحقيق التحسين من خلال الاتفاق والتنظيم). إنه اسم طويل، لذا دعونا نفككه باستخدام تشبيه أبسط.

تخيل أن مجموعة الدراسة تتوقف عن استخدام معلم مركزي. بدلاً من ذلك، يجلس الطلاب في دائرة ويمررون واجباتهم مباشرة إلى بعضهم البعض (شبكة ند لند أو Peer-to-Peer). قبل أن يقبل الطالب قطعة من الواجب من جار له لإضافتها إلى دليل دراسته الخاص، فإنه لا ينظر فقط إلى الأرقام. بل يقوم فعلياً بتجربة الواجب على بعض المسائل التدريبية التي يخفيها في جيبه.

هنا يحدث السحر. يستخدم المؤلفون أداة رياضية تسمى النواة المماسية العصبية (Neural Tangent Kernel - NTK). فكر في الـ NTK كـ "بصمة سلوكية". بدلاً من السؤال: "هل تطابق أرقامك أرقامي؟"، يسأل LIGHTYEAR: "إذا أعطيتك سؤال اختبار محدداً، هل ستجيب عليه بنفس الطريقتي؟"

إنهم يحسبون درجة الاتفاق (Agreement Score). إذا توقع نموذج الجار الإجابة على سؤال اختبار محلي بطريقة تتماشى مع نموذج الطالب نفسه، فإن الدرجة تكون عالية، ويتم قبول ذلك الواجب. أما إذا خرج نموذج الجار عن المسار (توقع أشياء مختلفة تماماً)، فإن الدرجة تكون منخفضة، ويتم رفض هذا التحديث. وهذا يسمح لكل طالب ببناء دليل دراسة مخصص يتضمن فقط المساعدة من الجيران الذين يفهمون تحدياتهم المحلية المحددة.

شبكة الأمان "التنظيمية" (Regularization)

حتى مع وجود أفضل الجيران، قد تصبح الأمور متذبذبة. أحياناً، حتى التحديثات الجيدة يمكن أن تجعل المجموعة تنحرف بعيداً جداً في اتجاه واحد. لمنع حدوث ذلك، يضيف LIGHTYEAR مصطلح "التنظيم" (regularization). تخيل هذا كيد لطيفة على الكتف، تقول: "مهلاً، لا تغير رأيك بشكل جذري للغاية لمجرد أن أحد الجيران قال شيئاً جديداً". إنه يبطئ معدل التغيير، مما يجعل عملية التعلم أكثر استقراراً وأقل عرضة للانهيار عندما تتعامل المجموعة مع بيانات حقيقية فوضوية.

ما وجدوه: فريق مرن

اختبر الفريق نظام LIGHTYEAR على خمس مجموعات بيانات مختلفة، تتراوح من التعرف على الأرقام المكتوبة بخط اليد (FEMNIST) إلى تحليل الصور الطبية مثل مسحات سرطان الجلد (Isic19) وصور الموجات فوق الصوتية لبنيات البطن للجنين. وقد وضعوا طريقتهم في مواجهة تسع تقنيات شائعة أخرى، بما في ذلك الطرق القياسية مثل FedAvg والطرق القوية مثل Krum و Ditto.

لقد قاموا بمحاكاة ثلاثة أنواع من المثيرين للمشاكل:

1. هجمات الضجيج المضاف (Additive-Noise Attacks): طلاب يضيفون تشويشاً عشوائياً إلى إجاباتهم.
2. هجمات قلب الإشارة (Sign-Flipping Attacks): طلاب يعكسون إجاباتهم عمداً لإرباك المجموعة.
3. التحديثات العشوائية (Random Updates): طلاب يقدمون إجابات عشوائية ومختلقة تماماً.

كانت النتائج واضحة. في معظم السيناريوهات، خاصة عندما تكون المجموعة كبيرة والبيانات فوضوية، تفوق LIGHTYEAR باستمرار على الآخرين. وبينما فشلت الطرق الأخرى غالباً، حيث انخفضت دقتها إلى ما يقرب من الصفر أو انخفضت "درجات Dice" (مقياس لمدى جودة تقسيم النموذج للصورة)، حافظ LIGHTYEAR على تعلم المجموعة بفعالية.

على سبيل المثال، في مجموعة بيانات Camelyon17 (مهمة صعبة تتضمن اكتشاف الأورام من مستشفيات مختلفة)، عندما زاد عدد الطلاب المتعطلين، فشلت معظم الطرق الأخرى تماماً. ومع ذلك، حافظ LIGHTYEAR على أداء عالٍ، حيث ظل غالباً فوق 90% من الدقة حتى عندما كان 7 من أصل 8 طلاب متعطلين. وفي مجموعة بيانات FEMNIGST، حقق حوالي 90.7% من الدقة حتى مع وجود طالب واحد متعطل، بينما عانى الآخرون بشكل كبير.

يشير المؤلفون إلى أن هذا النجاح يأتي من سببين رئيسيين:

1. الاختيار في فضاء الوظيفة (Function-Space Selection): من خلال التحقق من كيفية سلوك النموذج (الموسيقى) بدلاً من مجرد ما هي الأرقام (الحبر)، تمكنوا من تصفية التحديثات السيئة بشكل أكثر فعالية.
2. التخصيص (Personalization): نظرًا لأن كل طالب يمكنه اختيار "أفضل جيرانه" بناءً على بياناته المحلية، فإن النظام لم يفرض على الجميع الاتفاق على حل متوسط واحد قد يكون سيئاً للجميع.

المقايضة

هناك عقبة، رغم ذلك. لكي "يستمعوا إلى الموسيقى" (تقييم السلوك)، يتعين على كل طالب القيام بمزيد من العمل. يجب عليهم إجراء اختبارات إضافية على بياناتهم المحلية قبل قبول تحديث الجار. وهذا يعني المزيد من التواصل وقوة حوسبة أكبر مقارنة بطريقة "الإرسال والنسيان" البسيطة. يشير المؤلفون إلى أنه في مجموعة متصلة بالكامل من $N$ من الطلاب، تزدัง تكلفة الاتصال مع مربع عدد الطلاب ($O(N^2)$)، وهو أعلى بكثير من التكلفة الخطية ($O(N)$) لطريقة الخادم المركزي. ومع ذلك، بالنسبة للتطبيقات الحرجة مثل التصوير الطبي حيث تكون الموثوقية أمراً بالغ الأهمية، يرى المؤلفون أن هذه التكلفة الإضافية تستحق العناء لضمان عدم تعطل النموذج.

الخلاصة

تشير هذه الورقة إلى أنه في عالم البيانات الحقيقي الفوضوي وغير المتوقع، نحتاج إلى التوقف عن الحكم على نماذج تعلم الآلة بمجرد أرقامها الداخلية. من خلال استخدام "بصمة سلوكية" (درجة الاتفاق القائمة على NTK) والسماح للأجهزة بالتحقق من التحديثات مقابل واقعها المحلي، يمكننا بناء نظام تعلم أكثر قوة ضد الأخطاء أو التخريب. LIGHTYEAR لا ينجو من الفوضى فحسب، بل يزدهر فيها، ويقدم مساراً نحو مستقبل أكثر ذكاءً وتخصيصاً وأماناً للذكاء الاصطناعي التعاوني.