Federated Distillation on Edge Devices: Efficient Client-Side Filtering for Non-IID Data

ملخص تقني: EdgeFD – تصفية فعالة من جانب العميل للبيانات غير المتماثلة (Non-IID) في التقطير الاتحادي (Federated Distillation)

بيان المشكلة

يوفر التقطير الاتحادي (FD) بديلاً واعدًا لتعلم الاتحاد (FL) التقليدي عبر تبادل مخرجات النماذج (اللوجيتات الناعمة - soft logits) على مجموعة بيانات وسيطة مشتركة بدلاً من معلمات النموذج الكاملة، مما يقلل تكاليات الاتصال ويعزز الخصوصية. ومع ذلك، تواجه أساليب التقطير الاتحادي القائمة على الميزات (feature-based FD) عقبات كبيرة عند نشرها على أجهزة الحافة (edge devices) محدودة الموارد، لا سيما في ظل ظروف البيانات غير المستقلة والمتماثلة التوزيع (Non-IID).

تعتمد الأساليب الحالية المتطورة، مثل Selective-FD، على مقدرات نسبة الكثافة الإحصائية المعقدة (مثل KuLSIF-DRE) لتصفية البيانات الوسيطة. تتطلب هذه الأساليب من العملاء تحديد البيانات الوسيطة التي تتبع التوزيع الأصلي (ID) مقابل تلك التي تخرج عن التوزيع (OOD) باستخدام عمليات مصفوفية مكلفة حاسوبيًا، وغالبًا ما تستلزم بيانات مساعدة اصطناعية. وهذا يخلق عبئًا حاسوبيًا وذاكرة مرتفعًا، مما يحد من قابلية التوسع على أجهزة الحافة. علاوة على على ذلك، فإن التصفية من جانب الخادم للمعرفة الغامضة تضيف تأخيرًا إضافيًا. التحدي يكمن في تطوير طريقة تقطير اتحادي خفيفة الوزن وقوية تعمل على تصفية البيانات الوسيطة من جانب العميل دون الاعتماد على مقدرات إحصائية ثقيلة أو تدخل من الخادم.

المنهجية: EdgeFD و KMeans-DRE

يقترح المؤلفون EdgeFD، وهو إطار عمل للتقطير الاتحادي كفء في استهلاك الموارد، مصمم للعمل على أجهزة حافة غير متجانسة ذات نماذج تعلم آلي مخصصة. الابتكار الجوهري هو استراتيجية تصفية من جانب العميل مكونة من مرحلتين مدعومة بـ مقدر نسبة الك densité القائم على KMeans (KMeans-DRE).

1. نظرة عامة على سير العمل:

• التهيئة: يقوم العملاء بتدريب نموذج KMeans محلي على بياناتهم الخاصة لحساب مواقع المراكز (centroids) التي تمثل توزيع البيانات المحلي. كما يقومون بتوليد مجموعة بيانات وسيطة عن طريق مشاركة مجموعة فرعية صغيرة (مثلاً 10-20%) من بياناتهم الخاصة مع الخادم، الذي يقوم بتجميع وإعادة توزيع مجموعة بيانات وسيطة عالمية لجميع العملاء.
• جولات التدريب:
  • يختار الخادم مؤشرات عشوائية من مجموعة البيانات الوسيطة العالمية ويبثها إلى العملاء.
  • التصفية من جانب العميل: يحسب كل عميل تنبؤات لعينات البيانات الوسيطة المختارة باستخدام نموذجه المحلي. والأهم من ذلك، يطبق العميل مرشح KMeans-DRE:
    • يحسب المسافة الإقليدية بين كل عينة وسيطة وأقرب مركز مشتق من بيانات العميل الخاصة.
    • تُصنف العينات التي تقل مسافاتها عن عتبة محددة مسبقًا ($T_{ID}$) كبيانات داخل التوزيع (ID).
    • تُصنف العينات التي تتجاوز العتبة كبيانات خارج التوزيع (OOD) ويتم استبعادها.
  • يتم رفع التنبؤات المقابلة لعينات ID فقط إلى الخادم.
  • يقوم الخادم بتجميع هذه التنبؤات المصفاة لإنشاء نموذج معلم (ensemble teacher model)، والذي يُستخدم بعد ذلك من قبل العملاء لتحديث نماذجهم المحلية عبر تقطير المعرفة.

2. التمايزات التقنية:
على عكس مقدرات DRE الإحصائية التي تعتمد على تقدير كثافة النواة المعقد وتتطلب بيانات مساعدة، يلتقط EdgeFD توزيع البيانات من خلال مواقع المراكز. هذا يلغي الحاجة إلى بيانات مساعدة اصطناعية ويقلل عملية التصفية إلى حسابات مسافة بسيطة، مما يقلل بشكل كبير من التعقيد الحسابي.

المساهمات الرئيسية

1. KMeans-DRE كفء في الموارد: يقدم البحث مقدرًا جديدًا لنسبة الكثافة يستبدل الطرق الإحصائية المكثفة حاسوبيًا بنموذج تجميع KMeans. يقلل هذا النهج من التعقيد الزمني من النمو الأسي (في حالة KuLSIF-DRE بالنسبة لحجم العينة) إلى النمو الخطي، مما يجعله مناسبًا لأجهزة الحافة.
2. التصفية من جانب العميل بدون عبء على الخادم: يزيل EdgeFD الحاجة إلى التصفية من جانب الخادم للمعرفة الغامضة. ومن خلال التمييز الفعال بين بيانات ID و OOD محليًا، تمنع الطريقة انتقال المعرفة السلبية وتقلل من تأخير الاتصال.
3. القوة في مواجهة بيانات Non-IID: صُممت الطريقة للتعامل مع سيناريوهات Non-IID القوية والضعيفة حيث يمتلك العملاء توزيعات بيانات غير متجانسة وهياكل نماذج مخصصة، وهو قيد شائع في عمليات نشر الحافة الواقعية.
4. الحد الأدنى من متطلبات البيانات الوسيطة: يظهر الإطار قدرة فعالة على تقطير المعرفة باستخدام جزء صغير فقط (20%) من بيانات العميل الخاصة كبيانات وسيطة، مما يقلل من مخاطر الخصوصية المرتبطة بمشاركة البيانات.

النتائج التجريبية

قيم المؤلفون EdgeFD على ثلاث مجموعات بيانات مرجعية (MNIST، FashionMNIST، CIFAR-10) عبر سيناريوهات Strong Non-IID، و Weak Non-IID، و IID، مقارنةً بست طرق متطورة (بما في ذلك FedMD، و FedED، و Selective-FD، والأساليب الخالية من البيانات).

• أداء الدقة: تفوق EdgeFD باستمرار على الأساليب الحالية، لا سيما في إعدادات Non-IID الصعبة.
  • Strong Non-IID: حقق 98.92% في MNIST، و 88.55% في FashionMNIST، و 82.57% في CIFAR-10، متفوقًا على أفضل النتائج السابقة (Selective-FD) بفوارق كبيرة (مثلاً +4.24% في MNIST).
  • Weak Non-IID: حقق 98.88% (MNIST)، و 88.74% (FashionMNIST)، و 84.88% (CIFAR-10).
  • IID: حافظ على أداء تنافسي، محققًا 99.08% في MNIST، و 89.90% في FashionMNIST، و 86.37% في CIFAR-10.
• الكفاءة الحسابية: كشف التحليل المقارن للوقت والتعقيد المكاني أن KMeans-DRE يظهر نموًا خطيًا في كل من مراحل التعلم والتقدير، بينما يظهر KuLSIF-DRE نموًا أسيًا في التعقيد الزمني واستهلاكًا أعلى للذاكرة.
• حساسية العتبة: أشارت التجارب إلى أنه بينما تؤدي العتبات الأعلى إلى زيادة تضمين OOD (مما يقلل الدقة)، تظل الطريقة قوية مع العتبات المحسنة، حتى في مجموعات البيانات المعقدة مثل CIFAR-10 عند استخدام استخراج الميزات (ResNet-18).

الأهمية والادعاءات

يزعم البحث أن EdgeFD يعالج اختناق القابلية للتوسع الحرج في التقطير الاتحادي للحوسبة الحافة. من خلال استبدال المقدرات الإحصائية الثقيلة بمنهج خفيف الوزن يعتمد على KMeans، تمكن الطريقة من نشر التعلم التعاوني على أجهزة ذات قدرات معالجة ونطاق ترددي محدودين.

يؤكد المؤلفون أن EdgeFD يسد الفجوة بين الذكاء الاصطناعي المركزي والتطبيقات اللامركزية من خلال:

• تمكين تدريب نماذج عالية الدقة تحت ظروف عدم تجانس البيانات القوية دون الحاجة إلى نموذج معلم مدرب مسبقًا على الخادم.
• تقليل العبء الحسابي إلى مستوى مناسب لأجهزة الحافة محدودة الموارد.
• توفير حل عملي للسيناريوهات التي تتضمن نماذج غير متجانسة وقيودًا صارمة على عرض النطاق الترددي، مثل الكونسورتيوم الطبي، وأساطيل الروبوتات، وأنظمة مراقبة السائقين.

يخلص العمل إلى أن EdgeFD يعزز بشكل كبير من قابلية تطبيق التقطير الاتحادي في العالم الحقيقي، مما يوفر مسارًا قابلاً للتوسع نحو التعلم التعاوني المحافظ على الخصوصية في بيئات الحافة غير المتجانسة.