Federated Learning of Spiking Neural Networks under Heterogeneous Temporal Resolutions

ملخص تقني: التعلم الاتحادي للشبكات العصبية النبضية تحت ظروف التباين في الدقة الزمنية

بيان المشكلة
يتيح التعلم الاتحادي (Federated Learning - FL) تدريب النماذج بشكل تعاوني عبر أجهزة الحافة اللامركزية مع الحفاظ على خصوصية البيانات. ومع ذلك، في تطبيقات السلاسل الزمنية، غالبًا ما تعمل أجهزة الحافة تحت قيود متباគ្នា من حيث الأجهزة والطاقة، مما يؤدي إلى جمع البيانات بدقات زمنية (معدلات أخذ عينات) مختلفة. يفرض هذا التباين الزمني تحديًا جوهريًا: المعلمات (parameters) التي يتم تعلمها من بيانات ذات دقة زمنية معينة لا تنتقل بالضرورة مباشرة إلى دقة زمنية أخرى. وبناءً على ذلك، يصبح خوارزم "التوسيط الاتحادي المتوسط" (FedAvg) التقليدي، الذي يقوم بتجميع معلمات النموذج بشكل ساذج، غير فعال لأنه يدمج نماذج تعمل عند مقاييس زمنية مختلفة، مما قد يؤدي إلى تدهور أداء النموذج العالمي. وبينما تعالج الأدبيات الحالية تباين توزيع البيانات (مثل عدم توازن الفئات) وتغيرات الدقة الزمنية في الشبكات العصبية النبضية (SNNs) غير الاتحادية، إلا أن هناك فجوة في معالجة عدم التطابق في الدقة الزمنية تحديدًا ضمن بيئة اتحادية للشبكات العميقة ذات الحالة (stateful deep networks) والشبكات العصبية النبضية.

المنهجية
يقترح المؤلفون إطار عمل FedTA (التعلم الاتحادي مع التكيف مع الدقة الزمنية)، وهو إطار مصمم لمواءمة النماذج المدربة على دقات زمنية متباينة قبل عملية التجميع.

• هيكل إطار العمل: يدمج FedTA آلية تكيف داخل حلقة FedAvg القياسية. قبل تجميع النماذج المحلية في الخادم، يتم تكييفها من دقتها الزمنية الخاصة بالعميل ($T_k$) إلى الدقة الزمنية للخادم المركزي ($T_c$). وعلى العكس من ذلك، يتم تكييف النموذج العالمي العائد من $T_c$ إلى كل دقة زمنية محلية $T_k$ للعميل قبل توزيعه.
• نطاق التكيف: يُطبق التكيف حصريًا على المعلمات الديناميكية ($\phi$) للخلايا العصبية (مثل معدلات اضمحلال الغشاء، ومصفوفات انتقال الحالة). بينما تظل الأوزان المشبكية ($W$) وإحصاءات التطبيع ($\psi$) دون تغيير خلال هذه العملية.
• نماذج الخلايا العصبية: تدرس الدراسة عائلتين من الخلايا العصبية:
  1. نموذج "النبض المتسرب" (Leaky Integrate-and-Fire - LIF): وهو نموذج SNN قياسي.
  2. نماذج فضاء الحالة القطرية ذات الديناميكيات الخطية (LD-SSM): وهو نموذج مرجعي غير نبضي ذو انتقالات حالة خطية.
     لكل عائلة، يقارن المؤلفون بين نسخة قياسية (تدريب مباشر للمعلمات الدينية) ونسخة $\Delta$، التي تستخدم إعادة تمثيل (exp-log reparameterization) لربط الدقة الزمنية المحلية بمعلمة قابلة للتدريب ($\Delta_{log}$).
• خوارزميات التكيف: تم دمج ثلاث طرق محددة للتكيف:
  1. FedTA-Int (التكاملي): مشتق من نظرية SSM الخطية، وتكيف هذه الطريقة المعلمات باستخدام تحويل تكاملي ($A_{r2} = A_{r1}^\rho$).
  2. FedTA-Eul (أويلر): تقريب من الدرجة الأولى مشتق من SSM الخطية ($A_{r2} = I + \rho(A_{r1} - I)$).
  3. FedTA-$\Delta$: مخصص لنسخ $\Delta$-، حيث تطبق هذه الطريقة إزاحة مضافة إلى معلمة الدقة الزمنية اللوغاريتمية ($\Delta_{log, r2} = \Delta_{log, r1} + \ln(\rho)$)، حيث $\rho$ هو نسبة الدقات الزمنية.

المساهمات الرئيسية

1. إطار عمل مبتكر: يقدم البحث أول إطار عمل للتعلم الاتحادي يعالج صراحةً تباين الدقة الزمنية للشبكات العصبية النبضية والشبكات العميقة ذات الحالة.
2. استراتيجيات التكيف: يقترح ويدمج ثلاث طرق متميزة لتكيف الديناميكيات (التكاملي، أويلر، وإزاحة $\Delta$) لسد الفجوة بين الدقات الزمنية الخاصة بالعميل والدقات الزمنية العالمية.
3. تقييم شامل: تم تقييم إطار العمل على مجموعتي بيانات مرجعية للأجهزة العصبية (SHD و DVS-Gesture) عبر سيناريوهين للعملاء (تفاوت عدد العملاء لكل دقة زمنية) وتكوينات متعددة لنماذج الخلايا العصبية.

النتائج

• استعادة الدقة: تنجح طرق التكيف المقترحة في استعادة الدقة المفقودة بسبب عدم التطابق الزمني بشكل كبير. في مجموعة بيانات SHD، حققت تركيبة Standard-SSM و FedTA-Int أعلى دقة عبر جميع السيناريوهات والدقات الزمنية. وفي مجموعة بيانات DVS-Gesture، تباين الأداء، حيث حققت نسخة $\Delta$-LIF مع FedAvg غالبًا أفضل النتائج، وإن كانت متغيرات FedTA تتفوق عمومًا على FedAvg الساذج في الإعدادات غير المتجانسة.
• مقارنة الطرق:
  • بالنسبة للديناميكيات الخطية (SSM)، تفوقت الطريقة التكاملية (FedTA-Int) بشكل كبير على طريقة أويلر، وهو ما يتوافق مع التوقع النظري بأن أويلر هي تقريب أقل دقة من الدرجة الأولى.
  • بالنسبة للديناميكيات غير الخطية (LIF)، عملت كل من الطريقتين التكاملية وأويلر كتقريبات. أظهرت نسخ $\Delta$- نتائج مختلطة، حيث كانت أحيانًا تؤدي أداءً مشابهًا أو أسوأ قليلاً من FedAvg اعتمادًا على الدقة الزمنية المستهدفة ($T_c$).
• تأثير الدقة المركزية: كان الأداء في أعلى مستوياته عمومًا عندما تتطابق الدقة المركزية للخادم مع أدق دقة للعملاء ($T_c=1$) أو الدقة المتوسطة ($T_c=2$)، مما يقلل متوسط عدم التطابق.
• التكلفة الحسابية: كانت التكلفة الحسابية لخطوات التكيف (FedTA-Int، FedTA-Eul، FedTA-$\Delta$) ضئيلة مقارنة بـ FedAvg الأساسي. بقيت أوقات التدريب ضمن انحراف معياري واحد من الخط الأساسي.
• كفاءة الطاقة: قدم نموذج $\Delta$-LIF مع FedAvg مقايضة مقنعة، حيث حقق دقة عالية مع استهلاك طاقة أقل بكثير وأوقات تدريب أسرع مقارنة بنماذج SSM، مستفيدًا من الطبيعة المتفرقة والثنائية لنماذج SNN.

الأهمية والادعاءات
يزعم البحث أن FedTA يتيح لكل عميل التدريب عند دقته الزمنية المحلية مع البقاء متوافقًا مع نموذج عالمي، مما يحل مشكلة عدم المحاذاة الزمنية في البيئات الاتحادية بشكل فعال. يسلط المؤلفون الضوء على أن:

• FedTA-Int فعال بشكل خاص للنماذج ذات الديناميكيات الحالة الخطية، حيث تتوافق افتراضات طريقة التكيف مع هيكل النموذج.
• تُظهر نماذج LIF (SNNs) متانة عبر الإعدادات المختلفة وتقدم مقايضة متفوقة بين كفاءة الطاقة والدقة، مما يجعلها جذابة لأجهزة الحافة محدودة الموارد.
• يعد إطار العمل خطوة واعدة نحو تعلم اتحادي قوي تحت ظروف التباين في الدقة الزمنية، رغم أن المؤلفين يشيرون بتواضع إلى أن طرق التكيف للديناميكيات غير الخطية (مثل LIF) هي تقريبات، وأن العمل المستقبلي يجب أن يستكشف التكيف المصمم خصيصًا لديناميكيات الخلايا العصبية غير الخطية والتفاعل مع الأشكال الأخرى من تباين البيانات (مثل عدم توازن الفئات).