Mutual Lateral Prediction for Locally Trained Spiking Neural Networks
تقدم هذه الورقة البحثية MPC-SNN، وهي شبكة عصبية نبضية تلافيفية مبتكرة تحقق دقة هي الأفضل في فئتها على معيار DVS128 Gesture باستخدام تعلم محلي بحت وخالٍ من الانتشار العكسي، وذلك من خلال تمكين الخلايا العصبية من التنبؤ بالمدخلات الأمامية لقرنائها عبر مصفوفة أوزان جانبية متعلمة.
في السعي لبناء آلات ترى وتفكر بكفاءة الدماغ البشري، نظر الباحثون لفترة طويلة إلى نوع خاص من الشبكات الاصطناعية يسمى "الشبكة العصبية النبضية". وخلافًا لبرامج الكمبيوتر القياسية التي تعالج المعلومات في تدفق مستمر وثابت، تحاكي هذه الشبكات لغة الدماغ الكهربائية الخاصة: وهي نبضات قصيرة وحادة من النشاط تُعرف بالنبضات (spikes). هذا النهج مناسب تمامًا لأنواع جديدة من الأجهزة المصممة لمحاكاة البيولوجيا، والتي يمكنها أداء مهام معقدة مع استخدام جزء ضئيل من الطاقة التي تتطلبها الحواسيب التقليدية. ومع ذلك، ظل هناك عقبة رئيسية؛ إذ تعتمد الطريقة الأكثر دقة لتعليم هذه الشبكات التعرف على الأنماط حاليًا على أسلوب يتطلب من الكمبيوتر إرسال إشارات الخطأ عكسيًا عبر كل طبقة من طبقات الشبكة، وهي عملية يستحيل تشغيلها على الأجهزة الموفرة للطاقة نفسها، ولا يوجد لها مثيل في الدماغ البيولوجي. وقد بحث العلماء عن طريقة لتدريب هذه الشبكات باستخدام قواعد محلية فقط، حيث يتعلم كل جزء من الشبكة من جيرانه المباشرين دون الحاجة إلى إشارة عالمية من الأعلى.
قدم فريق من الباحثين الآن نظامًا جديدًا يحل هذه المشكلة من خلال تعليم الشبكة التنبؤ بما أوشك جيرانها على تجربته. في هذه البنية الجديدة، التي تسمى MPC-SNN، لا تكتفي كل خلية عصبية بالاستجابة للإشارات التي تتلقاها فحسب، بل تحاول أيضًا تخمين الإشارات التي سيتلقاها أقرانها في الطبقة نفسها. إذا كان التنبؤ صحيحًا، تظل الخلية هادئة، أما إذا كان التنبؤ خاطئًا، فإن الخلية تطلق نبضة للإشارة إلى عنصر المفاجأة. تسمح هذه الآلية للشبكة بالتعلم بالكامل من التفاعلات المحلية، باستخدام قاعدة محددة حيث تقوم الخلية بتحديث اتصالاتها بناءً على خطئها الخاص والنشاط الأخير لأحد الجيران. اختبر الباحثون هذا النظام على مجموعة بيانات لإيماءات اليد المسجلة بواسطة كاميرا خاصة لا ترى سوى التغيرات في الضوء، وهي مهمة تتوافق تمامًا مع نقاط القوة لهذا النوع من التكنولوجيا.
تظهر نتائج الدراسة أن هذا النهج يعمل بشكل جيد للغاية. ففي مجموعة الاختبار المكونة من 288 عينة إيماءة، حققت الشبكة دقة بلغت 95.83 بالمائة، وهو أداء يضاهي أفضل الطرق الموجودة التي لا تستخدم إشارات خطأ عالمية، ويتفوق بشكل كبير على الأنظمة التي تم نشرها بالفعل على شرائح عصبية مادية. ولعل الأهم من ذلك هو أن الشبكة أصبحت أكثر كفاءة أثناء تعلمها؛ فخلال عملية التدريب، انخفض عدد النبضات التي أطلقتها بأكثر من 60 بالمائة، مما يعني أن النظام النهائي يستخدم طاقة أقل بكثير لاتخاذ القرار. لم تكن هذه الكفاءة مفروضة بقاعدة محددة لفرض الندرة، بل ظهرت بشكل طبيعي لأن الشبكة تعلمت أن تطلق النبضات فقط عندما تُفاجأ حقًا بالمدخلات.
كان الاكتشاف الرئيسي في الدراسة هو أن الآلية التي تسمح للخلايا العصبية بالتنبؤ بمدخلات جيرانها لم تكن مجرد فكرة نظرية، بل كانت جزءًا نشطًا ومتناميًا من النظام. فعندما بدأ الباحثون التدريب، كانت الاتصالات المسؤولة عن هذه التنبؤات تقترب من الصفر، ومع تعلم الشبكة، نمت هذه الاتصالات بشكل كبير، حيث زادت القدرة التنبؤية لأقوى طبقة بأكثر من عشرين ضعفًا. حدث هذا النمو دون أي تسميات أو توجيه خارجي، مما يثبت أن الشبكة كانت تتعلم حقًا توقع نشاط أقرانها. ووجدت الدراسة أيضًا أن النظام كان فعالاً للغاية في التعامل مع المعلومات المقدمة له؛ فحتى عندما قلل الباحثون كمية البيانات المصنفة المستخدمة للتدريب إلى ربع الكمية الأصلية فقط، احتفظت الشبكة بنحو ثلاثة أرباع دقتها، مما يشير إلى أن مرحلة التعلم المحلي الأولية قد بنت بالفعل فهمًا قويًا للعالم المرئي.
بينما قدم النظام أداءً استثنائيًا في المحاكاة، فقد كان الباحثون حذرين في الإشارة إلى أن النتائج تقتصر حاليًا على النماذج الحاسوبية ولم تُختبر بعد على شرائح عصبية مادية. كما لاحظوا أن النظام واجه صعوبة في تحديد الإيماءات المختلفة بنيويًا عن بيانات التدريب، مما يشير إلى أن قدرته على اكتشاف المدخلات غير المعتادة لا تزال محدودة. ومع ذلك، يوفر هذا العمل برهانًا ملموسًا على أن الشبكة يمكنها تعلم مهام معقدة باستخدام قواعد محلية وبرمجة تنبؤية فقط، مما يوفر مسارًا واعدًا نحو بناء آلات ذكية تعمل بالطاقة المنخفضة والسرعة العالية للأنظمة البيولوجية. ويشير نجاح هذا النهج إلى أن مستقبل الذكاء الاصطناعي الفعال قد لا يكمن في إرسال كميات هائلة من البيانات عكسيًا عبر الشبكة، بل في تعليم كل جزء من النظام كيف يستمع إلى جيرانه ويتنبأ بهم.
بيان المشكلة تُعد الشبكات العصبية النبضية (SNNs) النموذج الحسابي الطبيعي للأجهزة العصبية (مثل Intel Loihi-2 و SpiNNaker2)، حيث توفر استدلالاً منخفض الطاقة للبيانات القائمة على الأحداث مثل تلك القادمة من المستشعرات البصرية الديناميكية (DVS). ومع ذلك، فإن أكثر الشبكات العصبية النبضية دقة حالياً تعتمد على "الانتشار العكسي عبر الزمن" (BPTT) مع التدرجات البديلة. تتطلب هذه الطريقة نشر إشارات الخطأ للخلف عبر الطبقات وعبر الزمن، وهي آلية غير متوافقة مع الرقائق العصبية (التي تفتقر إلى آليات بث التدرج بين الطبقات) وغير متوافقة مع المعقولية البيولوجية (التي تفتقر إلى مسارات خلفية مماثلة). وبينما يوفر "الترميز التنبئي" مساراً للتعلم المحلي الصارم، فإن صياغات الشبكات العصبية النبضية الحالية عادة ما تسمح للنيورونات بالتنبؤ بمدخلاتها الأمامية فقط، متجاهلةً المحفز الذي تتلقاه جاراتها الجانبيات.
المنهجية: MPC-SNN يقدم المؤلفون MPC-SNN (الشبكة العصبية النبضية للترميز التنبئي الجانبي المتبادل)، وهي شبكة عصبية نبضية تلافيفية يتم تدريبها بالكامل باستخدام قواعد محلية خالية من الانتشار العكسي. يتم تعريف بنية الشبكة وعملية التعلم من خلال ثلاثة مكونات أساسية:
الابتكار الهيكلي (التنبؤ الجانبي): على عكس البنى السابقة حيث تعتمد التنبؤات الشجيرية فقط على النبضات الأمامية قبل المشبكية، تقدم MPC-SNN مصفوفة أوزان جانبية متعلمة Wlat. يتنبأ كل نيورون بالمدخلات الأمامية لأقرانه في نفس الطبقة باستخدام النبضات الصادرة عن هؤلاء الأقراء في الخطوة الزمنية السابقة.
يتم حساب التقدير الشجيري I^[t] كالتالي: I^[t]=Wdspre[t]+Wlatzlayer[t−1].
يتم تنفيذ Wlat كالتفاف (convolution) متعلم بنسبة 1×1 عبر القنوات في نفس الموقع المكاني.
خطأ التنبؤ ϵ[t] هو الانحراف بين متجه النبضات قبل المشبكية الفعلي وهذا التقدير الجانبي/الأمامي.
قواعد التعلم المحلية الصارمة: تستخدم الشبكة ثلاث قواعد تحديث مشتقة من المبادئ الأولى، ولا تتطلب إشارات خطأ عالمية أو أهدافاً خارجية:
الوزن الجسدي (Ws): يتم تحديثه عبر قاعدة "هيب" (Hebbian rule) ثلاثية العوامل باستخدام خطأ التنبؤ، وأثر الأهلية (eligibility trace)، وإشارة تعديل عصبي.
الوزن الشجيري (Wd): يتم تحديثه لتقليل المكون الأمامي لخطأ التنبؤ.
الوزن الجانبي (Wlat): وهو المكون الجديد، والمشتق من تفاضل هدف محلي (نصف مربع خطأ التنبؤ). تتطلب قاعدة التحديث ΔWlat=ηlatϵ[t]elat[t]⊤ فقط خطأ التنبؤ الخاص بالنيورون والنبضة السابقة لأحد الأقراء في نفس الطبقة. هذا أكثر محلية بشكل صارم من طرق مثل e-prop (التي تبث أخطاء المخرجات) أو LTTS (التي تتطلب نبضات مستهدفة خارجية).
إجراء التدريب ذو المرحلتين:
المرحلة 1 (التدريب المسبق غير الخاضع للإشراف): 50 حقبة (epoch) بدون تسميات فئات أو خسارة عالمية. تقوم كل طبقة بتحديث أوزانها بشكل مستقل باستخدام أخطاء التنبؤ المحلية. تهدف هذه المرحلة إلى تعلم تمثيلات قابلة لإعادة الاستخدام والتحقق من نشاط الآلية الجانبية.
المرحلة 2 (الضبط الدقيق الخاضع للإشراف): 400 حقبة حيث يتم إلحاق مخرج خطي (linear readout)، ويتم تحسين الشبكة بالكامل باستخدام خسارة الإنتروبيا المتقاطعة (cross-entropy) وتنعيم الملصقات (label smoothing).
النتائج الرئيسية عند تقييمها على معيار DVS128 Gesture المكون من 11 فئة، تُظهر MPC-SNN ما يلي:
الدقة: تحقق النموذج دقة اختبار تبلغ 95.83%. وهذا يطابق إحصائياً أقوى خط أساس للتعلم المحلي (DECOLLE، بنسبة ~95.5%)، ويتجاوز بشكل كبير التطبيقات العصبية المنشورة (Loihi بنسبة 89.64% و Spike Gating Flow بنسبة 87.50%).
نشاط الآلية: خلال المرحلة 1، تنمو الأوزان الجانبية (Wlat) من تهيئة قريبة من الصفر (≈0.001) بمقدار يصل إلى 21.1 ضعفاً في الطبقة الأولى، مما يؤكد أن القاعدة الجانبية نشطة ميكانيكياً دون إشارات مدفوعة بالملصقات.
كفاءة الملصقات: يُظهر النموذج كفاءة عالية في استخدام الملصقات. فمع وجود 25% فقط من ملصقات التدريب، يحتفظ النموذج بدقة 73.50%. وهذا يعطي نسبة احتفاظ بالمعلومات (IRR) قدرها 2.94، مما يعني أن كل مثال موسوم يوفر ما يقرب من ثلاثة أضعاف مكسب الدقة مقارنة بالنمو الخطي.
الندرة (Sparsity): خلال المرحلة 2، ينخفض عدد النبضات لكل استدلال من ~730,000 إلى ~143,000، مما يدل على ظهور الندرة دون فرض عقوبات صريحة على الندرة في دالة الخسارة.
الدراسة الاستقصائية (Ablation): يؤدي إزالة المكون الجانبي (الحالة B) إلى انخفاض طفيف في الدقة (94.79% مقابل 95.83% كأفضل نتيجة) وزيادة بنسبة 5.8% في عدد النبضات، رغم أن هذه الاختلافات لم تصل إلى الأهمية الإحصائية على مجموعة الاختبار المكونة من 288 عينة عبر خمس بذور (seeds) مختلفة.
الأهمية والادعاءات يدعي البحث أن MPC-SNN هي أول شبكة عصبية نبضية تجمع بين الترميز التنبئي الجانبي في نفس الطبقة وقاعدة خطأ التنبؤ المشتقة محلياً. وتتحدد أهميتها في ثلاث مساهمات متميزة:
هيكلية: قدمت مصفوفة أوزان جانبية متعلمة في نفس الطبقة للتنبؤ بمدخلات الأقران، وهو بناء لم يتم الإبلاغ عنه سابقاً في أدبيات الشبكات العصبية النبضية.
نظرية: تم اشتقاق قاعدة التحديث الجانبية من هدف خطأ التنبؤ بدلاً من كونها تجريبية، مما يؤسس لقاعدة تعلم محلية تماماً (لا تتطلب تنسيقاً بين الطبقات أو أهدافاً خارجية).
تجريبية: حقق النموذج دقة تنافسية على معيار عصبي قياسي مع إظهار كفاءة عالية في الملصقات ونمو نشط للأوزان الجانبية أثناء التدريب المسبق غير الخاضع للإشراف.
القيود والسلبيات الصريحة يشير المؤلفون صراحة إلى عدة قيود:
الأهمية الإحصائية: بينما تُظهر الدراسة الاستقصائية للآلية الجانبية أحجام تأثير كبيرة (Cohen's d=1.01)، فإن مجموعة الاختبار الصغيرة (282 عينة) تمنع هذه النتائج من الوصول إلى الأهمية الإحصائية. يلزم وجود مجموعة اختبار أكبر لإثبات موثوقية الوزن الجانبي بشكل قاطع.
مشكلات التقارب: كان تقارب خطأ التنبؤ في المرحلة 1 غير رتيب (non-monotonic) في الطبقة الوسطى (conv2)، مما يشير إلى أن الهدف المحلي قد يواجه صعوبة مع الميزات التي ليست حوافاً محلية بحتة ولا ميزات مجردة بالكامل.
كشف القيم خارج التوزيع (OOD): أدت تجربة اختبار عدد النبضات كدرجة شذوذ لـ OOD إلى تحقيق AUROC قدره 0.578 (غير مهم). يذكر المؤلفون هذا كـ "سلبية صادقة"، عازين الفشل إلى التشابه الدلالي بين الفئات المحجوزة وفئات التدريب بدلاً من خلل جوهري في منطق الكشف.
النشر: الدراسة هي محاكاة فقط؛ ولم يتم اختبار كفاءة نقل تدريب المرحلة 1 على رقائق عصبية فيزيائية بعد.
في الختال، تقدم الورقة MPC-SNN كتحقيق ملموس للترميز التنبئي الجانبي الخالي من الانتشار العكسي، والذي يسد الفجوة بين المعقولية البيولوجية والحوسبة العصبية عالية الأداء، مع الاعتراف بالحاجة إلى مزيد من التحقق الإحصائي ودراسات النشر على الأجهزة.