Spiking Neural Networks for Continuous Control: Neuromorphic Reinforcement Learning in Conventional Computing
تقدم هذه الورقة إطار عمل "الشبكة الفاعلة النبضية لسياسة الممثل والناقد الناعم" (SANSAC)، وتثبت من خلال الأجهزة التقليدية أن الشبكات العصبية النبضية يمكنها تحقيق أداء يضاهي خوارزميات "الناقد الناعم للممثل" التقليدية في مهام التحكم المستمر، مما يؤسس بذلك خط أساساً موثوقاً لأبحاث التعلم التعزيزي العصبي المستقبلي.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم الذكاء الاصطناعي، هناك سعي مستمر لجعل الآلات قادرة على التعلم والتكيف مع محيطها، تماماً مثل طفل يتعلم المشي أو طائر يتعلم الطيران. هذا المجال، المعروف باسم التعلم المعزز، يعلم البرامج الحاسوبية كيفية اتخاذ القرارات من خلال مكافأتها على الخيارات الجيدة ومعاقبتها على الخيارات السيئة. لسنوات، أصبحت هذه الأنظمة ماهرة للغاية في حل المشكلات المعقدة، من لعب ألعاب الفيديو إلى التحكم في الروبوتات. ومع ذلك، فإن الأجهزة التي تشغل هذه البرامج الذكية غالباً ما تكون ضخمة وتستهلك كمية هائلة من الكهرباء، تماماً مثل جهاز كمبيوتر مكتبي قوي يشغل لعبة فيديو ثقيلة. يتطلع العلماء الآن نحو نوع مختلف من بنية الحاسوب المستوحاة من الدماغ البشري، يسمى الأجهزة العصبية (neuromorphic hardware). تم تصميم هذه الرقائق المتخصصة لتكون أكثر كفاءة في استهلاك الطاقة وأسرع في معالجة المعلومات، لكنها تعمل بطريقة مختلفة جوهرياً عن الحواسيب التي نستخدمها كل يوم. لقد كان التحدي يكمن في كيفية أخذ الخوارزميات المعقدة وعالية الأداء التي تعمل جيداً على الحواسيب القياسية وترجمتها بحيث يمكنها العمل على هذه الرقائق الشبيهة بالدماغ دون فقدان قدرتها على التعلم.
وضع فريق من الباحثين هدفاً لحل هذه الأحجية تحديداً من خلال اختبار نهج جديد على كمبيوتر قياسي قبل تجربته على الأجهزة المتخصصة. ركزوا على نوع صعب من المهام يسمى التحكم المستمر، حيث يجب على الآلة إجراء تعديلات سلسة ومستمرة للحفاظ على توازنها أو التحرك للأمام، بشكل يشبه روبوتاً يحاول المشي عبر غرفة دون السقوط. أنشأ الباحثون نظاماً جديداً أطلقوا عليه اسم SANSAC، وهو اختصار لـ "Spiking Actor Network Soft Actor Critic". لفهم ما يجعله مميزاً، من المفيد معرفة أن شبكات الذكاء الاصطناعي القياسية تستخدم عصبونات ترسل إشارات مستمرة، بينما يستخدم النظام الجديد عصبونات "نبضية" (spiking neurons). هذه العصبونات النبضية تشبه الخلايا البيولوجية؛ فهي تظل هادئة حتى تتلقى مدخلات كافية لإرسال نبضة واحدة حادة من الكهرباء، أو "نبضة"، ثم تعود للهدوء مرة أخرى. هذه الطريقة هي المفتاح لجعل البرمجيات قابلة للعمل مستقبلاً على الأجهزة العصبية الموفرة للطاقة. أراد الفريق معرفة ما إذا كان استبدال "الدماغ" التقليدي لروبوت التعلم الخاص بهم بهذا الإصدار النبضي سيؤثر على أدائه، أم أنه يمكنه التعلم بنفس الكفاءة.
ولإيجاد الإجابة، وضع الباحثون كلاً من النظام التقليدي ونظامهم النبضي الجديد تحت اختبار صارم في بيئة محاكاة تُعرف باسم "Bipedal Walker" (المشي على قدمين). في هذه المحاكاة، يجب على روبوت ذي ساقين تعلم المشي للأمام دون السقوط. قام الفريق بتدريب كلا الإصدارين من البرمجيات لما يصل إلى 1200 محاولة، أو حلقة (episode)، لمعرفة مدى سرعة وفعالية تعلمهما للمشي. واختبروا الأنظمة بأحجام مختلفة من الذاكرة الداخلية، تتراوح من الصغيرة جداً إلى الكبيرة جداً، لضمان صمود النتائج تحت ظروف متنوعة. كانت النتائج مشجعة بشكل مفاجئ؛ فقد تعلم النظام النبضي الجديد المشي بنفس كفاءة النظام التقليدي. وفي الاختبارات الأكثر تحدياً، حقق كلا النظامين معدل نجاح يقارب 70 إلى 80 بالمائة، مما يعني أنهما استطاعا إكمال مهمة المشي في معظم الأوقات. وجد الباحثون أنه لا يوجد فرق إحصائي كبير في كيفية أداء كلا النظامين، مما يثبت أن النهج النبضي لا يضحي بالذكاء من أجل الكفاءة.
ومع ذلك، لوحظت مقايضة واضحة أثناء الاختبار. فبينما كان النظام النبضي يؤدي بشكل جيد، إلا أنه استغرق وقتاً أطول بكثير للتدريب على الكمبيوتر القياسي. لاحظ الباحثون أن النسخة النبضية تطلبت ضعف الوقت تقريباً لإكمال نفس عدد حلقات التدريب مقارنة بالنسخة التقليدية. حدث هذا لأن الكمبيوتر القياسي مصمم لمعالجة المعلومات في خط مستقيم، بينما يعتمد النظام النبضي على التوقيت والتسلسلات التي يصعب محاكاتها على مثل هذه الأجهزة. أوضح الباحثون أن هذا التباطؤ هو نتيجة تشغيل المحاكاة على النوع الخاطئ من الآلات؛ فعلى الأجهزة العصبية الفعلية المصممة لهذا الغرض، من المرجح أن يعمل النظام بشكل أسرع بكثير لأن تلك الرقائق تعالج هذه النبضات بالتوازي، تماماً كما يفعل الدماغ الحقيقي. لم يقس الباحثون استهلاك الطاقة على الكمبيوتر القياسي لأن البيانات كانت غير متسقة، لكن الهدف كان إثبات أن الخوارزمية تعمل قبل نقلها إلى الأجهزة التي ستتألق فيها.
كما بحثت الدراسة فيما يحدث عندما يتم تصغير الأنظمة، أي بتقليل عدد الاتصالات الداخلية. وكما هو متوقع، عانى كلا النظامين عندما كانت الشبكة صغيرة جداً بحيث لا تستطيع التعامل مع تعقيد المهمة، حيث انخفضت معدلات النجاح إلى 10 بالمائة فقط. ولكن في النطاق المتوسط من الأحجام، ظل النظام النبضي منافساً، مما أظهر أنه قوي بما يكفي للتعامل مع التعلم المعقد حتى عندما تكون الموارد محدودة. وخلص الباحثون إلى أن عملهم يوفر أساساً متيناً لمستقبل الذكاء الاصطناعي العصبي. لقد أثبتوا أنه من الممكن تصميم خوارزميات تعلم جاهزة لهذه الرقائق الجديدة والموفرة للطاقة دون الاضطرار لقبول انخفاض في الأداء. وبينما لا يزال الطريق أمامنا يتطلب الاختبار على أجهزة عصبية مادية لتأكيد فوائد الطاقة، فإن هذه الورقة تؤكد أن منطق البرمجيات نفسه سليم. وتشير النتائج إلى أن مستقبل الحوسبة الشبيهة بالدماغ والفعالة ليس مجرد حلم نظري، بل هو واقع عملي يمكن بناؤه اليوم، بشرط أن نكون مستعدين للانتظار قليلاً حتى ينتهي التدريب على حواسيبنا الحالية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.