Q-SpiRL: Quantum Spiking Reinforcement Learning for Adaptive Robot Navigation

ملخص تقني: Q-SpiRL: التعلم المعزز النبضي الكمي للملاحة الروبوتية التكيفية

بيان المشكلة
تتطلب الملاحة الروبوتية الذاتية في البيئات الديناميكية سياسات لا تقتصر فقط على الموثوقية في الوصول إلى الأهداف، بل تتطلب أيضاً الكفاءة والاستقرار في مساراتها. وبينما يوفر التعلم المعزز (RL) إطاراً لتعلم مثل هذه السياسات، فإن خوارزمية (Q-learning) الجدولية التقليدية تعاني من صعوبة في التوسع مع مساحات الحالة-الفعل الكبيرة، كما أن طرق التعلم المعزز العميق غالباً ما تتطلب موارد حوسبة وبيانات تدريب هائلة، مما يجعلها غير مناسبة للمنصات المدمجة ذات الموارد المحدودة. علاوة على ذلك، ركزت معظم مقاربات التعلم الآلي الكمي (QML) الحالية للملاحة بشكل كبير على النماذج الهجينة الكثيفة أو التخطيط القائم على التحسين، مما ترك فجوة في فهم ما إذا كانت الدوائر الكمية التباينية يمكن أن تعزز وكلاء التعلم المعزز "النبضي" (Spiking)، والتي تتناسب بطبيعتها مع الحوسبة المعتمدة على الأحداث ومنخفضة الطاقة.

المنهجية
يقترح البحث إطار عمل Q-SpiRL، وهو إطار موحد للملاحة الروبوتية المدركة للعوائق، يقوم بمقارنة خمس عائلات متميزة من الوكلاء تحت خط تجريبي محكم:

1. التعلم المعزز الجدولي (Tabular Q-Learning): نموذج مرجعي غير عصبي.
2. الشبكة العصبية كثيفة الطبقات الكلاسيكية (Classical MLP): شبكة عصبية كثيفة قياسية.
3. الشبكة العصبية النبضية الكلاسيكية (Classical SNN): شبكة عصبية نبضية تستخدم خلايا عصبية بنموذج "التكامل والاندفاع المتسرب" (LIF).
4. الشبكة العصبية كثيفة الطبقات المعززة كمياً (QMLP): شبكة كثيفة تحتوي على دائرة كمية تباينية (VQC) مدرجة بين الطبقات الكلاسيكية.
5. الشبكة العصبية النبضية المعززة كمياً (QSNN): وهي البنية المركزية، والتي تدمج دائرة كمية تباينية (VQC) داخل مسار نبضي.

التفاصيل الهيكلية الرئيسية:

• البيئة: تستخدم التجارب عوالم شبكية ثنائية الأبعاد (20×20، 30×30، 40×40) مع عوائق ثابتة وديناميكية. يراقب الوكيل متجهاً لحالة منفصلة وموجزة يتكون من: المنطقة الزاوية لأقرب عائق، المنطقة الزاوية للهدف، الزاوية النسبية بين الهدف والعائق، واتجاه الحركة للعوائق الديناميكية.
• مسار QSNN: تقوم شبكة QSNN أولاً بتشفير الحالة المنفصلة إلى تسلسل زمني نبضي باستخدام مشفر "بواسون" القائم على التردد. تتم معالجة هذه النبضات بواسطة طبقات نبضية ما قبل الكمية. يتم تجميع مخرجاتها عبر الزمن لتشكيل تمثيل مستمر لمعدل الإطلاق، والذي يتم تغذيته بعد ذلك في دائرة كمية بارامترية مكونة من 8 كيوبتات. تُنتج الدائرة قيم توقعات (Pauli-Z)، والتي تُعالج بواسطة طبقات كلاسيكية ما بعد الكم لتقدير قيم الأفعال (Q-values).
• بروتوكول التقييم: لضمان مقارنة عادلة بين جميع البنيات، يتم تحويل كل سياسة مدربة إلى جدول Q (Q-table) صريح عبر كامل مساحة الحالة المنفصلة. يتم تنفيذ الاستدلال بشكل حتمي باستخدام اختيار الفعل الجشع (Greedy action selection) من هذا الجدول، مما يلغي التأثيرات العشوائية أثناء التشغيل.
• المقاييس: يتم تقييم الأداء عبر معدل النجاح (SR)، وطول المسار المرجح بالنجاح (SPL)، وطول المسار (PL)، ومعدل الدوران (TR).

المساهمات الرئيسية

1. تقديم إطار العمل: يقدم المؤلفون Q-SpiRL، وهو إطار يوحد الوكلاء الجدوليين، والعصبيين الكلاسيكيين، والنبضيين، والمعززين كمياً لدراسة محكومة لبنيات السياسات.
2. تصميم QSNN: صمم البحث QSNN كإسهام رئيسي، حيث دمج طبقة كمية تباينية خصيصاً لتحويل تمثيلات معدل الإطلاق المستمدة من النبضات قبل تقدير قيمة الفعل، بدلاً من تطبيق المعالجة الكمية على الحالات الخام.
3. المقارنة الشاملة: ينفذ البحث ويقارن بين خمس عائلات متميزة، مما يسمح بتحليل مباشر للمقايضات بين النهج الكثيفة، والنبضية، والمعززة كمياً.
4. التقييم الحتمي: وضع المؤلفون بروتوكولاً لتحويل جميع السياسات إلى جداول Q صريحة، مما يسمح بمقارنة حتمية عادلة لقدرات الاستدلال عبر أنواع النماذج المختلفة.
5. الجدوى العتادية: يتضمن العمل تنفيذاً لسياسة QSNN على أجهزة IBM الكمية (ibm_fez)، مما يثبت جدوى النهج الهجين في ظل ظروف الجهاز الحقيقي.

النتائج التجريبية
أُجريت التجارب عبر ثلاثة أحجام شبكية مع زيادة تعقيد العوائق.

• الأداء العام: حققت QSNN باستمرار أفضل توازن إجمالي بين إتمام المهمة، وكفاءة المسار، وسلاسة الحركة.
• القابلية للتوسع: مع زيادة حجم البيئة (حتى 40×40)، ظلت البنيات النبضية (SNN و QSNN) أكثر قوة من النماذج القائمة على MLP الكثيفة. انخفض معدل نجاح MLP الكلاسيكي بشكل ملحوظ (إلى 77% في إعداد 40×40)، بينما حافظت QSNN على معدل نجاح بنسبة 99%.
• التعزيز الكمي: في بيئة 40×40، تفوقت QSNN على نظيرتها SNN الكلاسيكية في جميع المقاييس (99% معدل نجاح مقابل 98%، وSPL أعلى، وطول مسار أقصر، ومعدل دوران أقل). وبالمثل، تفوقت QMLP على MLP الكلاسيكية في الموثوقية، رغم أن المكاسب كانت أقل اتساقاً من المجال النبضي.
• محدودية النماذج المرجعية: بينما حقق نموذج التعلم المعزز الجدولي (Tabular Q-learning) معدلات نجاح عالية (تصل إلى 99%)، إلا أنه أنتج باستمرار مسارات أطول وأكثر تذبذباً (معدلات دوران أعلى وSPL أقل)، مما يشير إلى أن معدل النجاح وحده غير كافٍ لتوصيف جودة الملاحة.
• التنفيذ العتادي: حققت حلقة واحدة نُفذت على أجهزة IBM الكمية معدل نجاح بنسبة 100% مع SPL قدره 0.8189. ورغم أن المسار كان أقل كفاءة وأكثر تذبذباً من نتائج المحاكاة (بسبب الضوضاء والقيود العتادية)، إلا أنه وصل إلى الهدف بنجاح، مما يؤكد جدوى هذا النهج.

الأهمية والادعاءات
يزعم البحث أن QSNN توفر التوازن الأكثر ملاءمة بين الموثوقية، والكفاءة، والسلاسة للملاحة الروبوتية التكيفية. ويرى المؤلفون أن المعالجة الزمنية القائمة على النبضات توفر واجهة أكثر فعالية لتعلم السياسة المعززة كمياً من التمثيلات الكثيفة، حيث تحقق الطبقة الكمية مكاسب ثابتة في المجال النبضي ولكن نتائج أقل اتساقاً في الشبكات الكثيفة.

يسلط العمل الضوء على أنه بينما يمكن للنماذج المعززة كمياً تحسين جودة القرار وانتظام الحركة، فإن دمج الدوائر الكمية التباينية مع الديناميكيات النبضية فعال بشكل خاص للتعامل مع العوائق الديناميكية ومساحات الحالة المعقدة. ويعد التنفيذ الناجح على الأجهزة الكمية الحقيقية بمثابة إثبات أولي لمفهوم نشر السياسات النبضية الهجينة، رغم القيود الحالية في الضوضاء وزمن الاستجابة. ويخلص المؤلفون إلى أن العمل المستقبلي يجب أن يركز على تمثيلات حالة أغنى وتصميمات دوائر أكثر مقاومة للضوضاء للاستفادة القصوى من المعالجات الكمية في عصرها الحالي.