Benchmarking memory and nonlinear processing capacity of quantum recurrent neural networks for time series prediction
تقدم هذه الورقة بحثاً معيارياً دقيقاً للشبكات العصبية المتكررة الكمومية التباينية للتنبؤ بالسلاسل الزمنية، كاشفةً أنه في حين يمكنها تحقيق أداء يضاهي النماذج الكلاسيكية مع قدرة فائقة في ظل التهيئة المثلى، إلا أنها تواجه تحديات كبيرة في القابلية للتوسع بسبب زيادة الحساسية تجاه التهيئة مع نمو حجم النموذج.
المؤلف الأصلي:José Daniel Viqueira, Andrés Gómez, David Mera
إن التنبؤ بالسلاسل الزمنية هو فن تخمين ما سيحدث تالياً في تسلسل من الأحداث، بدءاً من طقس الغد وصولاً إلى تقلبات أسعار الأسهم. لعقود من الزمن، اعتمد العلماء على حواسيب كلاسيكية قوية لإيجاد أنماط في تدفقات البيانات هذه، باستخدام نماذج رياضية معقدة تتذكر المدخلات الماضية للتنبؤ بالمستقبل. هذه النماذج فعالة للغاية، لكنها تصبح أيضاً معقدة بشكل متزايد وتستهلك الكثير من الطاقة لتشغيلها. وقد دفع هذا الباحثين للبحث نحو نوع مختلف من الآلات: الحاسوب الكمي. وخلافاً للحواسيب القياسية التي تعالج المعلومات كأزرار بسيطة تعمل أو لا تعمل (تشغيل أو إيقاف)، تستخدم الآلات الكمية القوانين الغريبة للفيزياء لتوجد في حالات متعددة في آن واحد، مما يوفر نظرياً طريقاً مختصراً لحل المشكلات التي تفوق قدرة الحواسيب الفائقة اليوم. والسؤال الكبير، مع ذلك، هو ما إذا كانت هذه الآلات الكمية يمكنها حقاً تعلم التنبؤ بالمستقبل ببراعة مماثلة لنظيراتها الكلاسيكية، أم أنها لا تزال صعبة للغاية في التدريب والتحكم.
لقد وضع فريق من الباحثين من إسبانيا هدفاً للإجابة على هذا السؤال عبر إخضاع نوع محدد من النماذج الكمية، يُعرف بالشبكة العصبية العصبية المتكررة الكمية، لاختبار صارم. صُممت هذه الشبكات للتعامل مع البيانات التي تصل بمرور الوقت، تماماً مثل الإنسان الذي يستمع إلى قصة ويتذكر بدايتها ليفهم نهايتها. ولرؤية مدى جودة عملها، قام العلماء بمحاكاة هذه الشبكات الكمية على حواسيب فائقة كلاسيكية وقارنوها بأفضل النماذج القياسية المستخدمة اليوم. وقد اختبروا النماذج في ثلاثة تحديات مختلفة: مهمة بسيطة لتذكر رقم من خطوات سابقة، ومهمة أكثر تعقيداً تتضمن أنماطاً غير خطية حيث تعتمد المخرجات على مزيج من المدخلات الماضية، ومهمة صعبة للغاية تعتمد على نظام فوضوي يحاكي السلوك غير المتوقع للظواهر الواقعية مثل ديناميكا السوائل.
كشفت النتائج عن صورة دقيقة لمكانة الحوسبة الكمية اليوم. ففي مهام الذاكرة الأبسط، أدت النماذج الكمية أداءً يضاهي النماذج الكلاسيكية عندما كان حجم الذاكرة صغيراً. ومع ذلك، عندما زاد الباحثون من كمية الذاكرة التي تحتاج النماذج للاحتفاظ بها، استمرت النماذج الكلاسيكية في التحسن، بينما كافحت النماذج الكمية لمواكبتها. وتشير الدراسة إلى أنه بينما تمتلك الشبكات الكمية القدرة النظرية لتكون أكثر قوة، إلا أنها حالياً حساسة جداً لكيفية بدئها. فإذا صادف الباحثون نقطة بداية جيدة لإعدادات النموذج، يمكن للشبكة الكمية أن تتفوق على الكلاسيكية، لكن العثور على مثل هذه النقطة الجيدة أصبح أصعب فأصعب كلما كبر حجم النموذج. وفي كثير حالات كثيرة، فشلت النماذج الكمية ببساطة في إيجاد حل جيد، حيث علقت في حالة لم تستطع فيها تعلم الأنماط بفعالية.
أظهر تصميم محدد للشبكة الكمية، والذي وازن بين عدد الإعدادات التي يمكن تعديلها وقدرتها على معالجة المعلومات، أكبر قدر من الواعدة. ففي المهمة غير الخطية المعقدة، تمكن هذا النوع الكمي المحدد من تحقيق سعة متوسطة أعلى من النماذج الكلاسيكية، مما يشير إلى أنه مع التصميم الصحيح، يمكن للآلات الكمية أن تقدم بالفعل ميزة. ومع ذلك، لم تكن هذه الميزة مضمونة؛ فقد اعتمدت بشدة على حظ الإعداد الأولي. كما قاس الباحثون كيفية تدفق المعلومات عبر النظام الكمي بمرور الوقت، مؤكدين أن النماذج تحتاج إلى فترة من "الاستقرار" قبل أن تبدأ في تقديم تنبؤات موثوقة. وُجد أن فترة الاستقرار هذه، حيث ينسى النظام حالته العشوائية الأولية، تستغرق حوالي عشر خطوات زمنية، وهو تفصيل حاسم لأي شخص يحاول استخدام هذه النماذج في الممارسة العملية.
في النهاية، لا يعلن هذا العمل انتصاراً للحوسبة الكمية على الأساليب الكلاسيكية، بل يرسم خريطة واضحة للمشهد الحالي. تُظهر الدراسة أنه بينما يمكن للشبكات المتكررة الكمية أن تضاهي الأداء الكلاسيكي في سيناريوهات محددة ومنضبطة جيداً، إلا أنها لا تقدم بعد ميزة عالمية. تظل العقبة الرئيسية هي صعوبة تدريب هذه الأنظمة؛ فكلما كبرت، أصبح تعليمها أصعب. ويخلص الباحثون إلى أنه لكي تصبح النماذج الكمية أدوات عملية للتنبؤ بالمستقبل، يجب على العلماء أولاً تطوير طرق أفضل لتهيئتها وتدريبها. وإلى ذلك الحين، تظل النماذج الكلاسيكية هي الخيار الأكثر موثوقية لمعظم مهام السلاسل الزمنية، رغم أن احتمال تفوق الآلات الكمية عليها يوماً ما يظل إمكانية مثيرة للاهتمام للمستقبل.
ملخص تقني: قياس أداء الذاكرة وقدرة المعالجة غير الخطية للشبكات العصبية المتكررة الكمومية
بيان المشكلة لا يزال التنبؤ بالسلاسل الزمنية يمثل تحديًا مركزيًا في تعلم الآلة نظرًا للطبيعة الديناميكية للبيانات الواقعية. وبينما حققت النماذج المتكررة الكلاسيكية (مثل LSTMe و GRUs) والحوسبة الخزانية الكمومية (QRC) نجاحًا ملحوظًا، إلا أن الشبكات العصبية المتكررة الكمومية التباينية (QRNNs) المصممة للبيانات المتسلسلة لا تزال غير مدروسة بشكل كافٍ. ويتمثل العائق الأساسي في صعوبة تدريب النماذج الكمومية التباينية، والتي غالبًا ما تعاني من تلاشي التدرج والمنصات القاحلة (barren plateaus). علاوة على ذلك، هناك نقص في المعايير الصارمة التي تقارن بشكل عادل بين قدرات الذاكرة وقدرات المعالجة غير الخطية لـ QRNNs مقابل النماذج الكلاسيكية المرجعية، لا سيما فيما يتعلق بكيفية تحجيم الأداء مع حجم النموذج وصعوبة المهمة.
المنهجية يقترح المؤلفون إطار عمل للقياس يعتمد على المهام لتحديد كمية قدرة الـ QRNNs، مع التركيز على قدرتين محددتين: الاحتفاظ بالذاكرة والمعالجة غير الخطية.
بنية النموذج: تدرس الدراسة عائلة من الـ QRNNs القائمة على دائرة كمومية متكررة بسجلين: سجل التبادل (E) لترميز المدخلات والقياس القائم على إعادة الضبط، وسجل الذاكرة (M) الذي يحتفظ بمعلومات الحالة. تتكون الدائرة من مؤثر الترميز، ومؤثر التطور (ansatz)، وطبقة مخرجات خطية. تم اختبار أربع بنيات كمومية:
EMCX1: عبارة عن (ansatz) كفء للأجهزة (HEA) مع سعات حقيقية فقط.
EMCZ2 و EMCZ3: عبارة عن (HEAs) مع مستويات متفاوتة من التشابك وأعداد المعلمات (حيث Z3 عالي التشابك وكثير المعلمات).
الهجين (Hybrid): نموذج يشبه الخزان يستخدم هاميلتونيان مجال عرضي آيزنغ (TFIM) للتطور، مصمم لتقليل المعلمات القابلة للتدريب إلى أدنى حد. تتم مقارنة هذه النماذج مع نماذج كلاسيكية مرجعية: VanillaRNN، و LSTM، و GRU.
المهام ومجموعات البيانات: يتم تقييم النماذج في ثلاث مهام للسلاسل الزمنية أحادية المتغير ذات اعتماد زمني قابل للضبط (τ):
الذاكرة قصيرة المدى (STM): إعادة إنتاج مدخل متأخر بمقدار τ خطوة.
المتوسط المتحرك التراجعي غير الخطي (NARMA): معيار للذاكرة والمعالجة غير الخطية.
ماكي-غلاس (MG): مهمة تنبؤ بنظام فوضوي. يتم التحكم في الصعوبة من خلال تغيير τ (حتى 10 في STM/NARMA وحتى 60 في MG).
تحديد القدرة: يتم قياس الأداء باستخدام معامل التحديد (R2) على مجموعة الاختبار. تُعرف قدرة النموذج بأنها نقطة القطع τc حيث ينخفض متوسط الأداء μ(τ) دون عتبة معينة (ϕc=0.9). يستخدم المؤلفون النماذج الجمعية المعممة (GAMs) لملاءمة توزيعات الأداء وتحديد نقاط القطع هذه.
التدريب والتهيئة: يتم تدريب النماذج باستخدام خفض التدرج (محسن Adam) على دوائر مثالية محاكة. ولمعالجة حساسية الخوارزميات التباينية للتهيئة، يتم تدريب كل تكوين عدة مرات (Nexp) باستخدام تهيات عشوائية للمعلمات. كما تستخدم الدراسة المعلومات المتبادلة الكمومية (QMI) لتحديد "المرحلة الانتقالية" للدائرة، مما يضمن تقييم التنبؤات فقط بمجرد وصول النظام إلى حالة مستقرة.
النتائج الرئيسية
التحجيم مع حجم الذاكرة: في مهمة STM، لا تظهر النماذج الكمومية أي ميزة على النماذج الكلاسيكية المرجعية. ومع زيادة حجم الذاكرة (عدد الكيوبتات)، تستمر النماذج الكلاسيكية في تحسين أو الحفاظ على الأداء، بينما تميل النماذج الكمومية عمومًا إلى الثبات أو التدهور.
المعالجة غير الخطية (NARMA): يُظهر نموذج EMCZ2 الكمومي أداءً متوسطًا متفوقًا مقارنة بالبنيات الكمومية الأخرى والنماذج الكلاسيكية المرجعية عبر النطاق المدروس. ومن الجدير بالذكر أن الذيول العليا لتوزيعات الأداء لكل من EMCZ2 والنماذج الهجينة تشير إلى أن تهيات معينة عشوائية يمكن أن تنتج حلولاً تتفوق على النظراء الكلاسيكيين.
الحساسية للتهيئة: يبرز هنا اكتشاف حاسم وهو المقايضة بين القدرة وقابلية التدريب. فبينما يمكن لبعض التكوينات الكمومية تحقيق قدرة أعلى من النماذج الكلاسيكية، فإن احتمال العثور على مثل هذه "التهيات الجيدة" يتناقص مع زيادة حجم النموذج. وهذا يشير إلى أن الحساسية للتهيئة تحد من القدرة العملية على تحجيم هذه الـ QRNNs.
كفاءة المعلمات: تتطلب البنية الهجينة، رغم تحقيقها درجات أقل في المتوسط، عددًا أقل بكثير من المعلمات القابلة للتدريب (تتوسع خطيًا مع حجم الذاكرة) مقارنة بنماذج HEA (التي تتوسع تربيعيًا). ومع ذلك، فإنها تعاني في ملاءمة الديناميكيات المعقدة للسلاسل الزمنية دون معلمات كافية.
التنبؤ الفوضوي (MG): في مهمة Mackey-Glass، تتفوق النماذج الكلاسيكية (خاصة LSTM و GRU) بشكل كبير على النماذح الكمومية عند أحجام الذاكرة الكبيرة، ويرجع ذلك على الأرج_ح إلى آلياتها المتطورة لاختيار الاعتمادات قصيرة وطويلة المدى.
الأهمية والادعاءات يدعي البحث توفير "نقطة انطلاق مبدئية" لتصميم بنيات كمومية متكررة أكثر ثراءً وتقييم فائدتها العملية. ويؤكد المؤلفون أن نتائجهم متواضعة:
النماذج الكمومية لا تتفوق عالميًا على النماذج الكلاسيكية المرجعية؛ بل إن ميزتها مشروطة بمهمة محددة، والأهم من ذلك، بالعثور على تهيئة مناسبة للمعلمات.
تسلط الدراسة الضوء على أنه بينما تمتلك الحالات الكمومية فضاءات هيلبرت ضخمة أسيًا، فإن مشكلة "تلاشي التدرج" والحساسية للتهيئة تحد بشدة من القدرة على استغلال هذه الدرجات من الحرية في الأطر التباينية الحالية.
توفر المنهجية، وخاصة استخدام QMI لتحديد المراحل المستقرة وتعريف القدرة القائم على المهام، إطارًا صارمًا للمقارنات المستقبلية.
يخلص المؤلفون إلى أنه بينما توفر النماذج الكمومية إمكانات لقدرة أعلى في سيناريوهات معينة (مثل EMCZ2 في NARMA)، فإن الصعوبة المتزايدة في العثور على تهيات جيدة مع نمو حجم النظام تمثل عقبة كبيرة. يجب أن يركز العمل المستقبلي على تطوير استراتيجيات تهيئة محددة لـ QRNNs واستكشاف نشرها على أجهزة كمومية فعلية لتقييم القدرة على التحجيم خارج حدود المحاكاة.