Modeling quantum neural network gradient with reinforcement learning

في مجال الحوسبة الكمومية الناشئ، يحاول العلماء بناء آلات يمكنها حل مشكلات تتجاوز بكثير قدرات الحواسيب الفائقة اليوم. وتعد الشبكة العصبية الكمومية أداة مركزية في هذا المسعى، وهي نظام هجين يجمع بين الفيزياء الغريبة للجسيمات دون الذرية وقدرات التعلم للذكاء الاصطناعي. صُممت هذه الشبكات لإيجاد الأنماط في البيانات، تماماً مثل البرمجيات التي تتعرف على الوجوه في الصور أو تترجم اللغات. ومع ذلك، فقد اصطدم تدريب هذه الأنظمة الكمومية بجدار عنيد؛ فكلما أضاف الباحثون المزيد من البتات الكمومية، أو "الكيوبتات" (qubits)، إلى دوائرهم لمعالجة مشكلات أكثر صعوبة، غالباً ما تتلاشى الإشارات المستخدمة لتعليم الآلة في العدم. هذه الظاهرة، المعروفة باسم "الهضبة القاحلة" (barren plateau)، تترك الشبكة عمياء عن كيفية التحسن، بينما تصبح القوة الحسابية الهائلة المطلوبة لحساب التحديثات الضرورية كبيرة جداً لدرجة تجعل تشغيلها مستحيلاً على الأجهزة الحالية.

ولكسر هذا الحاجز، طور فريق من الباحثين نهجاً جديداً يتجاوز الطريقة التقليدية لتعليم هذه الآلات. فبدلاً من محاولة حساب الميل الرياضي الدقيق لمسار التعلم عبر الدائرة الكمومية — وهي عملية تزداد صعوبة واستهلاكاً للذاكرة بشكل أسّي مع نمو النظام — قاموا بتدريب برنامج حاسوبي كلاسيكي منفصل لتخمين الخطوة التالية. هذا البرنامج، الذي بُني باستخدام تقنية تسمى "التعلم المعزز" (reinforcement learning)، يعمل مثل مدرب خبير؛ فهو يراقب أداء الشبكة الكمومية، ملاحظاً أخطاءها الحالية وتحركاتها السابقة، ثم يقترح تحديثاً مباشراً لإعدادات الشبكة. ووجد الباحثون أن هذه الطريقة لا تتجنب مشكلة تلاشي الإشارة فحسب، بل إنها تعمل أيضاً بسرعة تفوق الطرق التقليدية بآلاف المرات وتستخدم جزءاً ضئيلاً من الذاكرة المطلوبة للتقنيات القياسية.

قام الفريق، بقيادة باحثين من فيتنام واليابان، باختبار المحسن الجديد الخاص بهم، والذي أطلقوا عليه اسم "RLQ-Grad"، على مجموعة متنوعة من الدوائر الكمومية المحاكية التي تتراوح من اثنين فقط من الكيوبتات وصولاً إلى عشرين كيوبت. وفي عالم الحوسبة الكمومية، يعد الرقم عشرين كيوبت مقياساً هاماً، حيث يمثل نظاماً كبيراً بما يكفي ليكون ذا صلة بالتطبيقات الواقعية، ولكنه صغير بما يكفي لمحاكاته على حواسيب كلاسيكية قوية. كانت النتائج مذهلة؛ فعندما قارن الباحثون طريقتهم بالطرق الثلاث القياسية لحساب التحديثات — وهي الانتشار العكسي (backpropagation)، وإزاحة المعامل (parameter-shift)، والتفاضل الملحق (adjoint differentiation) — حافظ "RLQ-Grad" على إشارة تعلم ثابتة وقوية بغض النظر عن حجم الدائرة. وفي المقابل، شهدت الطرق التقليدية انخفاض إشارات التعلم لديها بعدة مراتب مع زيادة عدد الكيوبتات، مما أدى فعلياً إلى توقف عملية التدريب.

كانت مكاسب الكفاءة دراماتيكية بنفس القدر. ففي معالج حاسوبي قياسي، أكملت الطريقة الجديدة كل خطوة تدريب في أقل من عُشر ثانية، حتى بالنسبة لأكبر الدوائر المكونة من عشرين كيوبت. وبالمقارنة، استغرقت طريقة الانتشار العكسي التقليدية ما يقرب من مائتي ثانية لنفس المهمة. أما من حيث استخدام الذاكرة، فقد كان الفرق أكثر عمقاً؛ فبينما تطلب نهج الانتشار العكسي القياسي أكثر من ستة آلاف ميجابايت من الذاكرة للتعامل مع دائرة مكونة من عشرين كيوبت، احتاجت الطالة الجديدة إلى أقل من ميجابايت اثنين. وهذا الاختزال في الطلب على الموارد يعني أنه يمكن للباحثين تدريب هذه النماذج المعقدة على أجهزة أكثر تواضعاً، مما يساهم في دمقرطة الوصول إلى أبحاث التعلم الآلي الكمومي.

كما فحص الباحثون مدى جودة تعلم النظام لتصنيف البيانات، حيث اختبروا الطريقة على أربع مجموعات بيانات مختلفة، بما في ذلك صور الأرقام المكتوبة بخط اليد والبيانات الطبية المتعلقة بسرطان الثدي. وفي كل حالة، تفوق محسن "RLQ-Grad" على الطرق التقلوية القائمة على التدرج (gradient-based methods). ففي مجموعات البيانات الأبسط، حسّن دقة الشبكة الكمومية بنسبة تصل إلى عشرة بالمائة. وعلى مجموعة صور البيانات الأكثر تعقيداً، حيث بدأت الطرق التقليدية تعاني مع كبر حجم الدائرة، استمرت الطريقة الجديدة في التحسن، محاكيةً في أدائها التقنيات المتخصصة المصممة خصيصاً لمعالجة مشكلة الهضبة القاحلة. والأهم من ذلك، أنها حققت ذلك دون العبء الحسابي الهائل الذي تتطلبه تلك التقنيات المتخصصة عادةً.

إن أحد أهم جوانب هذا العمل هو ما استبعده؛ فقد اختبر الباحثون صراحةً ما إذا كانت أنواع أخرى من التحسين، مثل الخوارزميات التطورية التي تحاكي الانتقاء الطبيعي أو الطرق الخالية من التدرج التي تعتمد على التخمين والتحقق، يمكنها حل المشكلة. ووجدوا أن هذه النهج البديلة انهارت لتصل إلى مستوى التخمين العشوائي عند مواجهة نفس الدوائر ذات العشرين كيوبت، وفشلت في تعلم أي شيء مفيد. وهذا يشير إلى أن الحل لا يكمل ببساطة في تجنب حساب التدرجات، بل في استخدام سياسة ذكية ومتعلمة لتوجيه التحديثات. كما أوضحت الدراسة أنه بينما يحل هذا الأسلوب مشكلة تلاشي الإشارات والتكاليف العالية للذاكرة، فإنه لا يعالج كل مشكلة في التعلم الكمومي بشكل سحري؛ فإذا كانت الدائرة الكمومية صغيرة جداً أو كانت المشكلة بسيطة للغاية، فلا تزال الشبكة عرضة للوقوع في حلول ضعيفة، كما أن الطريقة لا تعمل بعد على الأجهزة الكمومية الفعلية المعرضة للضوضاء والأخطاء.

لقد أثبت الفريق رياضياً أن نهجهم يعمل لأن البرنامج "المدرب" يعمل بالكامل على حواسيب كلاسيكية، ومنفصل عن الدائرة الكمومية نفسها. ولأن هذا المدرب لا يحتاج إلى التفاضل عبر المعادلات الكمومية المعقدة، فهو ليس عرضة للتلاشي الأسّي الذي يعاني منه الأسلوب التقليدي. وقد تحقق الباحثون من ذلك من خلال إظهار أن تباين إشارة التعلم ظل مسطحاً ومستقراً مع إضافة المزيد من الكيوبتات، بينما تضاءلت إشارة الطرق الأخرى بسرعة. تتيح هذه الميزة الهيكلية للطريقة التوسع بكفاءة، حيث تنمو خطياً فقط مع عدد المعلمات بدلاً من النمو الأسّي مع حجم النظام الكمومي.

ورغم أن هذه الدراسة أجريت بالكامل على عمليات المحاكاة، إلا أن آثارها على مستقبل الحوسبة الكمومية كبيرة. فمن خلال تقليل التكلفة الحسابية للتدريب بعوامل تصل إلى الآلاف، يمكن لهذه الطريقة أن تسمح للعلماء باستكشاف شبكات عصبية كمومية أكبر وأكثر تعقيداً مما كان يُعتقد سابقاً أنه ممكن. إنها تقدم مساراً جديداً لمجال كان يعاني من القيود العملية لتدريب هذه الأنظمة. ويشير الباحثون إلى أن الخطوة التالية ستكون اختبار هذا النهج على أجهزة كمومية حقيقية، ومعرفة ما إذا كان يمكن نقل السياسات المتعلمة عبر أنواع مختلفة من المشكلات، مما قد يخلق أداة عالمية لتدريب الآلات الكمومية في المستقبل. وفي الوقت الحالي، يقف هذا العمل كدليل على أنه من خلال تغيير طريقة تعليم هذه الآلات، يمكننا التغلب على المنحدرات الشاهقة التي أعاقت تقدمها.