🤖 machine learning

Quantum Hierarchical Reinforcement Learning via Variational Quantum Circuits

تقترح هذه المقالة وكيل تعلم تعزيزي هرمي هجين يدمج الدوائر الكمومية التباينية في بنية "الناقد-الخيار" (Option-Critic)، وتُظهر أن مستخلصات الميزات الكمومية يمكنها التفوق على النماذج الكلاساسية المرجعية بعدد أقل بكثير من المعلمات، مع تحديد تقدير قيمة الخيار الكمومي كعائق حرج للأداء.

المؤلفون الأصليون: Yu-Ting Lee, Samuel Yen-Chi Chen, Fu-Chieh Chang

نُشر 2026-05-06

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yu-Ting Lee, Samuel Yen-Chi Chen, Fu-Chieh Chang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تعلم روبوتاً كيفية التنقل في متاهة. في العصور السابقة، ربما كنت ستكتفي بإخباره ببساطة: "إذا رأيت جداراً، انعطف يساراً". ومع ذلك، بالنسبة للمتاهات المعقدة، فإن هذا الأسلوب بطيء للغاية. أنت بحاجة إلى نهج أكثر ذكاءً: التعلم التعزيزي الهرمي (HRL).

فكر في "التعلم التعزيزي الهرمي" كبنية إدارية للشركات. فبدلاً من أن يتخذ المدير التنفيذي (الروبوت) قرار كل خطوة بمفرده، فإنه يقوم بتعيين مديرين (ما يسمى بـ "الخيارات" أو الـ options).

المدير التنفيذي يختار مديراً (على سبيل المثال: "اذهب إلى المطبخ").
المدير يتولى بعد ذلك التفاصيل الدقيقة منخفضة المستوى (انعطف يساراً، تحرك للأمام، انعطف يميناً) حتى تكتمل المهمة أو يحتاج الأمر إلى مدير جديد.

يثير هذا العمل سؤالاً كبيًرا: ماذا لو استبدلنا بعض هؤلاء المديرين البشريين بـ "حواسيب كمومية"؟

الحواسيب الكمومية تشبه الآلات الحاسبة فائقة القوة التي يمكنها النظر في احتمالات عديدة في وقت واحد. أراد الباحثون معرفة ما إذا كان دمج هذه الآلات الحاسبة الكمومية مع عقل الروبوت سيؤدي إلى تعلم أسرع وتقليل متطلبات الذاكرة.

التجربة: الروبوت الهجين

قام الفريق ببناء روبوت "هجين". لقد أخذوا بنية الإدارة القياسية واستبدلوا أجزاءً محددة منها بـ الدوائر الكمومية المتغيرة (VQCs). فكر في "الدائرة الكمومية المتغيرة" كأداة خاصة مدعومة بالتقنية الكمومية يمكنها معالجة المعلومات بطريقة فريدة.

لقد اختبروا أربعة أجزاء محددة من عقل الروبوت لتحديد أي منها يمكن ترقيته إلى التكنولوجيا الكمومية:

الأعين (مستخرج الميزات): كيف يرى الروبوت العالم من حوله.
جدول قيم المدير (دالة قيمة الخيار): كيف يقرر الروبوت أي مدير هو الأنسب للمهمة.
زر "التوقف" (دالة الإنهاء): كيف يعرف الرباط متى تنتهي مهمة المدير.
يد العامل (سياسات داخل الخيار): الخطوات الفعلية التي ينفذها الروبوت أثناء اتباع تعليمات المدير.

النتائج: الجيد، والسيئ، والقبيح

1. الفوز الكبير: الأعين الكمومية

كانت النتيجة الأكثر مفاجأة ونجاحاً هي أن الروبوت يصبح نجماً ساطعاً بامتلاكه أعيناً كمومية.

التشبيه: تخيل شخصاً يحاول قراءة خريطة ضبابية مقارنة بماسح ضوئي عالي التقنية يوضح الصورة فوراً. لقد عمل مستخرج الميزات الكمومي مثل ذلك الماسح الضوئي.
النتيجة: تعلم الروبوت المهام (مثل موازنة عمود وتحريك ذراع روبوت) بشكل أفضل بكثير من الروبوت القياسي. والأفضل من ذلك: تطلب الأمر 66% أقل من معاملات الذاكرة لتحقيق ذلك. كان الأمر يشبه تركيب محرك "فيراري" في سيارة صغيرة.

2. الفشل الذريع: جداول القيم الكمومية

ومع ذلك، عندما حاولوا استبدال جدول قيم المدير (الجزء الذي يقرر اختيار المدير المناسب) بأداة كمومية، تعطل الروبوت تماماً.

التشبيه: الأمر يشبه توظيف مدير مرتبك للغاية لدرجة أنه لا يستطيع اتخاذ أي قرار؛ فهو ببساطة يرمي عملة معدنية لاختيار أي قرار في كل مرة.
النتيجة: توقف الروبوت عن التعلم تماماً. أصبح فعالاً بقدر ما يكون روبوت يهز أذرعه بشكل عشوائي. يطلق الباحثون على هذه الحالة اسم "عنق الزجاجة" (bottleneck). فالأداة الكمومية لم تستطع تحديد أي مدير هو الأفضل، مما تسبب في تجمد النظام بأكمله.

3. المزيج المختلط: أزرار التوقف والأيدي الكمومية

عندما اختبروا الأدوات الكمومية لـ "زر التوقف" أو "الأيدي"، كانت النتائج غير متسقة. فأحياناً كانت تساعد، وأحياناً أخرى لم تكن كذلك. اعتمد الأمر كلياً على اللعبة المحددة التي يلعبونها. لم تكن هناك قاعدة واضحة تقول إن "الأيدي الكمومية" هي دائماً الأفضل.

ماذا يعني هذا للمستقبل؟

يخلص هذا العمل إلى مجموعة بسيطة من القواعد لبناء هذه الروبوتات الهجينة:

افعل: استخدم الدوائر الكمومية لمساعدة الروبوت على رؤية وفهم بيئته. هذا يوفر التكاليف (المعاملات) ويعزز الأداء.
لا تفعل: لا تستخدم الدوارات الكمومية لتحديد أي استراتيجية عالية المستوى يجب اختيارها. في الوقت الحالي، الحواسيب التقليدية أفضل بكثير لهذا المهمة المحددة.
التصميم أمر بالغ الأهمية: الطريقة التي تُبنى بها الأداة الكمومية (مدى عمق الطبقات، وكيفية اتصال الأجزاء ببعضها) تحدث فرقاً هائلاً. لا يمكنك مجرد توصيل أي دائرة كمومية وتوقع نجاحها؛ بل يجب ضبطها بعناية.

الملخص

هذا العمل هو مخطط لبناء مزيج من الحوسبة الكمومية والتقليدية في الذكاء الاصطناعي. وهو يوضح لنا أنه بينما تتفوق الحواسيب الكمومية في معالجة البيانات الخام (مثل الإدراك البصري)، إلا أنها ليست جاهزة بعد لاستبدال منطق اتخاذ القرار الذي يختار الاستراتيجيات عالية المستوى. إذا كنت تريد بناء روبوت أكثر ذكاءً وكفاءة اليوم، فامنحه أعينًا كمومية، ولكن احتفظ بالعقل (أو العقل التقليدي) لاتخاذ القرارات الكبرى.

ملخص تقني: التعلم المعزز الهرمي الكمي عبر الدوائر الكمية التباينية

بيان المشكلة
يواجه التعلم المعزز (RL) تحديات كبيرة في المهام ذات الآفاق الزمنية الطويلة والبيئات ذات المكافآت الشحيحة. يعالج التعلم المعزز الهرمي (HRL)، وتحديداً بنية "الناقد-الخيار" (Option-Critic)، هذه المشكلات من خلال التجريد الزمني، مما يمكّن الوكلاء من تعلم تسلسلات من الإجراءات ("الخيارات") عبر مقاييس زمنية متعددة. وبينما تُظهر الدوائر الكمية التباينية (VQCs) واعداً في التعلم المعزز غير الهرمي نظراً لكفاءة المعلمات والأداء التنافسي، يظل السؤال مفتوحاً حول ما إذا كان يمكن نقل هذه المزايا الميكانيكية الكمية إلى اتخاذ القرار المهيكل متعدد المستويات المطلوب في الـ HRL. يبحث هذا العمل في جدوى وفعالية دمج الـ VQCs في إطار عمل هجين (كمي-كلاسيكي) لنموذج "الناقد-الخيار".

المنهجية
يقترح المؤلفون وكيلاً هجيناً يعتمد على بنية "الناقد-الخيار"، حيث يتم استبدال مكونات الشبكة العصبية الكلاسيكية بشكل انتقائي بالدوائر الكمية التباينية (VQCs). تتكون البنية من أربعة مكونات قابلة للتعلم بشكل أساسي:

مستخرج الميزات (Feature Extractor): يعالج ملاحظات البيئة الخام.
دالة قيمة الخيار ( $Q_\Omega$ ): تُقدر العائد المتوقع لتنفيذ خيار معين.
دالة الإنهاء ( $\beta_\omega$ ): تحدد متى ينتهي الخيار.
سياسات داخل الخيار ( $\pi_\omega$ ): تختار الإجراءات ضمن خيار نشط.

يحدد المؤلفون ثماني نسخ هجينة باستبدال هذه المكونات بشكل فردي أو مجتمع بالـ VQCs (على سبيل المثال، النسخة الهجينة F تستبدل فقط مستخرج الميزات؛ بينما النسخة الهجينة FOTP تستبدل جميع المكونات). تعتمد بنية الـ VQC هيكل "إعادة تحميل البيانات" (Data Re-uploading)، باستخدام بوابات ترميز $Rx$ مع معاملات قياس قابلة للتدريب ( $\lambda$ )، وبوابات $CNOT$ للتشابك، وكتل دوران $Ry$ / $Rz$ معلمة. يتم تطبيع المدخلات إلى $[-\pi, \pi]$ لتكون بمثابة زوايا دوران. تتبع خوارزمية التدريب نهج "الناقد-الخيار" بأسلوب DQN (الخوارزمية 1) باستخدام ذاكرة إعادة التشغيل (replay buffer)، ودوال الهدف، ودالة خسارة موحدة تجمع بين خسائر السياسة والإنهاء والناقد.

أُجريت التجارب في بيئتين من نظام Gymnasium تتميزان بحالات مستمرة وأفعال منفصلة: CartPole و Acrobot. تمت مقارنة النماذج الهجينة بالنماذج الكلاسيكية المرجعية (بأسلوب Deep Q-Network) وبالنموذج العشوائي المرجعي.

المساهمات الرئيسية

فعالية مستخرج الميزات الكمي: تثبت الدراسة أن الوكيل الهجين الذي يستخدم VQC حصرياً لمستخرج الميزات (Hybrid F) يتفوق على النماذج الكلاسيكية المرجعية مع تقليل عدد المعلمات القابلة للتدريب بشكل كبير.
تحديد عنق زجاجة حرج: حدد المؤلفون أن استبدال دالة قيمة الخيار بـ VQC (النسخة الهجينة O) يؤدي إلى تدهور شديد في الأداء، مما يؤدي فعلياً إلى فشل التعلم.
الاستئصال البنيوي (Architectural Ablation): يقدم المقال أدلة تجريبية حول كيفية تأثير قرارات تصميم الـ VQC المحددة — مثل عمق الدائرة، وتدرج المدخلات القابل للتعلم، والتشابك — على فعالية الوكلاء الهجينين الهرميين.

النتائج التجريبية

تحسينات الأداء: في بيئة CartPole، حقق نموذج Hybrid-F متوسط مكافأة لكل حلقة أعلى بمقدار 2.95 مرة من النموذج الكلاسيكي المرجعي. وفي Acrobot، قلل العقوبة بنسبة 46% مقارنة بالنموذج الكلاسيكي المرجعي.
كفاءة المعلمات: حقق نموذج Hybrid-F هذه النتائج مع تقليل عدد المعلمات القابلة للتدريب بنسبة 66% في CartPole و52% في Acrobot مقارنة بنموذج كلاسيكي يحتوي على 24 عصبوناً مخفياً. تطلب الأمر فقط نموذجاً كلاسيكياً بـ 32 عصبوناً مخفياً (سعة أكبر بكثير) لتجاوز أدائه.
عنق زجاجة قيمة الخيار: النماذج التي تم فيها استبدال دالة قيمة الخيار بـ VQC (النسخة الهجينة O وبالتالي النسخة الهجينة الكاملة FOTP) فشلت في التعلم وكان أداؤها لا يتعدى الوكيل العشوائي. كشف التحليل أن الناقد الكمي أنتج منحنيات خسارة مسطحة وإنتروبيا سياسة قريبة من الحد الأقصى النظري، مما يشير إلى الفشل في تقديم إشارات تعلم مفيدة. يشير المؤلفون إلى أن "الهضاب القاحلة" (barren plateaus) من غير المرجح أن تكون السبب نظراً لعمق الدائرة الضحل المستخدم.
نتائج الاستئصال (Ablation):
- العمق: لم يؤدِ زيادة عمق الدائرة إلى نقطة معينة إلى تحسين الأداء باستمرار، بينما أدى تقليل العمق إلى تدهور النتائج.
- التدرج (Scaling): كان تدريب معاملات تدرج المدخلات ( $\lambda$ ) أمراً حاسماً؛ حيث أدى تثبيتها عند 1 إلى إلحاق الضرر بالأداء بشكل كبير.
- التشابك: أدى إزالة بوابات $CNOT$ المتشابكة إلى تدهور الأداء في كلتا البيئتين، مما يؤكد فائدة التشابك متعدد الكيوبتات.

الأهمية والادعاءات
يضع المقال مبادئ تصميم للوكلاء الهجينين الهرميين ذوي الكفاءة في المعلمات. تكمن الأهمية الأساسية في تحديد الموضع المحدد للدوائر الكمية داخل التسلسل الهرمي للـ HRL: الدوائر الكمية مفيدة كمستخرجات للميزات، ولكنها ضارة عند استخدامها لتقدير قيمة الخيار في البنية الحالية. يزعم المؤلفون أن عملهم يقرب "الميزة الكمية العملية في التعلم المعزز من التحقق على الأجهزة الكمية المتاحة حالياً" من خلال إثبات أن المكونات الكمية يمكن أن تحسن ديناميكيات التعلم بمعلمات أقل، بشراناً وضعها في الموضع البنيوي الصحيح.

يظل المؤلفون متواضعين بشأن نطاق عملهم، معترفين بأن نتائجهم تقتصر على بيئات اختبار محددة وأن السبب الجذري لعنق زجاجة قيمة الخيار لا يزال سؤالاً مفتوحاً. كما يشيرون إلى أن المحاكاة الحالية لا تأخذ في الاعتبار ضوضاء الأجهزة، وهو أمر يستوجب البحث مستقبلاً.