A New Framework for Quantum Reinforcement Learning
تقدم هذه الورقة إطار عمل للتعلم التعزيزي الكمي الكامل حيث يتم نمذجة العميل والبيئة بواسطة قنوات كمية شرطية، مقترحةً خوارزمية تدرج سياسة قائمة على إزاحة المعلمات مع مُقدِّرات كتلية ذات عينات هندسية لتحقيق تحديثات تدرج غير متحيزة والتقارب إلى النقاط الثابتة دون الاعتماد على واجهات قياس كلاسيكية مقيدة.
في عالم الحوسبة الحديثة، غيّرت فكرة قوية تُسمى "التعلم التعزيزي" كيفية تعلم الآلات لاتخاذ القرارات. تخيل طالباً يتعلم لعب لعبة معقدة ليس عن طريق قراءة دليل تعليمات، بل من خلال تجربة حركات مختلفة، ورؤية ما يحدث، وتذكر أي الخيارات تؤدي إلى النقاط وأيها يؤدي إلى الفشل. بمرور الوقت، يتعلم الطالب استراتيجية ترفع درجته إلى أقصى حد. وقد أصبح هذا الأسلوب أداة قياسية لحل المشكلات الصعبة في مجالات الروبوتات، والطب، والألعاب، حيث تكون القواعد معقدة للغاية بحيث لا يمكن كتابتها بشكل صريح. والآن، يتساءل العلماء كيف تعمل عملية التعلم هذه عندما يكون "الطالب" و"اللعبة" كلاهما مكوناً من ميكانيكا الكم، وهي الفيزياء الغريبة التي تحكم سلوك الذرات والضوء. فالأنظمة الكمومية حساسة للغاية وتوجد في حالات متعددة في آن واحد، وهي خاصية تُعرف باسم "التراكب". وعندما ينظر مراقب بشري إلى مثل هذا النظام للتحقق من حالته، فإن فعل النظر يجبره على الانهيار إلى حالة واحدة محددة، مما يدمر "التراكب" الدقيق. وهذا يخلق عقبة رئيسية أمام طرق التعلم التقليدية: فإذا قام الكمبيوتر بالتحقق من النظام بعد كل خطوة لتحديد ما إذا كان قد حصل على مكافأة، فإنه يكسر الطبيعة الكمومية التي تجعل النظام مميزاً وقوياً.
اقترح باحثون في جامعة إنديانا طريقة جديدة لحل هذه المشكلة، من خلال إنشاء إطار عمل تتم فيه عملية التعلم بأكملها دون النظر إلى النظام أبداً حتى النهاية. في نهجهم الجديد، يتم التعامل مع العميل الذي يتخذ القرارات، والبيئة التي يتفاعل معها، والمكافأة التي يتلقاها، كأجسام كمومية. وبدلاً من التوقف بعد كل خطوة لقياس النتيجة وتحديث كمبيوتر كلاسيكي، يتفاعل العميل والبيئة بشكل مستمر، مما يحافظ على اتصالهما الكمومي. ويتم تخزين معلومات المكافأة في ذاكرة كمومية خاصة تتراكم بمرور الوقت، مما يسمح للنظام بالبقاء في حالة متشابكة ومعقدة طوال جلسة التعلم بأكملها. وفقط بعد اكتمال تسلسل التفاعلات بالكامل، يتم قياس النتيجة النهائية. يتجنب هذا الأسلوب العملية المكلفة والمدمرة لإعادة إعداد النظام الكمومي من الصفر مراراً وتكراراً، وهو أمر مطلوب في الطرق الهجينة القديمة التي تمزج بين الخطوات الكلاسيكية والكمومية.
ولجعل هذه الفكرة النظرية قابلة للتطبيق على أجهزة كمومية فعلية، صمم الفريق نوعاً معيناً من دوائر التعلم. لقد أنشأوا "سياسة"، وهي مجموعة القواعد التي يتبعها العميل، يمكنها أن تتعلم ليس فقط الإجراء الذي يجب اتخاذه، بل أيضاً أفضل طريقة للنظر إلى الموقف الحالي لاتخاذ ذلك الإجراء. وبتعبير أبسط، يتعلم النظام المنظور الأكثر فعالية لرؤية المشكلة. ثم طور الباحثون طريقة رياضية لحساب كيفية تحسين هذه السياسة. ولأن عملية التعلم يمكن أن تستمر نظرياً إلى الأبد، فإن حساب أفضل اتجاه لتحسين معاملات السياسة يعد أمراً صعباً. وقد حل الفريق هذه المعضلة عبر ابتكار تقنية أخذ عينات تختار لحظة واحدة في تسلسل التعلم بشكل عشوائي، وتغير السياسة قليلاً في تلك اللحظة، وتُقدر كيف سيؤثر هذا التغيير على النتيجة النهائية. ومن خلال تكرار هذه العملية مرات عديدة، يمكنهم بناء صورة دقيقة لكيفية تحسين استراتيجية العميل دون الحاجة إلى محاكاة التسلسل اللانهائي بأكمله في وقت واحد.
تثبت الدراسة أن هذه الطريقة تعمل رياضياً، حيث تُظهر أن عملية التعلم ستستقر في النهاية على استراتيجية مثالية ومستقرة. وقد أوضح الباحثون أن نهجهم غير منحاز نظرياً، مما يعني أنه لا يفضل الإجابات الخاطئة بشكل منهجي، وأنه يتقارب نحو حل في ظل الظروف القياسية. وبينما يعد هذا العمل حالياً برهاناً نظرياً ولم يُختبر بعد في مهام التحكم الكمومي في العالم الحقيقي، إلا أنه يوفر أساساً متيناً للتجارب المستقبلية. ويشير المؤلفون إلى أن التحديات العملية لا تزال قائمة، مثل الحاجة إلى دوائر كمومية عميقة وصعوبة الحفاظ على التماسك الكمومي على الأجهزة التي تعاني من الضجيج. ومع ذلك، يوفر هذا الإطار الجديد مساراً مبدئياً للمضي قدماً في التحكم في الأنظمة الكمومية، مثل ضبط عمليات الحواسيب الكمومية أو تصميم محاكاة كيميائية أفضل، وذلك من خلال السماح لعميل التعلم بالعمل بالكامل داخل العالم الكمومي، مما يحافظ على المعلومات الدقيقة التي تجعل الحوسبة الكمومية قوية للغاية.
ملخص تقني: إطار عمل جديد للتعلم التعزيزي الكمي
بيان المشكلة تعتمد النهج الحالية للتعلم التعزيزي الكمي (QRL) بشكل أساسي على واجهات هجينة بين الكلاسيكية والكمية. في هذه الصيغ، يتفاعل وكيل كلاسيكي مع بيئة كمية من خلال قياس النظام بشكل متكرر لاستخراج الحالات والمكافآت، ثم تحديث معاملات السياسة الكلاسيكية. تفرض هذه الواجهة قيودًا كبيرة على البيئات الكمية الحقيقية:
انهيار الحالة: تؤدي القياسات البينية إلى انهيار الحالة الكمية، مما يدمر التشابك والتماسك الضروريين للمزايا الكمية.
الأعباء الإضافية للموارد: يلزم إجراء تحضير متكرر للحالة بعد كل خطوة قياس، مما يترتب عليه تكاليف عالية.
فقدان المعلومات: قد يؤدي اختيار أساس القياس إلى التخلص من معلومات التشابك ذات الصلة بالمهمة.
الهضاب القاحلة (Barren Plateaus): غالبًا ما تعاني السياسات الكمية التباينية التي يتم تدريبها عبر التحسين الكلاسيكي من الهضاب القاحلة، حيث تتلاشى التدرجات بشكل أسي.
علاوة على ذلك، فإن الصيغ الكمية الكاملة الموجودة غالبًا ما تعتمد على نماذج أوراكل (oracular models) مناسبة للتسريع الكلاسيكي، لكنها تفشل في نمذجة مسارات (الحالة-الإجراء-المكافأة) المتماسكة حيث تكمن المعلومات في أسس غير معروفة. هناك حاجة لإطار عمل يكون فيه الوكيل، والبيئة، والمكافآت، وتراكم العائدات، كلها كمية، مما يحافظ على التماسك طوال فترة التفاعل.
المنهجية يقترح البحث إطار عمل للتعلم التعزيزي الكمي الكامل حيث يتم الوساطة في التفاعل عبر القنوات الكمية الشرطية (CQCs).
القنوات الكمية الشرطية (CQCs): على عكس الوحدات الموحدة القياسية المتحكم بها، تسمح الـ CQCs لسجل التحكم (الحالة) بتحديد أي قناة كمية عامة (خريطة موجبة تمامًا ومحافظة على الأثر - CPTP) يتم تطبيقها على سجل الهدف (الإجراء أو البيئة). والأهم من ذلك، أن سجل التحكم لا يتم قياسه ولا الكتابة فوقه، مما يحافظ على التراكبات والتشابك.
بنية إطار العمل: يستخدم النظام أربعة سجلات متميزة:
سجل الحالة (S): يحمل حالة البيئة.
سجل الإجراء (A): يحمل إجراء الوكيل.
سجل المكافأة اللحظية (R): مساحة عمل للمكافآت الفورية.
السجل المساعد (C): يراكم معلومات المكافأة بمرور الوقت. تتم عملية التفاعل في خطوات حيث يطبق الوكيل سياسة CQC (Πθ) مشروطة بـ S لتحديث A، يتبعها CQC للبيئة (E) مشروطة بـ A لتحديث S و R. تقوم خريطة تراكم المكافأة (G) بنقل المعلومات من R إلى C. يتم تأجيل القياسات حتى التقييم النهائي للهدف.
فئة السياسة (CPQCs): لجعل إطار العمل قابلًا للتشغيل على الأجهزة القائمة على البوابات، يقوم المؤلفون بتجسيد السياسة باستخدام الدوائر الكمية المعلمة الشرطية (CPQCs). تتكون الـ CPQC من وحدة موحدة قابلة للتدريب لتغيير الأساس (Uc(θ1)) تُطبق على سجل التحكم، تليها وحدة موحدة متحكم بها قياسيًا (Ut(θ2)) على سجل الهدف. يسمح هذا للسياسة بتعلم ليس فقط تحويل الإجراء، بل أيضًا الأساس الأمثل الذي يجب أن تشترط به الحالة الإجراء.
تقدير التدرج:
قاعدة إزاحة المعامل المشتركة: نظرًا لأن معاملات السياسة مشتركة عبر جميع الخطوات الزمنية لمسار معين، فإن التدرج يتضمن مساهمات من مواقع متعددة. استنتج المؤلفون قاعدة إزاحة معامل جديدة تأخذ في الاعتبار هذه المعاملات المشتركة.
مقدر الأفق اللانهائي: بالنسبة للمهام ذات الأفق اللانهائي، لا يمكن تمثيل المسار كدائرة محدودة. يقترح المؤلفون مقدر تدرج الكتلة المأخوذة بالعينة (sampled-block gradient estimator). يتم أخذ عينة لخطوة زمنية τ من توزيع هندسي Pr(τ=t)=(1−γ)γt يطابق أوزان الخصم. يقوم الخوارزمي بإزاحة معاملات السياسة فقط عند الكتلة المأخوذة بالعينة τ ويقدر عائد اللاحقة (suffix return). ينتج عن ذلك مقدر تدرج غير متحيز دون الحاجة لإزاحة كل ظهور للمعامل.
مقدر الأفق المحدود: تُستخدم طريقة مماثلة للأفاق المحدودة، باستخدام توزيع هندسي مقصوص.
المساهمات الرئيسية
نموذج تفاعل كمي كامل: إطار عمل جديد للتعلم التعزيزي الكمي (QRL) حيث يتم نمذجة الوكلاء، والبيئات، والمكافآت بالكامل عبر قنوات كمية (CQCs)، مما يلغي القياسات البينية ويحافظ على تماسك المسار.
سياسة الأساس القابل للتدريب (CPQC): تقديم الـ CPQCs، التي تتعلم كلاً من تحويل توليد الإجراء وأساس الشرط، مما يوفر قدرة تعبيرية أكبر من نماذج الأوراكل ذات الأساس الثابت.
مقدرات تدرج الكتلة المأخوذة بالعينة: اشتقاق مقدرات تدرج غير متحيزة لكل من الآفاق المحدودة واللانهائية باستخدام قاعدة إزاحة معامل جديدة. يحل مقدر الأفق اللانهائي تحدي الدوائر غير المحدودة عن طريق أخذ عينة من كتلة سياسة واحدة للإزاحة.
تحليل التقارب: إثبات أن إجراء صعود التدرج العشوائي الناتج يتقارب نحو النقاط الثابتة بموجب افتراضات السلاسة وخطوة الحجم القياسية (شروط روبينز-مونرو)، حتى في المشهد غير المحدب لـ CPQCs.
النتائج والضمانات النظرية يقدم البحث نتائج نظرية صارمة بدلاً من الاختبارات التجريبية:
عدم التحيز: تثبت النظرية 1 أن مقدر الكتلة المأخوذة بالعينة المقترح يعطي تقديرًا غير متحيز لتدرج السياسة للعائد المخصوم في الأفق اللانهائي، بشرى أن تكون مراقبات المكافأة محدودة ومقدر قيمة اللاحقة (suffix-value) غير متحيز.
التقارب: تثبت النظرية 2 أن مسار التحسين يتقارب بشكل شبه مؤكد إلى النقاط الثابتة (حيث يقترب معيار التدرج من الصفر)، بافتراض أن ضوضاء المقدر تصبح دقيقة تقاربيًا (على سبيل المثال، عبر زيادة عدد الطلبات/shots أو آفاق اللاحقة).
القابلية للاشتقاق: تؤكد اللمة 1 وجود وقابلية اشتقاق دالة الهدف للأفق اللانهائي تحت شروط المكافآت المحدودة والخصم.
الأهمية والادعاءات يضع المؤلفون هذا العمل كخطوة تأسيسية نحو تعلم تعزيزي "كمي حقيقي". تكم-ن الأهمية في:
التغلب على قيود النماذج الهجينة: من خلال تأجيل القياس، يتجنب إطار العمل انهيار الحالة وتكاليف إعادة التحضير المتأصلة في الـ QRL الهجين، مما يمكّن من استغلال التماسك الكمي عبر مسارات طويلة.
التعميم: يدعم إطار العمل التفاعلات العامة ذات الآفاق المحدودة واللانهائية بما يتجاوز إعدادات الأوراكل البحتة، وهو قابل للتطبيق في مجالات مثل التحكم في التغذية الراجعة المتماسكة، والكيمياء الكمية، ومحاكاة الأجسام المتعددة.
النمذجة المبدئية: يوفر طريقة مبدئية لنمذجة التحكم التكيفي (مثل اختيار معاملات QAOA) مباشرة داخل حلقة تفاعل كمية كاملة، متميزًا عن النهج السابقة التي تركز على الأوراكل أو التخطيط.
يقر البحث صراحةً بالقيود: فهو بحث نظري ولم يقم بعد بتقييم المقدر على معايير التحكم الكمي. كما يشير إلى أن الصيغة الخالية من القياس تنقل العبء إلى عمق الدائرة المتماسكة والذاكرة المساعدة، مما قد يشكل تحديًا على الأجهزة الحالية ذات الضجيج. بالإضافة إلى ذلك، يظل تحليل الهضاب القاحلة لفئة سياسة CPQC المحددة اتجاهًا مفتوحًا للبحث.