⚛️ quantum physics

Scalable Quantum Reinforcement Learning on NISQ Devices with Dynamic-Circuit Qubit Reuse and Grover Optimization

تقدم هذه الورقة إطار عمل للتعلم التعزيزي الكمي قابل للتوسع وفعال في استهلاك الموارد، يستخدم إعادة استخدام الكيوبتات عبر الدوائر الديناميكية وتضخيم السعة القائم على خوارزمية غروفر لتقليل تعقيد الكيوبتات لعمليات ماركوف لاتخاذ القرار الكمية متعددة الخطوات من التعقيد الخطي إلى التعقيد الثابت مع الحفاظ على دقة المسار على أجهزة الحوسبة الكمية ذات القدرة المحدودة (NISQ).

المؤلفون الأصليون: Thet Htar Su, Shaswot Shresthamali, Masaaki Kondo

نُشر 2026-04-23

📖 4 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Thet Htar Su, Shaswot Shresthamali, Masaaki Kondo

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح للورقة البحثية باستخدام لغة بسيطة وتشبيهات إبداعية.

المشكلة الكبرى: معضلة "الغرف الكثيرة جدًا"

تخيل أنك تحاول تعليم روبوت كيفية التنقل في متاهة. في عالم التعلم التعزيزي الكمي (QRL)، لا يكتفي الروبوت بالمشي عبر المتاهة فحسب؛ بل يستكشف كل المسارات الممكنة في نفس الوقت باستخدام القوى الغريبة لميكانيكا الكم (مثل التراكب الكمي).

ومع ذلك، كانت هناك عقبة رئيسية. في الطرق السابقة، إذا أردت من الروبوت أن يخطط لـ 10 خطوات للأمام، فستحتاج إلى 10 مجموعات منفصلة من "الغرف" الكمية (الكيوبتات) لتخزين موقع الروبوت في كل خطوة. وإذا أردت التخطيط لـ 1,000 خطوة، فستحتاج إلى 1,000 مجموعة من الغرف.

التشبيه: فكر في هذا الأمر كأنه موقع تصوير فيلم. في الطريقة القديمة، لتصوير مشهد يسير فيه شخص عبر ممر لمدة 10 ثوانٍ، كان عليك بناء 10 ممرات متطابقة ومنفصلة في موقع التصوير، واحد لكل ثانية. إذا كان الفيلم طويلاً، فستنفد مساحة الاستوديو فوراً. يُسمى هذا النمو الخطي (Linear Scaling). وبما أن أجهزة الكمبيوتر الكمية الحالية (المعروفة بأجهزة NISQ) صغيرة ومليئة بالضجيج، فهي ببساطة لا تملك مساحة "استوديو" (كيوبتات) كافية لتصوير أفلام طويلة.

الحل: خدعة "الغرفة المعاد تدويرها"

قدم مؤلفو هذه الورقة طريقة جديدة وذكية لتصوير الفيلم. بدلاً من بناء 10 ممرات منفصلة، قاموا ببناء ممر واحد واستخدموا "زر إعادة ضبط سحري".

الإجراء: يتخذ الروبوت خطوة.
اللقطة: يأخذ الكمبيوتر صورة لمكان وجود الروبوت (القياس).
إعادة الضبط: يتم نقل الروبوت فوراً عبر الانتقال الآني إلى خط البداية في ذلك الممر المحدد، ولكن يتم حفظ ذاكرة المكان الذي انتهى إليه في دفتر ملاحظات (ذاكرة كلاسيكية).
إعادة الاستخدام: أصبح الممر نفسه الآن جاهزاً للخطوة التالية.

التشبيه: تخيل أنك تلعب لعبة لوحية. بدلاً من شراء لوحة جديدة لكل دور تقوم به، أنت تلعب على لوحة واحدة. بعد تحريك قطعتك، تكتب موقعك الجديد في بطاقة تسجيل، ثم تعيد قطعتك إلى مربع البداية لتتمكن من القيام بحركتك التالية. أنت تحتاج فقط إلى لوحة واحدة بغض النظر عن طول اللعبة.

يُسمى هذا إعادة استخدام الكيوبتات في الدوائر الديناميكية (Dynamic Circuit Qubit Reuse). إنه يغير الحسابات من الحاجة إلى $N$ من الغرف لـ $N$ من الخطوات إلى الحاجة إلى غرفة واحدة فقط لـ $N$ من الخطوات.

السلاح السري: بحث "غروفر" الفائق

بمجرد أن يلعب الروبوت عبر اللعبة ويولد العديد من المسارات الممكنة (المسارات)، يحتاج الكمبيوتر إلى إيجاد أفضل مسار (المسار الذي يحتوي على أكبر عدد من النقاط/المكافآت).

في الكمبيوتر الكلاسيكي، سيتعين عليك فحص كل مسار على حدة، مثل البحث عن إبرة في كومة قش.

استخدم المؤلفون خوارزمية غروفر (Grover's Algorithm)، والتي تشبه جهاز كشف المعادن السحري.

البحث الكلاسيكي: تمشي عبر كومة القش، وتفحص كل قطعة من القش.
بحث غروفر: تلوح بعصا سحرية، فتبدأ الإبرة فوراً بالتوهج والاهتزاز، وتخرج من القش بنفسها.

في هذه الورقة، دمجوا خدعة "الغرفة المعاد تدويرها" مع هذا "العصا السحرية". لقد تركوا الكمبيوتر الكمي يولد جميع المسارات باستخدام الكيوبتات المعاد تدويرها، ثم استخدموا خوارزمية غروفر لزيادة احتمالية المسار الأفضل فوراً، مما يجعل العثور عليه أكثر احتمالاً عند النظر إليه أخيراً.

ماذا فعلوا بالفعل؟

بناء الإطار العملي: أنشأوا نظاماً يتفاعل فيه وكيل كمي مع بيئة كمية، ولكن بدلاً من استخدام كيوبتات جديدة لكل ثانية من الوقت، يقومون بقياس، وإعادة ضبط، وإعادة استخدام نفس الـ 7 كيوبتات مراراً وتكراراً.
إثبات نجاح الطريقة: قاموا بمحاكاة ذلك على جهاز كمبيوتر وأظهروا أن هذه الطريقة تعطي نفس النتائج تماماً مثل الطريقة القدة المستهلكة للمساحة، ولكن باستخدام عدد أقل من الكيوبتات بنسبة 66%.
الاختبار على أجهزة حقيقية: قاموا بتشغيل هذا على كمبيوتر كمي حقيقي مليء بالضجيج (معالج IBM Heron). وعلى الرغم من أن الكمبيوتر كان "صاخباً" (عرضة للأخطاء)، إلا أن النظام نجح في إيجال المسار الأمثل، مما يثبت أن هذه الطريقة تعمل على الأجهزة الواقعية اليوم.

لماذا يهم هذا الأمر؟

قبل هذه الورقة، كان التعلم التعزيزي الكمي بالكامل عالقاً في "مرحلة الألعاب البسيطة". كان بإمكانك فقط حل المشكلات البسيطة والقصيرة جداً لأنك تنفد من الكيوبتات بسرعة كبيرة.

هذه الورقة تكسر هذا الحاجز. فهي تظهر أنه يمكننا الآن تعليم الوكلاء الكميينين التخطيط لـ مستقبلات أطول وأكثر تعقيداً دون الحاجة إلى كمبيوتر كمي بحجم مدينة. إنها تحول "المستحيل" إلى "ممكن" على أجهزة الكمبيوتر الكمية الصغيرة وغير المثالية التي نمتلكها الآن.

باختصار: لقد عرفوا كيف يجعلون الكمبيوتر الكمي يلعب مباراة شطرنج طويلة عن طريق إعادة استخدام نفس المربعات السبعة على اللوحة بدلاً من الحاجة إلى لوحة جديدة لكل حركة، ثم استخدموا تعويذة بحث سحرية للعثور فوراً على استراتيجية الفوز.

إليك ملخص تقني مفصل للورقة البحثية بعنوان: "التعلم المعزز الكمي القابل للتوسع على أجهزة NISQ باستخدام إعادة استخدام الكيوبت عبر الدوائر الديناميكية وتحسين غروفر."

١. بيان المشكلة

تتناول الورقة البحثية عقبة حرجة في قابلية التوسع في التعلم المعزز الكمي الكامل (QRL). فبينما أثبتت الأطر السابقة للتعلم الكمي الكامل (تحديداً إطار العمل الخاص بـ Su et al., 2025) جدوى عمليات ماركوف لاتخاذ القرار الكمي (QMDPs)، إلا أنها عانت من توسع خطي في عدد الكيوبتات.

العقبة: في بنيات QMDP غير الممددة (unrolled) والثابتة، يتطلب نمذجة أفق تفاعل لـ $T$ من الخطوات تخصيص سجلات كمية مستقلة لكل خطوة زمنية. فإذا كان التفاعل الواحد يتطلب $k$ من الكيوبتات (مثل 7 كيوبتات لبيئة مكونة من 4 حالات و2 فعل)، فإن أفقاً قدره $T$ من الخطوات يتطلب $k \times T$ من الكيوبتات.
النتيجة: هذا النمو الخطي ( $O(T)$ ) يجعل التعلم المعزز الكمي متعدد الخطوات غير ممكن على أجهزة الكم متوسطة الحجم ذات الضجيج (NISQ) الحالية، والتي تتميز بعدد محدود من الكيوبتات وقدرة محدودة على الاتصال. فعلى سبيل المثال، يتطلب تفاعل من 3 خطوات 21 كيوبت، مما يستنزف الموارد بسرعة على الأجهزة القريبة من الواقع.

٢. المنهجية

يقترح المؤلفون إطار عمل للتعلم المعزز الكمي ذو الدائرة الديناميكية يعمل على فصل أفق التفاعل عن عدد الكيوبتات الفيزيائية. تدمج المنهجية ثلاثة مكونات أساسية:

أ. تنفيذ الدائرة الديناميكية وإعادة استخدام الكيوبت

بدلاً من تمديد الدائرة بشكل استاتيكي، يستخدم إطار العمل القياس والضبط في منتصف الدائرة (mid-circuit measurement and reset) لإعادة تدوير مجموعة ثابتة من الكيوبتات الفيزيائية عبر الخطوات الزمنية المتتالية.

سير العمل:
1. التفاعل: يتفاعل الوكيل والبيئة بشكل متماسك ضمن خطوة زمنية واحدة باستخدام سجل ثابت (الحالة، الفعل، الحالة التالية، المكافأة).
2. القياس: يتم قياس سجلات الحالة، والفعل، والمكافأة لتقليص المسار (trajectory) لتلك الخطوة المحددة.
3. الضبط والانتشار: يتم ضبط الكيوبتات المقاسة لتعود إلى الحالة $|0\rangle$ . ومن الأهمية بمكان أن نتيجة "الحالة التالية" (Next-State) تُخزن كلاسيكياً ثم تُنشر بشكل متماسك عائدةً إلى سجل "الحالة" (عبر بوابات CNOT) لتكون هي المدخل للخطوة الزمنية التالية.
4. إعادة الاستخدام: يتم إعادة تهيئة نفس الكيوبتات الفيزيائية (على سبيل المثال، إعادة وضع كيوبتات الفعل في حالة التراكب الفائق) للخطوة التالية.
النتيجة: يصبح متطلب الكيوبتات الفيزيائية ثابتاً ( $O(1)$ )، بغض النظر عن طول الأفق $T$ .

ب. تراكم المسار الكمي

بينما يتم قياس سجلات التفاعل وضبطها، يظل سجل العائد (Return Register) ($qReturn $) دون قياس طوال عملية الـ$ T$ خطوة.

بعد كل خطوة، يتم إضافة العائد $r_t$ بشكل متماسك إلى سجل العائد باستخدام الحساب الكمي (الجمع المتحكم به)، مما يراكم إجمالي العائد المخصوم $G = \sum \gamma^t r_t$ .
يسمح هذا للنظام بالحفاظ على تمثيل كمي لإجمالي عائد المسار دون الحاجة لتخزين تاريخ الحالات بالكامل في الكيوبتات.

ج. تحسين السياسة القائم على خوارزمية غروفر

بمجرد اكتمال توليد المسار، يستخدم إطار العمل خوارزمية غروفر للبحث عن السياسة.

بناء الأوراكل (Oracle): يقوم الأوراكل بتمييز حالات الأساس في سجل العائد حيث يساوي العائد المتراكم القيمة المثلى ( $g^*$ ).
تضخيم السعة (Amplitude Amplification): تعمل تكرارات غروفر على تضخيم سعات الاحتمال لهذه المسارات المثلى.
النتيجة: يؤدي القياس النهائي إلى استخراج تسلسل (الحالة-الفعل) الأمثل (السياسة) باحتمالية عالية، مما يوفر تسريعاً تربيعياً مقارنة بالبحث الكلاسيكي الشامل.

٣. المساهمات الرئيسية

إعادة صياغة توسع الموارد: تثبت الورقة أن التوسع الخطي في الكيوبتات في نماذج QMDP هو نتاج بناء الدوائر الاستاتيكية، وليس خاصية متأصلة في نماذج MDP الكمية. لقد نقلت التعقيد من $O(T)$ إلى $O(1)$ فيما يتعلق بالكيوبتات الفيزيائية.
إعادة استخدام الكيوبت مع الحفاظ على الصحة: يثبت المؤلفون أن التنفيذ الدينامي مع القياس والضبط في منتصف الدائرة يعيد إنتاج توزيع المسار الدقيق وبنية السياسة المثلى للصيغة الممددة الاستاتيكية. إنه ليس تقريباً استدلالياً بل هو تحويل متكافئ رياضياً.
بنية موحدة أصلية للكم: يدمج إطار العمل بين توليد المسار، وتقييم العائد، وتحسين السياسة (عبر بحث غروفر) في خط معالجة واحد أصيل للكم، مما يلغي الحاجة إلى المعالجة الكلاسيكية البينية أو تحويل البيانات الوسيط.
التوافق مع أجهزة NISQ: تم تصميم البنية خصيصاً لقيود الأجهزة الحالية، باستخدام الدوائر الديناميكية لتعظيم الفائدة على الأجهزة ذات الموارد المحدودة.

٤. النتائج

تم التحقق من صحة إطار العمل من خلال كل من المحاكاة المثالية والتنفيذ على أجهزة كمية حقيقية.

المحاكاة (IBM Qiskit Aer):
- الدقة (Fidelity): أنتج تنفيذ الدائرة الديناميكية إحصائيات مسار مطابقة للنموذج الاستاتيكي المرجعي (Ref. [7]).
- الكفاءة: حقق انخفاضاً بنسبة 66% في استخدام الكيوبتات لأفق مكون من 3 خطوات (7 كيوبتات مقابل 21 كيوبت).
- استعادة السياسة: نجح في تحديد السياسة المثلى (الفعل $a_0$ للحالة $s_0$ ، والفعل $a_1$ للحالتين $s_2, s_3$ ) بما يطابق النموذج الاستاتيكي المرجعي.
التنفيذ على الأجهزة (IBM Heron-class, ibm_toronto):
- الجدوى: تم تنفيذ نموذج QMDP الدينامي المكون من 3 خطوات بنجاح على معالج يحتوي على 133 كيوبت.
- التعامل مع الضجيج: طبق المؤلفون تأخيراً قدره 2000 نانو ثانية بين القياس والضبط لتثبيت الكيوبتات، مما قلل من أخطاء التوقيت.
- بحث غروفر: على الرغم من ضجيج الأجهزة، نجحت الخوارزمية في أخذ عينات من المسارات المثلى (T-151 و T-143) التي سجلت أعلى العوائد، مما أكد أن تضخيم غروفر يعمل ضمن بيئة الدوائر الديناميكية.
- المقارنة: بينما كان من المستحيل تشغيل الصيغة الاستاتيكية على هذا الحجم المحدد من المشكلة بسبب قيود الكيوبتات، فقد أظهر النهج الدينامي جدوى عملية.

٥. الأهمية

يمثل هذا العمل خطوة محورية نحو تعلم معزز كمي كامل وقابل للتوسع على الأجهزة المتاحة حالياً.

تجاوز حاجز NISQ: من خلال كسر الاعتماد الخطي بين أفق التخطيط وعدد الكيوبتات، فإنه يتيح تنفيذ عمليات اتخاذ قرار متعددة الخطوات على أجهزة لم تكن قادرة سابقاً إلا على التعامل مع تفاعلات الخطوة الواحدة.
تحول في النماذج المعمارية: يثبت أن الدوائر الديناميكية ليست مجرد أداة لتصحيح الأخطاء، بل هي ضرورية لتصميم خوارزميات فعالة في استهلاك الموارد في مجال الـ QRL.
مسار مستقبلي: يوفر إطار العمل مخططاً لتوسيع نطاق QRL ليشمل بيئات أكبر وأكثر تعقيداً (آفاق أطول، مساحات حالات أكبر) مع تحسن الأجهزة الكمية، دون الحاجة إلى نمو أسي في الموارد الفيزيائية.

باختصار، نجحت الورقة في تحويل الـ QRL من مفهوم نظري مكلف من حيث الموارد إلى بنية قابلة للتنفيذ عملياً على أجهزة NISQ، مع الحفاظ على الصحة الخوارزمية الكاملة مع تقليل متطلبات الأجهزة بشكل جذري.