ملخص تقني: التعلم التعزيزي المتكافئ لتخليق الدوائر الكمومية لـ "كليفورد" (Clifford)

بيان المشكلة

تتناول الورقة البحثية مشكلة تخليق دوائر كليفورد للأجهزة الكمومية ذات الاتصال الشامل بين الكيوبتات (all-to-all connectivity). وبينما يعد تخليق الدوائر الكمومية العامة مسألة مستعصية حسابياً، فإن دوائر كليفورد (التي تولدها بوابات هادامارد Hadamard، والطور Phase، والتحكم في Z - CZ) تسمح بتمثيل مدمج عبر جداول التثبيت (stabilizer tableaus)، وهي مصفوفات سينبتية ثنائية بأبعاد $2n \times 2n$.

المهمة الجوهرية هي تفكيك عملية "كليفورد" مستهدفة (ممثلة بمصفوفة سينبتية $M_{target}$) إلى سلسلة من المولدات الأولية ($H_i, S_i, CZ_{i,j}$) بحيث يتم تقليل إجمالي عدد بوابات التشابك ثنائية الكيوبت (وتحديداً بوابات $CZ$) إلى أدنى حد. هذا الأمر بالغ الأهمية لأن البوابات ثنائية الكيوبت تكون أكثر عرضة للخطأ وتكلفةً بكثير من البوابات أحادية الكيوبت في الأجهزة الفيزيائية.

تواجه الطرق الحالية مقايضة:

1. الخوارزميات ذات الوقت متعدد الحدود (مثل خوارزمية Aaronson-Gottesman) سريعة ولكنها غالباً ما تنتج دوائر تحتوي على عدد أكبر بكثير من بوابات التشابك مما هو ضروري.
2. التخليق الدقيق والبحث المكثف للتحسين (مثل الطرق القائمة على النماذج أو SAT) تنتج دوائر قريبة من المثالية، لكنها تعاني من تكاليف حوسبة أسية، مما يحد من قابليتها للتطبيق على أعداد صغيرة من الكيوبتات (عادة $\le 6$ كيوبتات).

المنهجية

يقترح المؤلفون نهج تعلم تعزيزي (RL) لتعلم استدلال عصبي قابل لإعادة الاستخدام لسد الفجوة بين السرعة وجودة الحل.

1. صياغة الاختزال العكسي (Reverse-Reduction)

بدلاً من البحث عن سلسلة $G_1 \dots G_k$ بحيث $M_{target} = G_1 \dots G_k$، تمت إعادة صياغة المشكلة كمسألة "اختزال عكسي". بما أن مولدات كليفورد هي عمليات عكسية ($G^{-1} = G$)، يبحث الوكيل عن سلسلة بحيث:
$$M_{target} G_1 \dots G_k = I_{2n}$$
بمجرد الوصول إلى مصفوفة الوحدة (Identity matrix)، يكون الحل هو السلسلة المعكوسة من البوابات. تسمح هذه الصياغة بوجود حالة هدف ثابتة ($I_{2n}$) عبر جميع الحلقات (episodes).

2. التعلم المنهجي (Curriculum Learning)

لمعالجة ندرة المكافآت في مساحات الحالة الكبيرة، استخدم المؤلفون منهجاً تعليمياً يعتمد على المسارات العشوائية من مصفوفة الوحدة.

• تبدأ الحلقات بمسارات عشوائية قصيرة (أهداف سهلة) وتزدادة تدريجياً في طول المسار (الصعوبة) مع تحسن معدل نجاح الوكيل.
• يسمح هذا للوكيل بتعلم بنية المجموعة السينبتية قبل التعامل مع دوائر أكثر تعقيداً وعمقاً.

3. بنية الشبكة العصبية المتكافئة (Equivariant Neural Network)

المساهمة المركزية هي بنية شبكة عصبية مبتكرة مصممة لتكون متكافئة مع إعادة تسمية الكيوبتات وغير مرتبطة بالحجم (size-agnostic).

• التماثل: المشكلة ثابتة تحت عمليات تبديل الكيوبتات. إعادة تسمية الكيوبتات في الجدول المدخل يجب أن تؤدي لمقابلة ذلك في تسلسل الإجراءات الأمثل.
• البنية: تعامل الشبكة العصبية الجدول كـ "رسم بياني" (graph) للكيوبتات.
  • التضمين (Embedding): يتم إعادة تشكيل الجدول $2n \times 2n$ إلى شبكة $n \times n$ من ميزات الحواف التي تمثل التفاعلات بين أزواج الكيوبتات.
  • تمرير الرسائل (Message Passing): تقوم شبكة عصبية رسومية (GNN) بعملية تمرير الرسائل بين رموز الكيوبتات، وتحديث تمثيلاتها بناءً على ميزات الحواف وعدد الميزات المحلية القائمة على الرتبة.
  • القراءة (Readout): تخرج الشبكة "لوجيتات" الإجراء (action logits) للبوابات أحادية الكيوبت ($H, S$) والبوابات ثنائية الكيوبت ($CZ_{i,j}$) بطريقة متكافئة، مما يضمن أن تبديل الكيوبتات المدخلة يؤدي لتبديل احتمالات الإجراء المخرجة بالتوافق.
• عدم الارتباط بالحجم: يتم تطبيق نفس الأوزेات المتعلمة بغض النظر عن عدد الكيوبتات $n$. وهذا يتيح النقل الصفري (zero-shot transfer) إلى أعداد كيوبتات أكبر مما تمت رؤيته أثناء التدريب.

4. دالة المكافأة

تم تصميم دالة المكافأة لتقليل البوابات ثنائية الكيوبت مع تشجيع التقدم نحو مصفوفة الوحدة:

• العقوبات: عقوبة صغيرة للبوابات أحادية الكيوبت، وعقوبة أكبر للبوابات ثنائية الكيوبت ($CZ$).
• مكافأة النجاح: مكافأة كبيرة للوصول إلى مصفوفة الوحدة.
• تشكيل التقدم (Progress Shaping): مكافأة كثيفة تعتمد على مسافة هامينج (Hamming distance) إلى مصفوفة الوحدة لتوجيه الوكيل خلال الحلقة.

النتائج الرئيسية

1. اختبار الستة كيوبتات (النطاق الأمثل)

قيم المؤلفون سياستهم على 1,003 دائرة كليفور لستة كيوبتات مثالية من قاعدة بيانات Bravyi et al. (أكبر نطاق معروف للمراجع الدقيقة).

• الأداء: وجد الوكيل دوائر ضمن بوابة واحدة ثنائية الكيوبت من المثالية لجميع الـ 1,003 حالة.
• المثالية: حققت 99.2% (995/1,003) من الحالات المثالية باستخدام البحث الموجه بالسياسة الموسع.
• الكفاءة: حققت هذه النتائج في 21 ثانية للمجموعة الكاملة، وهو ما يتفوق بشكل كبير على الحالة السابقة للأعمال (Bravyi et al.)، والتي تطلبت 217 ساعة لاستعادة 98.2% من المثالية وفشلت في إيجاد المثالية المتبقية حتى بعد 576 ساعة إضافية.

2. التعميم على مقايث أكبر

تم تدريب النموذج على حالات ستة وعشرة كيوبتات، ثم اختباره على أهداف غير مرئية تصل إلى 30 كيوبت.

• القابلية للتوسع: نجحت السياسة غير المرتبطة بالحجم في تخليق دوائر لأنظمة مكونة من 30 كيوبت دون إعادة تدريب أو إعادة بارامترية للشبكة.
• المقارنة: في أهداف الـ 30 كيوبت التي تحتوي على 1,024 بوابة أولية، استخدم المخليق المتعلم متوسط 323.3 بوابة $CZ$. وهذا يقل بمقدار 124.2 عن المخلي الجشع (greedy synthesizer) الخاص بـ Qiskit (Bravyi et al.) وبمقدار 460.1 عن خوارزمية Aaronson-Gottesman.
• المقايضة بين الموثوقية والجودة: النموذج المدرب فقط على 6 كيوبتات كان موثوقاً للغاية (حل جميع الأهداف) ولكنه أنتج دوائر أطول في الأهداف العميقة. أما النموذج الذي تم ضبطه بدقة (fine-tuned) على 10 كيوبتات فقد أنتج دوائر أقصر ولكنه أظهر موثوقية أقل في الأهداف العشوائية الكاملة الكبيرة جداً (انخفض معدل الحل إلى 59% عند 30 كيوبت).

3. دراسة الاستئصال للبنية (Ablation Study)

أكدت دراسات الاستئصال أن آلية تمرير الرسائل وتكافؤ الكيوبتات أمران حاسمان. النماذج التي تفتقر إلى التواصل بين الكيوبتات (MLP, FlatMLP) أو التي تستخدم آلية الانتباه القياسية (Transformer) قدمت أداءً أسوأ بكثير من حيث عدد بوابات $CZ$ مقارنة بالبنية المتكافئة المقترحة.

الأهمية والادعاءات

تدعي الورقة أنها أول طريقة تعلم تعزيزي لتخليق دوائر كليفور كاملة الاتصال تحقق نتائج قريبة من المثالية على اختبارات الستة كيوبت وتنجح في الانتقال بنجاح إلى أحجام دوائر أكبر بكثير وغير مرئية (تصل إلى 30 كيوبت).

تشمل المساهمات الرئيسية ما يلي:

1. جودة حل فائقة: تنتج الطريقة دوائر تحتوي على عدد أقل بكثير من بوابات التشابك مقارنة بالنماذج القياسية ذات الوقت متعدد الحدود (Qiskit's Aaronson-Gottesman و greedy methods).
2. الكفاءة: تحقق هذه النتائج بسرعة أكبر بمراتب عشرية من طرق البحث الدقيق.
3. التعميم: تسمح البنية المتكافئة وغير المرتبطة بالحجم بمعالجة أعداد متفاوتة من الكيوبتات، مما يتجاوز الحاجة إلى إعادة التدريب الخاص بالجهاز أو تقسيم الدوائر.
4. سهولة الوصول: تم تصميم النهج ليكون متاحاً لباحثي التعلم الآلي الذين لا يملكون خلفيات عميقة في الحوسبة الكمومية، وذلك عبر صياغة مشكلة التخليق من خلال مبادئ التعلم التعزيزي والتناظر القياسية.

يشير المؤلفون إلى أنه بينما الطريقة قوية، فإن تكلفة الاستدلال (inference cost) تتدرج كـ $O(n^2)$ بسبب حجم فضاء الإجراءات، مما يشير إلى أن العمل المستقبلي قد يستكشف فضاءات الإجراءات الموزعة (factorized action spaces) أو التخطيط الهرمي لتحسين القابلية للتوسع بشكل أكبر.