ملخص تقني: إعادة التفكير في كيفية التنفيذ: هندسة فضاء العمل لترتيب الدوائر القائمة على التعلم المعزز في الأنظمة الكمومية الموزعة

بيان المشكلة

بما أن التوسع الأحادي لمعالجات الكم يواجه قيودًا تتعلق بتعقيد التحكم، والتداخل (crosstalk)، والأخطاء المترابطة، فقد برز الحوسبة الكمومية الموزعة (DQC) كبديل قابل للتطبيق. تقوم تقنية DQC بربط وحدات معالجة كمومية متعددة أصغر حجمًا عبر قنوات كمومية وكلاسيكية. ومع ذلك، فإن تجميع الدوائر الكمومية لـ DQC يفرض تحديًا متميزًا: يجب على المجمع (compiler) ليس فقط تلبية قيود الاتصال المحلي داخل الوحدات، بل أيضًا إدارة توليد وتوجيه حالات التشابك البعيدة (أزواج EPR) لتسهيل العمليات غير المحلية.

إن توليد أزواج EPR أبطأ بكثير (على سبيل المثال، 10-40 هرتز) مقارنة بالعمليات المحلية (MHz إلى kHz)، مما يخلق نقطة اختناق. تعتمد طرق التجميع التقليدية غالبًا على وضع الكيوبتات الثابت أو الاستدلالات التي تختزل ديناميكيات الشبكة في تكاليف قياسية، مما يفشل في استيعاب الطبيعة العشوائية وزمن الانتقال لتوليد التشابك عن بُعد. وبينما أظهر التعلم المعزز (RL) إمكانات واعدة في التوجيه غير الموزع، فإن أطر عمل RL الخاصة بـ DQC الحالية (مثل Promponas et al., 2024) تواجه تحديات تتعلق بكفاءة التدريب، والقابلية للتوسع، وأداء الاستدلال بسبب صياغات فضاء العمل الخاصة بها.

المنهجية

يقترح المؤلفون وكيل تعلم معزز (RL agent) مبتكر مصمم لتحسين وقت تنفيذ الدائرة في بنيات DQC. يبني هذا النهج على الإطار الذي وضعه Promponas et al. (2024) ولكنه يقدم تغييرات هندسية جوهرية على فضاء العمل، واستراتيجيات الحجب (masking)، وتقريب القيمة.

1. نموذج النظام والدائرة

• تمثيل الدائرة: تُنمذج الدوائر الكمومية كرسوم بيانية موجهة غير حلقية (DAGs)، حيث تمثل العقد البوابات وتمثل الحواف قيود الأسبقية.
• نموذج الأجهزة: يتكون النظام من عدة وحدات (QPUs) متصلة بقنوات كمومية. تحدث العمليات المحلية داخل الوحدات، بينما تعتمد العمليات البعيدة على أزواج EPR.
• العمليات الأولية عن بُعد: يدعم الإطار عمليات "tele-gates" (بوابة CNOT غير محلية) و"tele-qubits" (نقل الحالة عن بُعد)، والتي تستهلك أزواج EPR. يتم نمذجة توليد التشابك كعملية حتمية بزمن انتقال ثابت $t_{gen}$، مما يقرب متوسط وقت الانتظار لبروتوكول "النجاح حتى النجاح" (repeat-until-success).

2. إطار التعلم المعزز

تتم صياغة المشكلة كعملية قرار ماركوف (MDP) باستخدام شبكات Q العميقة المزدوجة (DDQN).

• فضاء الحالة ($S$): مطابق للنموذج المرجعي، حيث يشفر التعيين الحالي للكيوبت (من فيزيائي إلى افتراضي) وبنية الـ DAG (تبعيات البوابات والطبقات).
• هيكل المكافأة:
  • مكافآت إيجابية لإكمال البوابات ($R_{score}$) وإنهاء الدائرة ($R_{success}$).
  • عقوبات للفشل في إكمال الدائرة ضمن حد زمني معين ($R_{fail}$) واستخدام إجراء STOP.
  • تعديل: يقوم المؤلفون بتعديل مكافأة الحركة ($R_{move}$). على عكس النموذج المرجعي، الذي يعاقب على زيادة المسافة، يتلقى الوكيل الجديد مكافأة صفرية إذا لم تنخفض مقاييس المسافة، مما يتجنب التغذية الراجعة السلبية للحركات التي لا تحقق تقدمًا ولكنها ليست محظورة تمامًا. يتم قياس مكافأة STOP بناءً على عدد الخطوات الزمنية التي تم تخطيها ($\Delta t_{skip}$).

3. الابتكارات الرئيسية: هندسة فضاء العمل

يكمن المساهم الجوهري في إعادة تعريف فضاء العمل ($\tilde{A}$) وكيفية حجبه وتقريبه.

• فضاء عمل موسع: بدلاً من ربط الإجراءات بحواف فردية (عمليات SWAP على روابط واحدة)، يربط الوما الجديد الإجراءات بأزواج من الكيوبتات الفيزيائية $(i, j)$. يقوم الإجراء ROUT(i, j) بتنفيذ سلسلة من عمليات SWAP و tele-qubit على طول أقصر مسار محتسب مسبقًا بين $i$ و $j$. يسمح هذا للوكيل باتخاذ قرونات توجيه متعددة الخطوات في خطوة واحدة.
• حجب الإجراءات المقيد: لمنع فضاء العمل الموسع من إرهاق الوكيل، يتم استخدام استراتيجية حجب صارمة، حيث يكون إجراء التوجيه ROUT(i, j) مقبولاً فقط إذا كان:
  1. يحرك "كيوبت الجبهة" (المشارك في البوابة التالية) نحو شريكه.
  2. يحرك كيوبتًا غير مهيأ نحو رابط اتصال للاستعداد لتوليد EPR.
  3. يحرك كيوبت EPR وكيوبت الجبهة نحو بعضهما البعض.
• تقريب قيمة Q المهيكل: لمعالجة التوسع التربيعي لفضاء العمل ($O(|V|^2)$)، قدم المؤلفون تقريبًا مهيكلًا. تخرج الشبكة العصبية قيمة قياسية $Q_i$ لكل كيوبت فيزيائي $i$ (بالإضافة إلى قيم لـ STOP وإجراءات generate). يتم استنتاج القيمة لإجراء توجيه محدد من $i$ إلى $j$ عبر مزيج خطي:
  $$Q_{ij} = (1 - \alpha)Q_i + \alpha Q_j$$
  حيث $0 < \alpha < 0.5$. يقلل هذا من عدد المخرات القابلة للتدريب من $O(|V|^2)$ إلى $O(|V|)$، مما يقلل التكلفة الحسابية بشكل كبير مع الحفاظ على الاتجاهية.

النتائج الرئيسية

تم تقييم الوكيل المقترح مقابل الوكيل المرجعي (الأساسي) من DDQN (Promponas et al., 2024) عبر بنيتين للأجهزة: شبكة 4x4 وزوج متصل من بنيات IBM Q Guadalupe (إجمالي 32 كيوبت). استخدمت التجارب دوائر تم إنشاؤها عشوائيًا تحتوي على 30، 40، و50 بوابة CNOT.

1. أداء الاستدلال

• تقليل وقت التنفيذ: في بنية Guadalupe مع دوائر مكونة من 30 بوابة، حقق الوكيل المقترح انخفاضًا نسبيًا في وقت التنفيذ النموذجي بنسبة ~35% مقارنة بالنموذج المرجعي.
  • متوسط النموذج المرجعي: ~1,227 خطوة زمنية.
  • متوسط الوكيل المقترح: ~799 خطوة زمنية.
• القابلية للتوسع: في بنية Guadalupe الأكثر تقييدًا، واجه النموذج المرجعي صعوبة في تعلم سياسات فعالة لدوائر 40 و50 بوابة (ظل أوقات التنفيذ قريبة من مستويات الاختيار العشوائي). في المقابل، أظهر الوكيل المقترح تحسنات كبيرة في وقت التنفيذ لهذه الدوائر الأكبر، مما يشير إلى قدرة أفضل على التوسع.
• بنية الشبكة (Grid): في شبكة 4x4 عالية الاتصال، تدرب الوكيل المقترح في البداية بشكل أبطأ بسبب تعقيد اختيار المسارات المثلى من بين العديد من البدائل. ومع ذلك، وصل في النهاية إلى أداء نهائي تنافسي، متفوقًا قليًا على النموذج المرجعي.

2. كفاءة التدريب

• وقت الجدار (Wall-Clock Time): تطلب النموذج المقترح وقت تدريب أقل بكثير. بالنسبة لدوائر الـ 30 بوابة، انخفض وقت التدريب بنسبة 64% (من ~66 ساعة إلى ~23.5 ساعة).
• التقارب: أظهر الوكيل المقترح تباينًا أقل في المكافأة التراكمية ووقت التنفيذ خلال المراحل النهائية من التدريب، مما يشير إلى سياسة أكثر استقرارًا واتساقًا.

3. تحليل الاستشراف (Look-Ahead Analysis)

بحث المؤلفون فيما إذا كان التدريب على دوائر أصغر (استشراف محدود) يعمم على الدوائر الأكبر. أدى التدريب على دوائر أكبر (C50) باستمرار إلى أداء استدلال أفضل على مجموعات اختبار مكونة من 50 بوابة مقارنة بالتدريب على دوائر أصغر (C30 أو C40)، مما يشير إلى أن سياق الدائرة الكامل ضروري لاتخاذ قرارات التوجيه المثلى في هذا الإعداد.

الأهمية والادعاءات

يزعم البحث أن هندسة فضاء العمل هي رافعة حاسمة لتحسين التجميع القائم على التعلم المعزز للدوائر الكمومية. من خلال إعادة هيكلة فضاء العمل للسماح بإجراءات توجيه مركبة واستخدام تقريب مهيكل لقيمة Q، حقق المؤلفون:

1. تحسين الأداء: تقليل كبير في وقت تنفيذ الدائرة (يصل إلى 35-38%) في بنيات الأجهزة المقيدة.
2. الكفاءة الحسابية: تقليل هائل في وقت التدريب (64%) وتحجيم أكثر قابلية للتوسع لمعلمات شبكة Q.
3. التعميم: القدرة على تعلم سياسات فعالة للدوائر الأكبر حيث فشلت نهجات التعلم المعزز أو الاستدلالات القائمة على الحواف في النموذج المرجعي.

يشير المؤلفون بتواضع إلى أن القابلية للتوسع لا تزال محدودة بالنمو متعدد الحدود لفضاء الحالة (يتم تقييمه حاليًا حتى 50 بوابة و18 كيوبت). كما حددوا المقايضة بين استراتيجية الحجب المقيدة (التي تساعد سرعة التعلم) وبين احتمال فقدان استراتيجيات التوجيه المثلى عالميًا كأحد القيود. ومن المقترح في العمل المستقبلي التركيز على تمثيلات حالة أكثر إيجازًا لتعزيز التعميم بشكل أكبر.