Diagnosing Simulation and Hardware Barriers to Cross-Size Transfer in Equivariant Quantum Reinforcement Learning

بيان المشكلة

تعد مشكلات التحسين التوافقي (Combinatorial Optimization - CO)، مثل مسألة البائع المتجول (TSP)، مركزية في مجالات اللوجستيات وتصميم الشبكات، ولكنها تنتمي إلى فئة المسائل الصعبة (NP-hard)، مما يجعل الحلول الدقيقة مستعصية بالنسبة للمدخلات الكبيرة. وبينما توفر التعلم المعزز (RL) والتعلم المعزز الكمي (QRL) استراتيجيات استدلالية، تظل هناك عقبة رئيسية أمام القابلية للتوسع: معظم طرق التعلم المعزز الكمي تتطلب إعادة تدريب من الصفر لكل مسألة جديدة أو حجم جديد.

تبحث هذه الورقة فيما إذا كانت الدوائر الكمية المتكافئة (Equivariant Quantum Circuits - EQCs) — التي تشفر التماثل التبدلي لضمان بقاء عدد المعلمات مستقلاً عن حجم المسألة — يمكن أن تسهل عملية النقل عبر الأحجام دون تدريب مسبق (zero-shot cross-size transfer). وبشكل محدد، يتساءل المؤلفون عما إذا كانت المعلمات $\theta_n$ المدربة على نماذج TSP صغيرة الحجم ($n$ مدينة) يمكن نقلها مباشرة إلى نماذج أكبر ($m$ مدينة حيث $m > n$) دون إعادة تدريب، وما إذا كان هذا النقل سيصمد عند التنفيذ الواقعي على الأجهزة الكمية.

المنهجية

يعتمد المؤلفون خط إنتاج تقييمي مكون من خمس مراحل متطابقة البروتوكول لعزل تأثيرات تقريبات المحاكاة، والضجيج، وأخذ العينات ذات الدفعات المحدودة (finite-shot sampling) عن سلوك النقل الحقيقي. تستخدم الدراسة بنية EQC من Skolik et al. [11] (بعمق $L=1$، ومعلمتان قياسيتان قابلتان للتدريب $\beta, \gamma$) مطبقة على نماذج TSP الإقليدية.

يتدرج خط الإنتاج عبر:

1. المرحلة الأساسية (Base Stage): اختيار وصفة تدريب مستقرة (إعادة قياس الملاحظات المجمدة، والإبلاغ عن أفضل نقطة تفتيش) على مسار تحقق مكون من 12 عقدة.
2. N1 (سياسات المصدر): التدريب من الصفر على $n \in \{5, 10, 15, 20\}$ مدينة باستخدام محاكاة الحالة المتجهة (statevector) الدقيقة.
3. N2 (النقل الدقيق): تقييم النقل دون تدريب مسبق (zero-shot transfer) والضبط الدقيق عبر الأحجام (مثل $5 \to 10$، $10 \to 15$) باستخدام محاكاة الحالة المتجهة الدقيقة.
4. N3 (حد التوسع): التوسع إلى أحجام أكبر ($n$ تصل إلى 100) باستخدام محاكاة ناتج ضرب المصفوفات (MPS)، وMPS المشوب بالضجيج (نموذج IBM للضجيج)، وعمليات مسح عالية الأبعاد للربط (high-bond-dimension sweeps) لتوصيف حدود دقة المحاكاة.
5. N4 (التنفيذ على الأجهزة): تنفيذ نفس السياسات المنقولة على أجهزة Quantinuum من النوع (trapped-ion) وهي (H2-2, Helios-1) والمحاكيات، يليه حمل عبر المنصات (cross-platform campaign) يشمل خمسة أجهزة (Quantinuum, IBM, Rigetti, IQM) تغطي تقنيتين مختلفتين من الكيوبتات وأربعة موردين.

الإطار النظري

تستنتج الورقة حداً تشخيصياً مشروطاً للنقل (conditional diagnostic transfer bound) للأداء المتوقع $P_m(\theta^*_n)$ على الحجم المستهدف $m$ بناءً على التدريب المصدر على الحجم $n$. يفكك هذا الحد انخفاض الأداء إلى:

• التعميم المصدر (Source Generalization): حد $G^{roll}_n(\delta)$ يتحكم في الفجوة بين الأداء التجريبي والحقيقي للمصدر.
• عقوبة النقل ($D_{n \to m}$): مجموع من:
  • عدم التطابق البارامتري: يتناسب خطياً مع معيار $\ell_1$ للمعلمات والقفزة النسبية في الحجم $(m-n)/m$.
  • النعومة الهيكلية: حد $\Psi(n, m)$ (يتم نمذجته كـ $\sqrt{m} - \sqrt{n}$ بناءً على مقياس Beardwood–Halton–Hammersley) والذي يمثل نعومة السياسة عبر أحجام الرسوم البيانية.

يشير المؤلفون صراحة إلى أن هذا الحد هو تشخيصي وحالة حدية قصوى (worst-case)، ويهدف إلى تحديد هياكل التوسع بدلاً من التنبؤ بالفجوات العددية بدقة عالية. كما يوضحون أن بنية EQC المحددة التي تمت دراستها (النموذج B) قابلة للمحاكاة كلاسيكياً عبر طرق الجبر اللي (Lie-algebraic) (النموذج A)، ويستخدمون هذه القابلية للمحاكاة كـ "أداة قياس" (الحقيقة الأرضية) بدلاً من ادعاء التفوق الكمي.

النتائج الرئيسية

1. النقل المتحقق ضمن النطاق (Validated In-Regime Transfer)

ضمن نطاق متحقق منه (قفزات حجم صغيرة، مثل $5 \to 10$)، تفوق النقل دون تدريب مسبق (zero-shot transfer) على التدريب عند حجم الهدف في جميع التقييمات الستة المكتملة. حقق انتقال $5 \to 10$ متوسط فجوة مثالية قدره 5.07%، متفوقاً على خط الأساس المدرب من الصفر. يشير هذا إلى أن EQCs تشفر رؤى هيكلية تتعمم عبر المقاييس عندما تكون قفزة الحجم معتدلة.

2. ثلاثة عوائق مستقلة أمام القابلية للتوسع

خارج النطاق المتحقق منه، تمنع ثلاثة عوائق متميزة بنية EQC الكثيفة (all-to-all) من التوسع:

• العائق B1: فقدان الإشارة الناجم عن الخلفية (المحاكاة/القطع)

  • الملاحظة: في محاكاة MPS، يتسبب بُعد ربط $\chi=64$ (المعيار في العديد من الدراسات) في فشل كارثي لـ $n=20$ (متوسط الفجوة 85.22%)، حتى في حالة النقل لنفس الحجم.
  • السبب: تولد بنية التشابك (entanglement) الشاملة (all-to-all) نمواً في التشابك يبطل تقريبات بُعد الربط المنخفض. يتجاوز خطأ القطع مقدار الإشارة ($\langle Z_i Z_j \rangle$)، مما يؤدي إلى إفساد ترتيب الإجراء الجشع (greedy action ranking).
  • العتبة: تتطلب دقة السياسة الموثوقة $\chi \ge 256$، وهو أمر مكلف حوسبياً للأحجام الكبيرة من $n$.

• العائق B2: تدهور النقل عبر الأحجام (القفزات الكبيرة)

  • الملاحظة: يتدهور الأداء بشكل سلس ولكن جوهري مع زيادة قفزة الحجم $|m-n|$ (على سبيل المثال، ترتفع فجوة $5 \to 20$ إلى حوالي 12–18%).
  • السبب: يتوافق هذا مع حد النقل النظري، مدفوعاً بعدم التطابق البارامتري والتحولات الهيكلية. وبينما يمكن للضبط الدقيق (fine-tuning) استعادة بعض الأداء (على سبيل المثال، تنخفض فجوة $15 \to 20$ من 13.9% إلى 10.6% مع الضبط الدقيق)، إلا أن النقل دون تدريب مسبق وحده غير كافٍ للقفزات الكبيرة.

• العائق B3: عقوبة التنفيذ بالدفعات المحدودة (الأجهزة)

  • الملاحظة: على الأجهزة، تتضخم الفجوة من ~5% (statevector) إلى 31.3% (محاكي عديم الضجيج بـ 4096 دفعة) و 45.3% (جهاز حقيقي).
  • السبب: تقع هوامش الإجراء (الفرق بين قيم Q المرشحة) تحت مستوى ضجيج الدفعات (shot-noise floor) ($1/\sqrt{N_s}$). عند 4096 دفعة، يكون مستوى الضجيج حوالي 0.016، بينما متوسط هامش الإجراء هو ~0.006. وبالتالي، تصبح القرارات الجريئة غير قابلة للحل إحصائياً (37 من أصل 40 قراراً كانت قيمة $z < 2$).
  • التأكيد عبر المنصات: أكدت حملة عبر خمسة أجهزة (Quantinuum, IBM, Rigetti, IQM) أن العقوبة يحددها عدد بوابات Two-qubit الأصلية وتخفيف الخطأ، وليس ميزانية الدفعات.
    • الأيونات المحاصرة (all-to-all, 45 بوابة): فجوة 45.3%.
    • الموصلات الفائقة (routed, 153–172 بوابة، غير مخففة): فجوة 108–125% (جولات عشوائية فعلياً).
    • الموصلات الفائقة (مخففة، 172 بوابة): فجوة 67.8%.
  • الاستنتاج: زيادة عدد الدفعات ببساطة لا يحل المشكلة لأن نسبة الإشارة إلى الضجيج محدودة أساساً بالانحياز الناتج عن البوابة ومنخفضة التباين في عائلة الملاحظات الكثيفة.

الأهمية والادعاءات

لا يدعي المؤلفون صراحة أي تفوق كمي حسابي. بنية EQC المدروسة قابلة للمحاكاة كلاسيكياً. بدلاً من ذلك، تكمن أهمية الورقة في:

1. وضع معيار تشخيصي: تقديم منهجية قابلة للتكرار ومتطابقة البروتوكول لتقييم النقل عبر الأحجام في QRL، وفصل سلوك النقل عن آثار المحاكي أو الأجهزة.
2. تحديد العوائق الهيكلية: إثبات أن بنية EQC الكثيفة (all-to-all) تواجه عوائق أساسية (B1, B2, B3) متجذرة في اتصالها. الطوبولوجيا الشاملة تبطل محاكاة شبكة التنسور الفعالة (B1)، وتفاقم عقوبات النقل (B2)، وتخلق هوامش إجراء صغيرة جداً بحيث يصعب حلها على الأجهزة الحالية (B3).
3. اقتراح مسار للمضي قدماً: تحفز النتائج تصميم دوائر متكافئة متفرقة (sparse equivariant circuit designs) كحل هيكلي ضروري لتخفيف العوائق الثلاثة في آن واحد، بدلاً من الاعتماد فقط على زيادة ميزانيات الدفعات أو تخفيف الخطأ.

تخلص الورقة إلى أنه بينما توفر EQCs انحيازاً استقرائياً واعداً للنقل، فإن تنفيذها الكثيف الحالي ليس قابلاً للتوسع للأحجام ذات الصلة بالصناعة على الأجهزة الحالية دون تعديل هيكلي.