Physics-inspired transformer quantum states via latent imaginary-time evolution

ملخص تقني: حالات كوانتوم ترانسفورمر مستوحاة من الفيزياء عبر التطور الزمني التخيلي الكامن

بيان المشكلة
لا يزال تحديد الدوال الموجية للحالة الأرضية لأنظمة الأجسام المتعددة الكوانتومية ذات الارتباط القوي يمثل تحدياً كبيراً. لقد حققت الحالات الكوانتومية العصبية (NQS)، وخاصة تلك القائمة على بنيات الترانسفورمر (TQS)، دقة متطورة في اختبارات معيارية مثل نموذج هايزنبرغ $J_1$-$J_2$ المشتت. ومع ذلك، تُعامل بنيات NQS الحالية إلى حد كبير كـ "صناديق سوداء" تعيد توظيف تصميمات تعلم آلي عامة. هذا النهج يعتمد غالباً على الإفراط في استخدام المعلمات (overparameterization) لتحقيق دقة عالية، مما يقدم رؤية فيزيائية محدودة حول الآليات التي تقود الأداء. علاوة على ذلك، فإن غياب مبدأ موحد يربط بين التغييرات الهيكلية وتحسين الدقة يجعل عملية التحسين المنهجي أمراً صعباً. وبينما يوفر التطور الزمني التخيلي (ITE) مساراً شفافاً فيزيائياً للوصول إلى الحالات الأرضية، إلا أن دمجه مع NQS قد تعثر بسبب مشكلة الإشارة (sign problem) في طرق أخذ العينات العشوائية، لا سيما في الأنظمة المشتتة.

المنهجية: التطور الزمني التخيلي الكامن (LITE)
يقترح المؤلفون إطار عمل يسمى التطور الزمني التخيلي الكامن (LITE) لإعادة تفسير الشبكات العصبية العميقة كعمليات تبريد فيزيائية. في هذا المخطط، يتم بناء نموذج NQS من خلال ثلاث كتل منطقية:

1. المشفر الكامن ($\hat{E}_\theta$): يربط التكوين الفيزيائي المنفصل $n$ بحالة كامنة أولية $z^{(0)}$ تتكون من رموز كامنة (latent tokens). هذا يُدخل درجات حرية مساعدة تشبه المجالات المساعدة في طريقة مونت كارلو للمجال المساعد (AF-QMC)، ولكن يتم تحسينها بالكامل ضمن إطار عمل مونت كارلو التبايني (VMC)، مما يتجنب مشكلة الإشارة.
2. مؤثر LITE ($\hat{U}_\theta(\beta)$): يطور الحالة الكامنة عبر زمن تخيلي إجمالي $\beta$ عبر هاميلتوني فعال قابل للتعلم $\hat{H}_\theta$. يتم تعريف التطور كـ $z(\beta) = e^{-\beta \hat{H}_\theta} z^{(0)}$.
3. مفكك شفرة الدالة الموجية ($\hat{D}_\theta$): يربط الحالة الكامنة المتطورة $z(\beta)$ بسعة اللوغاريتم $\log \Psi_\theta(n)$.

إعادة تفسير TQS القياسي
يحلل البحث نماذج NQS القائمة على الترانسفورمر (TQS) من خلال عدسة LITE. حيث يحدد أن طبقات TQS القياسية، المكونة من طبقات فرعية لآلية الانتباه متعدد الرؤوس (MHA) والشبكة الأمامية (FFN)، تقابل تفكيك "لي-تروتتر" (Lie–Trotter) من الدرجة الأولى لمروج زمن تخيلي قصير.

• تعمل الطبقة الفرعية MHA كحد تفاعل غير محلي ($\hat{K}_\theta$).
• تعمل الطبقة الفرعية FFN كحد محلي ($\hat{V}_\theta$).
• والأهم من ذلك، تستخدم TQS القياسية أوزاناً متميزة لكل طبقة، مما يعني وجود هاميلتوني فعال يتغير مع الزمن التخيلي الكامن ($\hat{H}^{(\ell)}_\theta \neq \hat{H}^{(\ell')}_\theta$). ويجادل المؤلفون بأن هذا التباين هو حرية فيزيائية زائدة تؤدي إلى إفراط كبير في استخدام المعلمات، حيث يجب أن تخضع عملية التبريد للحالة الأرضية لهاملتوني واحد ثابت زمنياً.

الحل المقترح: حالات ترانسفورمر كوانتوم مستوحاة من الفيزياء (PITQS)
لمعالجة هذه القيود، يقدم المؤلفون حالات ترانسفورمر كوانتوم مستوحاة من الفيزياء (PITQS)، والتي تفرض هاميلتونياً فعالاً ثابتاً وتحسن دقة الانتشار عبر تفكيكات من رتب أعلى دون زيادة عدد المعلمات التباينية.

• مشاركة الأوزان: تفرض PITQS هاميلتونياً فعالاً واحداً $\hat{H}_\theta = -(\hat{V}_\theta + \hat{K}_\theta)$ عبر جميع الطبقات من خلال مشاركة الأوزان. هذا يلغي التباين الفيزيائي الزائد بين الطبقات ويقلل عدد المعلمات بنسبة تتناسب مع عمق الشبكة $L$.
• تفكيكات تروتر-سوزوكي: بدلاً من مخطط لي-تروتتر من الدرجة الأولى المستخدم في TQS القياسي، تنفذ PITQS بشكل منهجي تفكيكات من رتب أعلى (مثل سترانج من الدرجة الثانية، وسوزوكي من الدرجة الرابعة، وبلانيس-موان من الدرجة الرابعة) لتقريب المروج $e^{-\Delta\tau \hat{H}_\theta}$. هذا يحسن دقة الانتشار الزمني التخيلي الكامن مع الحفاظ على ميزانية المعلمات التباينية ثابتة.

النتائج الرئيسية
تم التحقق من صحة الإطار على نموذج هايزنبرغ $J_1$-$J_2$ المشتت على شبكة مربعة $10 \times 10$ ($J_2/J_1 = 0.5$).

• كفاءة المعلمات: حققت PITQS طاقات مماثلة أو متفوقة على TQS المتطورة باستخدام عدد أقل بكماً من المعلمات التباينية. على سبيل المثال، عند زمن تخيلي إجمالي $\beta=2.0$، تفوقت PITQS بـ 44,890 معلمة على TQS القياسية بـ 155,620 معلمة.
• الدقة مقابل العمق: في TQS القياسية، أدت زيادة الزمن التخيلي $\beta$ (وبالتالي العمق $L$) إلى زيادة عدد المعلمات خطياً ولكنها لم تحقق تحسينات منهجية في الدقة. في المقابل، حققت PITQS مع عدد ثابت من المعلمات طاقات أقل مع زيادة $\beta$، مما يشير إلى أن هيكل الهاملتوني الفعال هو المصدر الرئيسي للقوة التمثيلية.
• رتبة التفكيك: أظهرت تفكيكات تروتر-سوزوكي من الرتب الأعلى (Strang, Suzuki, Blanes–Moan) عموماً دقة أفضل من مخطط لي-تروتتر من الدرجة الأولى عند تثبيت عدد المعلمات. ومع ذلك، لاحظ المؤلفون وجود مقايضة: بينما قللت المخططات من الرتب الأعلى من أخطاء تروتر، إلا أنها أظهرت عدم استقرار في التحسين وتكاليف حوسبية أعلى عند قيم $\beta$ الكبيرة.
• القابلية للتوسع: تفوق نموذج PITQS أكبر (مخطط Strang، $N_p = 143,010$) على نموذج TQS قياسي من الحجم نفسه ($N_p = 155,620$)، محققاً طاقة قدرها $E \approx -0.49741$، وهي منافسة لنماذج TQS الأكبر بكثير الواردة في الأدبيات ($N_p \approx 995,000$).
• الأنظمة الفرميونية: تم توسيع النهج ليشمل الأنظمة الفرميونية (نموذج هوبارد)، حيث طابقت PITQS مرة أخرى دقة TQS بعدد أقل بكثير من المعلمات، مما يثبت قابلية تطبيق الطريقة بما يتجاوز أنظمة السبين.

الأهمية والادعاءات
يزعم البحث أن إعادة تفسير هياكل الشبكات العميقة كعمليات تبريد كامنة يتيح تصميماً أكثر استناداً إلى الفيزياء، وأكثر منهجية، وأكثر إيجازاً لـ NQS. من خلال سد الفجوة بين القدرة التعبيرية لـ "الصندوق الأسود" للتعلم الآلي والبناء المستند إلى الفيزياء، يوضح المؤلفون أن:

1. يمكن فك غموض الطبيعة "الصندوق الأسود" لـ TQS من خلال النظر إلى الطبقات كمقربات لمروج زمن تخيلي كامن.
2. التباين بين الطبقات في TQS القياسية هو إفراط في استخدام المعلمات يمكن التخلص منه عبر مشاركة الأوزان دون التضحية بالدقة.
3. يمكن تحقيق تحسينات منهجية في بنية NQS من خلال تطبيق المبادئ الفيزيائية (الهاملتونيات الثابتة، والتفكيكات من الرتب الأعلى) بدلاً من الاعتماد فقط على الحدس التجريبي أو زيادة عدد المعلمات.

يخلص العمل إلى أن التحيز الاستقرائي المستوحى من الفيزياء، وليس مجرد حجم المعلمات، يلعب دوراً رئيسياً في تحقيق دقة عالية في محاكاة الأنظمة الكوانتومية متعددة الأجسام.