Attention-based optimizer for symmetry finding

ملخص تقني لورقة بحثية بعنوان: "المُحسِّن القائم على آلية الانتباه لإيجاد التماثل"

بيان المشكلة

يعد إيجاد التماثلات في الأنظمة الفيزيائية أمراً جوهرياً لفهم وحل النماذج المعقدة، لا سيما في فيزياء الأنوية المتعددة الكمومية. وبينما تسمح الطرق الحسابية الحديثة بالدراسة المباشرة للمشكلات المعقدة، إلا أن العديد منها يظل مستعصياً على التنفيذ العددي القائم على البحث الشامل (على سبيل المثال، التشخيص الدقيق). وعلى الرغم من وجود تقنيات تقريبية مثل الشبكات الموترية (Tensor Networks)، إلا أنها غالباً ما تعتمد على افتراضات هيكلية محددة تتدهور عندما لا يتطابق النظام الفيزيائي مع تلك الافتراضات.

يمكن للخوارزميات الحالية لإيجاد التماثلات، مثل الطريقة الحتمية المعروضة في المراجع [38-40]، أن تقلل عدد الكيوبتات عن طريق إيجاد إطار مرجعي تستقر فيه التماثلات. ومع ذلك، فبينما تعتبر هذه الطرق الحتمية فعالة كلاسيكياً (زمن تشغيل تكعيبي)، إلا أنها تعاني من أزمنة طويلة للأنظمة ذات العدد الكبير من الكيوبتات. علاوة على ذلك، فهي تضمن إيجاد جميع مولدات التماثل ولكنها قد تكون مكلفة حاسوبياً للأنظمة الكبيرة. هناك حاجة إلى طريقة يمكنها تحديد تماثلات "باولي" (Pauli symmetries) بسرعة مباشرة من "هاميلتوني" (Hamiltonian) مدخل دون معرفة مسبقة بهيكل النظام، وخاصة للأنظمة الفيزيائية حيث لا تكون التماثلات واضحة فوراً.

المنهجية

يقترح المؤلفون إطار عمل للتحسين يعتمد على تعلم الآلة، يدمج بين إيجاد التماثل الآلي والتعلم العميق. جوهر هذا الإطار هو بنية "محول المجموعة" (Set-Transformer)، التي اختيرت لأن مشكلة إيجاد تماثل باولي هي بطبيعتها "مستقلة عن الترتيب" (permutation-invariant) (أي أن ترتيب سلاسل باولي في الهاميلتوني لا يهم).

1. تمثيل المدخلات:
يتم تمثيل الهاميلتوني $H = \sum P_i$ كجدول $H_t$، وهو مصفوفة ثنائية حيث يمثل كل صف سلسلة باولي مشفرة كمتجه ثنائي بأبعاد $2n_q$ (باستخدام الصيغة الرمزية - symplectic formalism). يحافظ هذا التمثيل على استقلالية الترتيب للمدخلات.

2. البنية الهيكلية:
يتكون النموذج من ثلاثة مكونات رئيسية:

• تضمين المدخلات والإسقاط (Input Embedding and Projection): يتم إسقاط صفوف الجدول الثنائية إلى فضاء كامن مستمر وقابل للتعلم باستخدام طبقة خطية. تم تجنب تضمينات المواقع للحفاظ على استقلالية الترتيب.
• محول المجموعة (المُشفر-المُفكك) (Set-Transformer Encoder-Decoder):
  • المُشفر (Encoder): يستخدم كتل انتباه المجموعة المتراكمة (SAB) التي تحتوي على آلية الانتباه متعدد الرؤوس (MHA) وطبقات التغذية الأمامية لكل صف (rFF). تقوم آلية الانتباه الذاتي بترميز الارتباطات الزوجية وعالية الرتب بين سلاسل باولي.
  • المُفكك (Decoder): يقوم بإسقاط الارتباطات المتعلمة إلى متجه تماثل مرشح واحد. يتضمن طبقة انتباه متعدد الرؤوس للتجميع (PMA)، وكتلة SAB، وتطبيع الطبقة (layer normalization)، وطبقة خطية لخرائط البعد الكامن مرة أخرى إلى $2n_q$.
  • التنشيط (Activation): تقوم طبقة "Sin" تليها طبقة "Sigmoid" قابلة للتعلم بخرائط المخرجات المستمرة لتقريب القيم الثنائية (0 و 1)، والتي تمثل مرشح تماثل باولي $S_p$.
• التوسع السياقي التكيفي (Adaptive Context Expansion - ACE): لمعالجة مشكلة وجود عدد هائل من الحلول غير الصحيحة مقارنة بالحلول (خاصة في الهاميلتونيات العشوائية)، يتضمن الإطار وحدة ACE. إذا بدا أن المُحسِّن عالق في حد أدنى محلي (يتم اكتشافه عبر تذبذب الخسارة)، تقوم وحدة ACE بتوسيع السياق اصطناعياً عن طريق إضافة نواتج سلاسل باولي الموجودة ($P_i P_j$) إلى الهاميلتوني. يوفر هذا معلومات جديدة لمساعدة المُحسِّن على الهروب من الحدود الدنيا المحلية.

3. هدف التحسين:
يقلل الإطار دالة خسارة مخصصة $C$ تتكون من أربعة حدود:

• خسارة التبديل (Commutation Loss - $C_{com}$): الهدف الأساسي، لضمان أن المرشح $S(\theta)$ يتبادل (commutes) مع جميع الحدود في $H$. يستخدم تقريباً قابلاً للاشتقاق، $\sin^2(\frac{\pi}{2} x)$، لشرط التبديل بمقياس modulo-2.
• عقوبة الصفر (Zero-Penalty - $C_{zp}$): تمنع الحل البديهي (عامل الوحدة/Identity operator) من خلال معاقبة المخرجات حيث تكون جميع العناصر صفراً.
• العقوبة الثنائية (Binary Penalty - $C_{bin}$): تشجع قيم المخرجات المستمرة على التقارب نحو القيم الثنائية (0 أو 1).
• منظم الخطية (Linearity Regularizer - $C_{lin}$): يساعد في مراحل التحسين المبكرة من خلال تفضيل المرشحين الذين يتبادلون عكسياً (anti-commute) عدداً محدوداً من المرات، مما يخفف من طبيعة خسارة التبديل متعددة الأنماط.

يتم إجراء عملية التحسين باستخدام مُحسِّن AdamW مع شروط توقف مبكر تتحقق مما إذا كان قد تم العثور على تماثل صالح.

المساهمات الرئيسية

• أول باحث عن التماثل باستخدام تعلم الآلة: حسب علم المؤلفين، هذا هو العمل الأول الذي يستخدم تعلم الآلة والذكاء الاصطناعي لإيجاد التماثلات مباشرة من الهاميلتوني المدخل دون معرفة مسبقة بالنظام أو التماثل.
• بنية محول المجموعة (Set-Transformer): تطبيق محولات المجموعة لترميز الارتباطات بين سلاسل باولي، ومعاملتها بشكل مشابه للرموز (tokens) في معالجة اللغات الطبيعية، لاستخراج العلاقات العالمية.
• التوسع السياقي التكيفي: وحدة مبتكرة تزيد ديناميكياً من سياق المدخلات لمساعدة المُحسِّن على التنقل في مساحات الخسارة المعقدة حيث تكون الحلول نادرة.
• التسريع الاحتمالي: يقدم الإطار نهجاً احتمالياً يجد التماثلات بشكل أسرع بكثير من البدائل الحتمية لأنظمة فيزيائية محددة، مقايضاً الضمانات الحتمية بالسرعة.

النتائج

تم اختبار الإطار على ثلاث فئات من الهاميلتونيات:

1. هاميلتونيات باولي العشوائية:

• تم الاختبار على أنظمة مكونة من 10 كيوبتات مع رتب ($R$) متغيرة.
• وجد المُحسِّن القائم على الانتباه التماثلات بشكل أسرع من الخوارزمية الحتمية للرتب من $R=4$ إلى $16$.
• للرتب الأعلى، يبلغ تعقيد الزمن $O(2^{0.705R})$ للزمن الأدنى، مقارنة بـ $O(2^R)$ للخوارزمية الحتمية حتى $R=8$.
• تنخفض احتمالية النجاح مع زيادة الرتبة، مما يتطلب بدايات متوازية أكثر (وبالتالي المزيد من وحدات معالجة الرسومات GPU) لتحقيق معدل نجاح 90%. بالنسبة لـ $R=18$، قُدِّر أن 32 بداية متوازية ستكون ضرورية.

2. نموذج "إيسينج" المستعرض أحادي البعد الدوري (Periodic 1-D Transverse-Field Ising Model):

• تم الاختبار على أنظمة تتراوح فيها $n_q$ من 10 إلى 1400.
• وجد تنفيذ وحدة معالجة الرسومات (GPU) للإطار التماثلات أسرع بحوالي 225 مرة من النهج الحتمي، بينما كان تنفيذ وحدة المعالجة المركزية (CPU) أسرع بـ 1500 مرة.
• ظل عدد التكرارات المطلوبة من المُحسِّن ثابتاً تقريباً (استقر حول 35-40) مع زيادة حجم النظام، بينما نما عدد بوابات كليفورد (Clifford gates) للخوارزمية الحتمية بشكل متعدد الحدود.
• كان احتمال الفشل منخفضاً للغاية (متوسط $p_f \approx 0.033$).

3. سلم إيسينج ثنائي الأبعاد و"توريك كود" (2-D Ising Ladder and Toric Code):

• طُبق على سلالم إيسينج ثنائية الأبعاد و"توريك كود" (مع وبدون مجالات مغناطيسية) حتى $n_q = 1000$.
• أظهر الإطار ميزة كبيرة على الخوارزمية الحتمية، حيث كان تنفيذ وحدة معالجة الرسومات أسرع بنحو $10^5$ مرة لـ "سلم إيسينج".
• بالنسبة لـ "توريك كود"، زادت الميزة مع حجم النظام. لوحظ أن scaling الخوارزمية الحتمية كان أسوأ من $O(n_q^3)$ المتوقع، غالباً بسبب العدد المتوسط لسلاسل باولي.
• حقق المُحسِّن معدلات نجاح عالية مع احتمالات فشل منخفضة عبر جميع الأشكال الهندسية المختبرة.

ملاحظة حول الأنظمة الفيزيائية مقابل العشوائية:
تشير الورقة إلى أن الإطار يعمل بشكل استثنائي على الهاميلتونيات الفيزيائية (إيسينج، توريك) لأن تمثيل جداولها (tableaux) يرمز لتفاعلات فيزيائية محلية، مرتبة، ومتكررة. هذا الهيكل يجعل السياق غنياً بالمعلومات فوراً، مما يسمح للمُحسِّن بالتنقل في مساحة خسارة التبديل بسهولة. في المقالم، تفتقر الهاميلتونيات العشوائية لهذا الانتظام، مما يتطلب موارد حاسوبية أكثر (توسيع السياق وبدايات متوازية) لإيجاد التماثلات.

الأهمية والادعاءات

يدعي المؤلفون أن هذا العمل يمثل خطوة مهمة نحو توسيع تعلم الآلة لإيجاد فئات أخرى من التماثلات حيث لا توجد استراتيجيات مثلى أو حتمية معروفة. من خلال دمج تعلم الآلة مع إيجاد التماثل الآلي، يقدم الإطار "ميزة جوهرية" في السرعة للهاميلتونيات الفيزيائية مقارنة بالاستراتيجيات الحتمية الحديثة.

تؤطر الورقة مساهمتها بتواضع كإثبات مفهوم لاستخدام آليات الانتباه لحل المشكلات الجبرية في الفيزياء الكمومية. وتؤكد أن هذه الطريقة، رغم كونها احتمالية وتتطلب التوازي للأنظمة العشوائية، إلا أنها فعالة للغاية للنماذج الفيزيائية حيث تكون التفاعلات النظامية مدمجة في الهاميلتوني. ويخطط المؤلفون لتوسيع هذا النهج لإيجاد فئات تماثل أخرى، مثل تماثلات كليفورد، في أعمال مستقبلية.