Diabatic quantum annealing for training energy-based generative models

إليك ملخص تقني مفصل للورقة البحثية بعنوان: "التلدين الكمي غير الأديباتي لتدريب النماذج التوليدية القائمة على الطاقة."

1. بيان المشكلة

يتطلب تدريب النماذج القائمة على الطاقة (EBMs)، مثل آلات بولتزمان المقيدة (RBMs)، توليد عينات غير منحازة من توزيع بولتزمان المحدد بدالة الطاقة الخاصة بالنموذج.

• العقبة: يعتمد التدريب الكلاسيكي على طرق مونت كارلو لسلاسل ماركوف (MCMC) (مثل التباين التباعدي أو التباين التباعدي المستمر). تعاني هذه الطرق من بطء التقارب وتنتج عينات عالية الارتباط، مما يجعل التدريب واسع النطاق مكلفًا حاسوبيًا وغير فعال.
• التحدي الكمي: بينما تم اقتراح الحواسيب الكمية التناظرية (الملدنات الكمية) كأجهزة لتوليد العينات، فشلت المحاولات السابقة في توفير تحكم موثوق في درجة الحرارة. غالبًا ما كانت درجة حرارة أخذ العينات الفعلية للأجهزة الكمية تُعامل كمعلم تجريبي للملاءمة، مما أدى إلى عدم توافق بين توزيع المخرجات للأجهزة والتوزيع المستهدف نظريًا المطلوب للتدريب. هذا النقص في التحكم أدى إلى تقويض قابلية التكرار والتمييز بين الديناميكيات الكمية الحقيقية وعيوب الملاءمة.

2. المنهجية

يقترح المؤلفون إطار عمل يجمع بين التلدين الكمي غير الأديباتي (DQA) وطريقة معايرة درجة الحرارة المنهجية لتدريب آلات بولتزمان المقيدة (RSB).

أ. التلدين الكمي غير الأديباتي (DQA) لأخذ العينات

بدلاً من انتظار وصول النظام إلى الحالة الأرضية (الأديباتية)، يتم تطوير النظام بسرعة (غير أديباتية) تحت هاميلتوني يعتمد على الزمن:
$$H(t) = A(t)H_{mixing} + B(t)H_{problem}$$

• الأساس النظري: تؤسس النظرية الحديثة علاقة تحليلية بين جدول التلدين ($A(t), B(t)$) ودرجة الحرارة الفعالة العكسية ($\beta_{integral}$).
• الرؤية الجوهرية: من خلال التحكم في زمن التلدين ($\tau$) والجدول الزمني، يمكن تحديد درجة الحرارة الفعالة للعينات المولدة مسبقًا بدلاً من استنتاجها لاحقًا.
• التنفيذ: استخدم المؤلفون ملدن D-Wave Advantage2 الكمي. وقد وجدوا أن زمن تلدين سريع قدره 5 نانو ثانية مع الجدول الزمني الافتراضي يعطي درجة حرارة عكسية فعالة قدرها $\beta \approx 1.5$.

ب. معايرة وإعادة قياس درجة الحرارة

حدد المؤلفون انحرافًا منهجيًا حيث كانت درجة حرارة الأجهزة الفعلية ($\beta_{dwave}$) أقل بكثير (أي $\beta$ أعلى) من التنبؤ النظري ($\beta_{unitary}$)، وتتذبذب بعامل يتراوح بين 5 إلى 7.

• طريقة التصحيح: يقترحون إعادة قياس تحليلية لهاميلتوني المشكلة. قبل دمج النموذج في الشريحة الكمية، يتم تقسيم قوى الاقتران ($J_{ij}$) على عامل إعادة القياس $\alpha$:
  $$\alpha := \frac{\beta_{dwave}}{\beta_{unitary}}$$
• يعمل هذا التعديل على تعويض ضوضاء الأجهزة، والتأثيرات الحرارية، وعيوب التحكم، مما يضمن توافق العينات المولدة مع توزيع بولتزمان المستهدف.

ج. خوارزمية التدريب

تستبدل عملية تدريب RBM خطوة أخذ عينات MCMC الكلاسيكية بـ DQA:

1. الدمج (Embedding): يتم رسم أوزان RBM على اتصال الكيوبت الخاص بالملدن الكمي.
2. أخذ العينات (Sampling): يعمل الملدن عدة مرات (5 نانو ثانية لكل تشغيل) لتوليد تكوينات سبين مستقلة (عينات).
3. تحديث التدرج (Gradient Update): يتم تحديث معاملات النموذج باستخدام الفرق بين التوقعات للبيانات وتوقعات النموذج المستمدة من العينات الكمية.

** 3. المساهمات الرئيسية**

1. أول تطبيق عملي لنظرية DQA: هذا هو أول عرض تجريبي لتطبيق العلاقة التحليلية بين جداول التلدين ودرجة الحرارة الفعالة في تدريب تعلم الآلة.
2. تخفيف الخطأ المنهجي: تحدد الورقة عدم توافقًا منهجيًا في درجة الحرارة في الحواسيب الكمية التناظرية وتقدم طريقة إعادة قياس المعلمات ($\alpha$) لتصحيحه، مما يحول الملدنات الكمية إلى أخذ عينات بولتزمان مبني على أسس سليمة.
3. القابلية للتوسع والاتصال: ينقل هذا النهج تعقيد أخذ العينات من تقليل الارتباط الخوارزمي (MCMC الكلاسيكي) إلى اتصال الأجهزة. وهذا يسمح للمنهج بالتوسع طبيعيًا من RBMs المتفرقة إلى آلات بولتزمان كاملة الاتصال، والتي يصعب التعامل معها كلاسيكيًا.
4. اختبار مرجعي واسع النطاق: قامت الدراسة بتدريب RBMs على مجموعات بيانات MNIST و Fashion-MNIST بكامل دقتها (784 وحدة مرئية + 1200 وحدة مخفية = 1984 كيوبت) دون تقليل الأبعاد، مما وضع معيارًا جديدًا لنطاق تجارب تعلم الآلة الكمية.

4. النتائج

• سرعة التقارب: حقق التدريب القائم على DQA تقاربًا أسرع بكثير من التباين التباعدي المستمر (PCD) الكلاسيكي.
  • زمن أخذ العينات: قام DQA بتوليد عينة في زمن قدره $\approx 2.56 \times 10^{-4}$ ثانية، مقارنة بـ $\approx 1.63 \times 10^{-2}$ ثانية لـ PCD (مع $K=100$ خطوة). يمثل هذا تسارعًا بمقدار ~64 ضعفًا في زمن أخذ العينات.
• خطأ التحقق:
  • حققت النماذج المدربة بواسطة DQA أخطاء إعادة بناء أقل (مسافة هامينج) في كل من MNIST و Fashion-MNIST مقارنة بـ PCD.
  • تفوق DQA المعاد قياسه (مع تصحيح درجة الحرارة) باستمرار على DQA غير المصحح، مما يثبت ضرورة خطوة المعايرة.
• القابلية للتوسع:
  • مع زيادة حجم الطبقة المخفية ($N_H$)، اتسعت الفجوة في الأداء بين DQA و PCD.
  • القياس التقاربي: يتدرج زمن أخذ العينات في PCD الكلاسيكي كـ $O(N^{2+z})$ (حيث $z > 0$ هو أس ديناميكي بسبب اضمحلال الارتباط)، بينما يتدرج DQA كـ $O(N^2)$ (يهيمن عليه إعداد الحالة الساكنة). يشير هذا إلى أن DQA يصبح أكثر فائدة للنماذج الأكبر.
• جودة التوليد: أظهر الفحص البصري للعينات المولدة أن النماذج المدربة بواسطة DQA أنتجت صورًا ذات جودة أعلى وبدقة هيكلية أفضل.

5. الأهمية

• ميزة كمية عملية: توضح الورقة ميزة كمية عملية واضحة في مهمة محددة لتعلم الآلة (أخذ العينات لتدريب EBM) من خلال التغلب على العقبة التاريخية المتمثلة في التحكم في درجة الحرارة في الملدنات الكمية.
• نموذج جديد للنماذج التوليدية: من خلال فصل تعقيد أخذ العينات عن القيود الخوارزمية لـ MCMC، يفتح هذا المنهج الباب لتدريب آلات بولتزمان كاملة الاتصال والنماذج التوليدية المعقدة الأخرى (مثل VAEs) التي كان من الصعب الوصول إليها سابقًا بسبب صعوبة أخذ العينات.
• إطار عمل مستقل عن الأجهزة: رغم استخدامه على D-Wave (التي تعتمد على الموصلات الفائقة)، فإن الإطار النظري وطريقة إعادة القياس قابلة للتطبيق على الأنظمة الكمية التناظرية الأخرى، بما في ذلك أنظمة الذرات المتعادلة.
• الجسر نحو النماذج القائمة على البوابات: يشير المؤلفون إلى أنه يمكن تقريب ديناميكيات التلدين على الحواسيب الكمية القائمة على البوابات عبر طريقة "تروتر" (Trotterization)، مما يمهد الطريق لتطبيقات مستقبلية مقاومة للأخطاء.

في الختام، تثبت هذه الدراسة أن الملدنات الكمية هي أجهزة فعالة وعالية الأداء لأخذ عينات بولتزمان في تعلم الآلة، بشرما يتم تصحيح الانحرافات المنهجية في درجة حرارة الأجهزة عبر إعادة القياس التحليلي.