Symmetric Equilibrium Propagation for Thermodynamic Diffusion Training

ملخص تقني: الانتشار التوازني المتماثل لتدريب الانتشار الديناميكي الحراري

1. بيان المشكلة

يُعد تدريب نماذج الانتشار القائمة على الدرجة (score-based diffusion models) حالياً غير مستدام من الناحية الحسابية، ويرجع ذلك أساساً إلى استهلاك الطاقة الهائل الناتج عن توجيه التدرجات العالمي (backpropagation) على المسرعات الرقمية. وبينما أظهرت الأبحاث السابقة أن مرحلة الاستدلال (عملية الانتشار العكسي) يمكن تحقيقها فيزيائياً على ركائز تناظرية ذات اقتران ثنائي خطي ومنخفضة الطاقة باستخدام ديناميكيات لافنتزين (Langevin dynamics) المفرطة في التخميد، إلا أن حلقة التدريب ظلت تمثل عنق زجاجة. وتحديداً، لم تكن هناك طريقة معروفة لتدريب هذه النماذج محلياً على نفس الركيزة التناظرية دون توجيه التدرجات إلى معالج رقمي خارجي، مما قد يلغي المزايا الطاقية للعتاد التناظري.

** 2. المنهجية**

يقترح البحث إطار عمل للتدريب يعتمد على الانتشار التوازني المتماثل (Symmetric Equilibrium Propagation - EqProp) المصمم لبيئة طاقة ذات اقتران ثنائي خطي.

• بنية الركيزة: يستخدم النموذج دالة طاقة ذات اقتران ثنائي خطي $E_\theta(x)$، حيث تُستبدل اتصالات التخطي الكثيفة (المميزة لشبكات U-Nets) باقترانات بين الوحدات ذات رتبة منخفضة ($W_{mm'} = U_{mm'}V_{mm'}^\top$). يقلل هذا من تعقيد الأسلاك من $O(D^2)$ إلى $O(Dk)$.
• بروتوكول EqProp: بدلاً من الانتشار العكسي، يستخدم النظام عملية استرخاء مكونة من مرحلتين:
  1. المرحلة الحرة (Free-phase): يسترخي النظام إلى حالة توازن مستقرة $x_0^\star$ تحت تأثير الطاقة غير المضطربة $E_\theta$.
  2. المرحلة المدفوعة (Nudged-phase): يتم تطبيق "دفعة" ضعيفة ($\beta$) على الوحدات المخرجة عبر دالة تكلفة $C(x_O)$، ويسترخي النظام إلى حالة جديدة $x_\beta^\star$.
• الدفعة المتماثلة (Symmetric Nudging): للحد من الانحياز، نفذ المؤلفون مقدراً متماثلاً يقوم بمتوسط التدرجات من كل من الدفعة الموجبة ($+\beta$) والدفعة السالبة ($-\beta$).
• الإطار الرياضي: يستخدم المؤلفون مبرهنة الدالة الضمنية والتوسعات من الدرجة الثالثة لمشهد الطاقة لاستنباط العلاقة بين الاسترخاء الفيزيائي وتدرج مطابقة درجة الضجيج (denoising score-matching gradient) الحقيقي.

3. المساهمات الرئيسية

يقدم البحث أربعة براهين نظرية (مبرهنات) ونتيجة عملية واحدة:

• المبرهنة 1 (عدم الانحياز): تثبت أنه في حد الدفعة الصفرية ($\beta \to 0$)، يوفر EqProp مقدراً غير منحاز لتدرج مطابقة درجة الضجيج.
• المبرهنة 2 (حد الانحياز): تحدد أن الانحياز في حالة الدفع المحدود يتم التحكم فيه عبر صلابة الركيزة، والتقوس المحلي، ونورم (norm) تدرج الخسارة.
• النتيجة 3 (التبسيط الثنائي الخطي): نتيجة حاسمة تظهر أن البنية الثنائية الخطية للاقتران تؤدي إلى تلاشي أحد حدود الانحياز الرئيسية من الدرجة الثالثة تماماً بالنسبة لتحديثات معاملات الاقتران.
• المبرهنة 4 (الترقية المتماثلة): تثبت أن الدفع المتماثل يحسن الانحياز من الدرجة الأولى $O(\beta)$ إلى $O(\beta^2)$، مما يزيد الدقة بشكل كبير للدفوع المحدودة.
• نقطة التشغيل المثلى: توفر حلاً مغلقاً لمعامل الدفع الأمثل ($\beta^\dagger_{sym}$) عبر الموازنة بين الانحياز والتباين.

4. النتائج

تم التحقق من المنهجية من خلال عمليات محاكاة عددية على ركيزة ذات اقتران ثنائي خطي:

• محاذاة التدرج: وُجد أن EqProp أحادي الجانب ينتج تدرجات ذات ارتباط عكسي (تشابه جيب التمام $\approx -0.73$) بسبب أخطاء الاسترخاء المحدودة. في المق المقابل، حقق Symmetric EqProp تدرجات متوافقة جيداً (تشابه جيب التمام $\approx +0.77$)، مما يؤكد ضرورة النهج المتماثل للعتاد الفيزيائي.
• تدرج الانحياز: أكدت مخططات (log-log) التجريبية التوقع النظري: حيث يتدرج EqP أحادي الجانب عند $O(\beta)$ بينما يتدرج Symmetric EqP عند $O(\beta^2)$.
• ديناميكيات التدريب: نجح Symmetric EqP في تقليل مسارات الخسارة، مع تحسن محاذاة التدرج من $0.6$إلى$0.9$ خلال عملية التدريب.
• كفاءة الطاقة: تشير حسابات الوحدات الفيزيائية إلى تفوق في الطاقة يتراوح بين $10^3$ إلى $10^4\times$ لكل خطوة تدريب مقارنة بمعيار GPU المناظر.

5. الأهمية

يعمل هذا العمل على "إغلاق الحلقة" للحوسبة الديناميكية الحرارية للذكاء الاصطناائي التوليدي. فمن خلال توفير قاعدة تدريب محلية تعتمد على القراءة فقط وتحافظ على الاقتران منخفض الرتبة للركيزة، انتقل المؤلفون نحو مسار يمكن فيه إجراء كل من الاستدلال والتدريب على عتاد تناظري فائق انخفاض استهلاك الطاقة. هذا الإطار مستقل عن نوع الركيزة ويقدم بديلاً قابلاً للتوسع للانتشار العكسي الرقمي المستهلك للطاقة والذي يتطلبه حالياً تدريب نماذج الانتشار الرائدة.