ملخص تقني: تصنيف انتشاري (Diffusive Classification) لتعلم نماذج التوليد القائمة على الطاقة

1. بيان المشكلة

تقدم النماذج القائمة على الطاقة (EBMs) إطار عمل مرن للنمذجة الاحتمالية، حيث تُعرّف كثافة البيانات كدالة أسية لدالة طاقة قابلة للتعلم. وخلافًا لنماذج التوليد القائمة على الدرجة (مثل نماذج الانتشار/Diffusion Models) التي تتعلم تدرج لوغاريتم الكثافة (الدرجة)، تقوم النماذج القائمة على الطاقة بنمذجة مشهد الطاقة بشكل صريح. هذه القدرة حاسمة للمهام اللاحقة التي تتطلب وصولاً مباشراً إلى قيم الطاقة، مثل بناء مولدات بولتزمان (Boltzmann Generators)، والنمذجة التركيبية (الجمع بين عدة نماذج)، وتقدير فروق الطاقة الحرة في الفيزياء الإحصائية.

ومع ذلك، يظل تدريب النماذج القائمة على الطاقة (EBMs) تحدياً كبيراً. فتقدير الاحتمال الأقصى (ML) المباشر مكلف حوسبياً بسبب الثابت المعياري غير القابل للحساب، والذي يتطلب عملية أخذ عينات متداخلة ومكلفة. وبناءً على ذلك، يعتمد الباحثون غالباً على مطابقة الدرجة لإزالة الضجيج (Denoising Score Matching - DSM)، والتي تتعلم دالة الدرجة (تدرج الطاقة) بكفاءة. ورغم فعاليتها في التوليد، إلا أن الطرق القائمة على الدرجة تعاني من "عمى الأنماط" (mode blindness)؛ لأن الدرجة تعتمد فقط على التدرجات المحلية، فهي تفشل في التقاط النسب النسبية (أوزان الخلط) للمناطق ذات الكثافة العالية المنفصلة. ونتيجة لذلك، لا تستطيع أهداف مطابقة الدرجة استعادة مشهد الطاقة الحقيقي أو الأوزان الصحيحة بين الأنماط المنفصلة بشكل موثوق، مما يحد من فائدتها للمهام التي تتطلب تقدير الكثافة بدقة.

2. المنهجية: التصنيف الانتشاري (DiffCLF)

لمعالجة قيود مطابقة الدرجة مع الحفاظ على الكفاءة الحوسبية، يقترح المؤلفون التصنيف الانتشاري (DiffCLksi - DiffCLF). تعيد هذه الطريقة صياغة مشكلة تعلم دالات الطاقة المعتمدة على الزمن كمهمة تصنيف خاضعة للإشراف عبر مستويات مختلفة من الضجيج.

الصيغة الجوهرية

تعمل هذه المنهجية ضمن إطار عملية عشوائية عامة $Y_t = X_t + \gamma(t)Z$، حيث $X_t$ هي عملية مصدر و $Z$ هو ضجيج غاوسي. الهدف هو تقدير الكثافات الهامشية $p_t$ حتى الثابت المعياري باستخدام نموذج قائم على الطاقة يتم تمثيله بـ $p_\theta^t(y) = \exp(-U_\theta^t(y) + F_\theta^t)$، حيث $U_\theta^t$ هي الطاقة و $F_\theta^t$ هو ثابت معياري قابل للتعلم (انحياز/bias).

تُعرف دالة هدف DiffCLF، وهي $L_{clf}$، عن طريق أخذ عينات من $N$ من الخطوات الزمنية $t_1, \dots, t_N$ ومعاملة التوزيعات الهامشية عند هذه الأوقات كفئات متميزة. عند إعطاء عينة $y$ مستمدة من زمن محدد $t_i$، يتم تدريب النموذج لتصنيف أي خطوة زمنية أنتجتها. دالة الخسارة هي الإنتروبيا المتقاطعة الفئوية (categorical cross-entropy):
$$L_{clf}(\theta; t_{1:N}) = -\frac{1}{N} \sum_{i=1}^N \mathbb{E}_{p_{t_i}} \left[ \log \frac{p_\theta^{t_i}(Y_{t_i})}{\sum_{j=1}^N p_\theta^{t_j}(Y_{t_i})} \right]$$
هذه الصيغة تتعلم فعلياً نسب الكثافة بين مستويات الضجيج المختلفة. ويتم نمذجة الاحتمال البعدي للفئة $i$ المعطى $y$ كدالة "softmax" فوق النماذج القائمة على الطاقة:
$$p_\theta(c=i|y) = \frac{p_\theta^{t_i}(y)}{\sum_{j=1}^N p_\theta^{t_j}(y)}$$

التحسين المشترك

لضمان أن الطاقات المتعلمة ليست متسقة فقط مع مهمة التصنيف ولكن أيضاً دقيقة في تدرجاتها، يتم دمج DiffCLF مع هدف مطابقة الدرجة القياسي لإزالة الضجيج (DSM). الهدف المشترك هو:
$$L_{joint} = L_{DSM} + L_{clf}$$
يثبت المؤلفون أنه بينما تمتلك $L_{clf}$ وحدها قيم صغرى غير فريدة (مما يسمح بتغيير مقاييس الكثافات بشكل تعسفي)، فإن الجمع مع $L_{DSM}$ يضمن وجود قيم صغرى فريدة تستعيد التوزيعات الهامشية الحقيقية $p_t$.

الكفاءة الحوسبية

تكلفة DiffCLF مقاربة لـ DSM القياسي. فبينما يتطلب DSM تقييمين للشبكة العصبية لكل عينة زمنية (الأمامي والخلفي للحصول على التدرج)، يتطلب هدف DiffCLF متعدد الفئات $N$ من التقييمات. وعند الجمع بينهما، تبلغ التكلفة الإجمالية $N+1$ من التقييمات لكل خطوة زمنية. وفي حالة التصنيف الثنائي ($N=2$)، لا يضيف ذلك سوى تقييم واحد إضافي مقارنة بـ DSM، مما يجعل النهج عالي القابلية للتوسع.

3. المساهمات الرئيسية

• هدف مبتكر: تقديم DiffCLF، وهو هدف خفيف الوزن ومرن يعيد صياغة تقدير لوغاريتم الكثافة كمهمة تصنيف متعدد الفئات عبر مستويات الضجيج.
• ضمانات نظرية: إثبات أن الهدف المشترك ($L_{DSM} + L_{clf}$) يستعيد التوزيع الحقيقي بشكل فريد وليس "أعمى للأنماط"، على عكس طرق مطابقة الدرجة الصرفة. كما يثبت المؤلفون الاتساق والنمطية التقاربية للمقدر.
• الارتباط بالأعمال السابقة: تؤسس الورقة روابط نظرية بين DiffCLF والأساليب الموجودة، حيث تُظهر أن خسارة التصنيف الثنائي تتقارب مع مطابقة درجة الزمن (tSM) في حد الزمن المستمر، وتربط الطريقة بتقدير التباين المعاكس للضجيج (NCE) وطريقة قبول بينيت متعددة الحالات (MBAR).
• التحقق التجريبي: إثبات فعالية الطريقة عبر مختلف العمليات العشوائية (نماذج الانتشار والمداخلات العشوائية/Stochastic Interpolants) والأبعاد.

4. النتائج التجريبية

يتحقق المؤلفون من صحة DiffCLF من خلال تجارب واسعة على مجموعات بيانات اصطناعية وواقعية:

• المزيج الغاوسي الاصطناعي: في حالات المزيج الغاوسي عالية الأبعاد (تصل إلى 128 بعداً)، تحقق DiffCLF خسارة تصنيف أقل بكثير واتساقاً أفضل في استعادة أوزان المزيج مقارنة بـ DSM وConditional Time Score Matching (CtSM). وبينما تحقق جميع الطرق "تباعد فيشر" (Fisher Divergence) متقارباً (دقة الدرجة) و"تباعد المتوسط الأعلى" (Maximum Mean Discrepancy) متقارباً (جودة العينات)، فإن DiffCLF وحدها هي التي تلتقط النسب النسبية للأنماط المنفصلة بشكل صحيح.
• الأنظمة الجزيئية: تُظهر التجارب على الجهود الجزيئية (Müller-Brown، Alanine Dipeptide، Chignolin) أن DiffCLF تتعلم دالات طاقة أكثر دقة عند $t=0$ دون إضعاف جودة أخذ عينات الانتشار. وهي تحقق أداءً يضاهي طرق تنظيم فوكر-بلانك (Fokker-Planck regularization) ولكن مع سرعات تدريب أسرع بكثير (تسريع بمقدار 1.5-2.5 ضعفاً).
• التطبيقات اللاحقة:
  • النمذجة التركيبية: في مهام التركيب من نوع "AND" و "OR"، تنجح النماذج المدربة باستخدام DiffCLF في الحفاظ على النسب الصحيحة للتوزيعات المركبة، بينما تفشل النماذج القائمة على DSM في الحفاظ على هذه الأوزان بسبب عمى الأنماط.
  • مولدات بولتزمان: عند استخدامها لبناء مولدات بولتزمان عبر مونت كارلو التسلسلي (SMC)، تنتج الطاقات المدربة بـ DiffCLF عينات أكثر دقة ومسافات Wasserstein/KS أقل مقارنة بالنماذج المرجعية DSM وCtSM.
  • تقدير الطاقة الحرة: في مهام التكامل الديناميكي الحراري (TI) لتقدير طاقة الذوبان الحرة، توفر DiffCLF تقديرات أكثر دقة من الطرق المرجعية.

5. الأهمية والادعاءات

تزعم الورقة أن DiffCLF توفر حلاً بسيطاً، وفعالاً، وسليماً نظرياً للمشكلة طويلة الأمد المتمثلة في تدريب النماذج القائمة على الطاقة دون العبء الحوسبي لأخذ العينات المتداخلة أو قيود "عمى الأنماط".

يؤكد المؤلفون أن طريقتهم توسع فائدة النماذج التوليدية القائمة على الدرجة لما وراء مجرد توليد العينات. فمن خلال تمكين التقدير الدقيق للطاقة، تسهل DiffCLF مجموعة من التطبيقات اللاحقة في الحوسبة العلمية والنمذجة الاحتمالية، بما في ذلك:

• مولدات بولتزمان: إنشاء عينات غير منحازة لتوزيعات بولتزمان المعقدة.
• التوليد التركيبي: دمج عدة نماذج توليدية لتشكيل توزيعات جديدة (حواصل أو مخاليط) دون الحاجة لإعادة التدريب.
• تقدير الطاقة الحرة: حساب فروق الطاقة الحرة بدقة في الفيزياء الإحصائية.

تضع هذه الدراسة DiffCLF كمبدأ تدريب متعدد الاستخدامات يتكامل بسلاسة مع الأطر الموجودة (مثل DSM) وينطبق على نطاق واسع عبر مختلف العمليات العشوائية، بما في ذلك سلاسل ماركوف ذات الزمن المستمر للانتشار المنفصل. ويخلص المؤلفون إلى أنه بينما تقتصر تجاربهم الحالية في النطاق (بالتركيز على الأنظمة الاصطناعية والجزيئية)، فإن الطريقة تقدم اتجاهاً واعداً للتطبيقات المستقبلية واسعة النطاق، مثل نمذجة الصور وتوليد النصوص.