ملخص تقني: درس تعليمي حول نظرية الانتشار: من المعادلات التفاضلية إلى نماذج الانتشار

بيان المشكلة

لقد برزت نماذج الانتشار (Diffusion models) كنموذج مهيمن في النمذجة التوليدية، ومع ذلك، يتسم هذا المجال بتعدد الصيغ: سلاسل ماركوف المنفصلة (DDPM)، والمعادلات التفاضلية العشوائية المستمرة (SDEs)، والمعادلات التفاضلية العادية لتدفق الاحتمالية (ODEs)، ومطابقة الدرجة (Score matching)، ومطابقة التدفق (Flow matching). وبينما تُعرف هذه النهج بكونها مرتبطة ببعضها البعض، فإن الارتباطات الرياضية الدقيقة بينها — لا سيما فيما يتعلق بأهداف التدريب، وديناميكيات الزمن العكسي، وإجراءات أخذ العينات — غالباً ما تكون محجوبة بسبب اختلاف التدوينات أو الاختلاف بين المنظورات المنفصلة والمستمرة. يهدف هذا الدرس التعليمي إلى توحيد هذه المنظورات عبر اشتقاق نماذج الانتشار حصرياً من وجهة نظر المعادلات التفاضلية، وإنشاء جسر صارم بين العمليات الغاوسية الشرطية، وديناميكيات الانتشار الهامشية، وصيغ الزمن العكسي المقابلة لها.

المنهجية

يتبنى البحث إطاراً رياضياً صارماً متجذراً في حساب التفاضل والتكامل العشوائي والمعادلات التفاضلية الجزئية لإعادة بناء نظرية نماذج الانتشار. تسير المنهجية عبر المراحل المنطقية التالية:

1. العملية الأمامية الشرطية: يبدأ المؤلفون بتعريف عملية انتشار غاوسية أمامية شرطية $X_t | X_0 = x_0$ محكومة بالمعاملات $\alpha_t$ و $\sigma_t$. ويبرهنون أن هذا المسار المحدد يقبل تمثيلين متكافئين:

   • معادلة تفاضلية عادية (ODE) شرطية مدفوعة بحقل سرعة مشتق من الدرجة الشرطية (conditional score).
   • معادلة تفاضلية عشوائية (SDE) شرطية مدفوعة بحد الانجراف (drift term) وحركة براونية.
     ويثبت البحث أن الكثافة الشرطية تحقق كلاً من معادلة الاستمرارية (بالنسبة للـ ODE) ومعادلة فوكر-بلانك (بالنسبة للـ SDE).

2. التهميش (Marginalization): من خلال حساب متوسط العملية الشرطية على توزيع البيانات $p_0$، يشتق المؤلفون العملية الأمامية الهامشية. ويظهرون أن الكثافة الهامشية $p_t(x)$ تحقق أيضاً معادلة استمرارية ومعادلة فوكر-بلانك. ومن الأهمية بمكان أنهم يستخدمون هوية فيشر (Fisher's Identity) لربط الدرجة الهامشية $\nabla \log p_t(x)$ بتوقع الدرجة الشرطية، مما يثبت أن حقل السرعة الهامشي هو توقع حقل السرعة الشرطي.

3. الديناميكيات العكسية: يقدم البحث متغير الزمن العكسي $\tau = 1-t$ ويشتق ديناميكيات الزمن العكسي.

   • المعادلة التفاضلية العشوائية العكسية (Reverse SDE): باستخدام عكس الزمن للـ SDE الأمامية، يشتق المؤلفون الـ SDE العكسية، والتي تُحكم بالدرجة الهامية $\nabla \log p_t(x)$.
   • المعادلة التفاضلية العادية العكسية (Probability-Flow ODE): يشتقون معادلة تفاضلية عادية حتمية تشترك في نفس مسار الكثافة الهامشية مع الـ SDE العكسية. ويُظهر أن "معادلة تدفق الاحتمالية" هذه تمتلك حقل سرعة هو تحويل خطي للدرجة.

4. أهداف التدريب: يربط الدرس التعليمي هدف التنبؤ بالضجيج القياسي المستخدم في الممارسة العملية بهدف مطابقة الدرجة النظري. وباستخدام هوية التعامد، يثبت المؤلفون أن تقليل متوسط الخطأ التربيعي بين تنبؤ الشبكة العصبية والضجيج الحقيقي يكافئ (حتى ثابت معين) تقليل خسارة مطابقة الدرجة. وهذا يثبت أن هدف التدريب القياسي يتعلم الدرجة الهامشية المطلوبة لكل من الـ SDE العكسية والـ ODE العكسية.

5. أخذ العينات والتوحيد: يفصل البحث خوارزميات أخذ العينات لكل من الـ SDE العكسي المتعلم (Euler–Maruyama) والـ ODE العكسي (Euler, Heun, and DPM-Solver). أخيراً، يقوم بربط خوارزميات DDPM و DDIM المنفصلة صراحةً بهذا الإطار المستمر:

   • يُظهر أن DDPM يقابل تقريباً منفصلاً للـ SDE العكسية، حيث يستخدم الحد العشوائي التباين البعدي الدقيق للسلسلة المنفصلة.
   • يُظهر أن DDIM يقابل تقريباً منفصلاً للـ ODE العكسي (الحتمي)، مع وجود معامل عشوائية $\eta$ يسمح بالانتقال بين الاثنين.

6. التوجيه ومطابقة التدفق: يتم توسيع الإطار ليشمل توجيه المصنف (classifier guidance) وتوجيه المصنف الحر (classifier-free guidance)، موضحاً كيف تعدل هذه العمليات حد الانجراف العكسي. علاوة على ذلك، يوحد البحث بين مطابقة الدرجة (Score Matching) ومطابقة التدفق (Flow Matching)، مبيناً أن خسارة الانتشار القياسية يمكن تفسيرها كهدف مطابقة تدفق موزون لـ "معادلة تدفق الاحتمالية" المستحثة.

المساهمات الرئيسية

• الاشتقاق الموحد: يقدم البحث اشتقاقاً متسقاً واحداً يوضح أن المسار الغاوسي الشرطي الأمامي يقبل تمثيلات ODE و SDE، وأن تهميش هذا المسار ينتج صيغ ODE و SDE هامشية متسقة.
• تكافؤ الأهداف: يثبت بصرامة أن خسارة التنبؤ بالضجيض القياسية تكافئ مطابقة الدرجة، ويوضح كذلك أن هذه الخسارة نفسها تستحث هدف مطابقة تدفق لـ الـ ODE العكسي الحتمي.
• توحيد DDPM/DDIM: يربط العمل صراحةً بين خوارزميات DDPM و DDIM المنفصلة وأطر الـ SDE والـ ODE المستمرة. ويوضح أن أخذ عينات DDPM هو تقريب من الدرجة الأولى للـ SDE العكسية (مع معالجة محددة للتباين)، بينما DDIM هو تقريب للـ ODE العكسي.
• توضيح مصطلحات الضجيج: يقدم الملحق توضيحاً مفصلاً للرموز الثلاثة للضجيج ($W_t$, $W^{rev}_\tau$, $\bar{W}_t$) المستخدمة في الزمان الأمامي والعكسي، مما يحل الالتباس الاصطلاحي الشائع المتعلق بالحركة البراونية في سياقات الزمن المعكوس.
• تعميم التوجيه: يصيغ الدرس التعليمي كلاً من توجيه المصنف وتوجيه المصنف الحر ضمن إطار الـ SDE/ODE العكسي، موضحاً كيف تعدل هذه العمليات حد الانجراف عبر الدرجة الشرطية.

النتائج

لا يقدم البحث نتائج تجريبية جديدة أو اختبارات معيارية، بل إن "نتائجه" هي اشتقاقات وبراهين نظرية:

• النظرية 1.2 و 1.4: إثبات أن المسار الغاوسي الشرطي يتم توليده بواسطة كل من ODE و SDE محددين.
• النظرية 2.1 و 2.2: إثبات أن العملية الهامشية يتم توليدها بواسطة صيغ ODE و SDE الهامشية.
• النظرية 3.3 و 3.5: اشتقاق الـ SDE العكسي والـ Probability-Flow ODE العكسي، وإثبات أنهما يتشاركان في نفس مسار الكชันة.
• النظرية 4.2: إثبات التكافؤ بين خسارة التنبؤ بالضجيج وخسارة مطابقة الدرجة.
• النظرية 7.6 و 7.7: إثاء أن تدريب واستدلال DDPM يتوافقان مع إطار الـ SDE العكسي على شبكة منفصلة.
• النظرية 7.8: إثبات أن DDIM الحتمي يتوافق مع إطار الـ ODE العكسي.
• التقرير 8.1: إثبات أن خسارة الانتشار هي هدف مطابقة تدفق موزون لسرعة الـ ODE العكسي.

الأهمية والادعاءات

يضع البحث نفسه كـ درس تعليمي يهدف إلى توضيح الأسس النظرية لنماذج الانتشار الحديثة. وتكمن أهميته في:

1. الربط بين المنفصل والمستمر: يحل الفجوة الظاهرية بين صيغ سلاسل ماركوف المنفصلة (DDPM) وصيغ الـ SDE/ODE المستمرة (Song et al., 2020; Lipman et al., 2023)، مبيناً أنها مجرد تقريبات منفصلة لنفس الديناميكيات المستمرة الأساسية.
2. توحيد المنظورات: يوحد منظور "الدرجة" (تعلم $\nabla \log p_t$) مع منظور "التدفق" (تعلم حقل السرعة $v_t$)، موضحاً أنه في حالة الانتشار، يرتبط هذان المنظوران عبر تحويل خطي بسيط.
3. الدقة التربوية: من خلال اشتقاق كل خطوة من المبادئ الأولى (النوى الغاوسية الشرطية، معادلات فوكر-بلانك، حساب إيتو)، يوفر البحث مرجعاً ذاتي الاحتواء يتجنب التناقضات الاصطلاحية التي توجد غالباً في المجالات الفرعية المختلفة للنمذجة التوليدية.

يدعي المؤلفون أن هذا الإطار يوفر "لغة واحدة" لفهم نماذج الانتشار، ومطابقة التدفق، ومطابقة الدرجة، مما يسمح للباحثين برؤية أن الـ SDE العكسي هو النموذج التوليدي العشوائي، بينما الـ ODE العكسي هو نموذج التدفق الحتمي، وكلاهما مدفوع بنفس دالة الدرجة المتعلمة.