ملخص تقني: النمذجة التوليدية عبر مطابقة التدفق (Flux Matching)

بيان المشكلة

تعتمد النمذجة التوليدية في أحدث ما توصل إليه العلم، لا سيما في المجالات عالية الأبعاد مثل تخليق الصور، وتصميم البروتينات، والروبوتات، بشكل كبير على النماذج القائمة على الدرجة (score-based models). تتعلم هذه النماذج دالة درجة ستين (Stein score function)، $\nabla \log p_{\text{data}}(x)$، عادةً عبر مطابقة الدرجة (score matching). وبمجرد تعلمها، تُستخدم هذه الدرجة لدفع عمليات الانتشار (مثل ديناميكيات لانجفينيان) لأخذ عينات من التوزيع المستهدف $p_{\text{data}}$.

ومع ذلك، فإن دالة الدرجة ليست الحقل المتجهي الوحيد القادر على توليد $p_{\text{data}}$. فوفقًا لـ معادلة فوكر-بلانك (Fokker–Planck equation - FPE)، يوجد أي حقل متجهي $f_\theta$ يحقق الشرط $\nabla \cdot (p_{\text{data}} f_\theta) = \nabla \cdot (p_{\text{data}} \nabla \log p_{\text{data}})$ سيكون له $p_{\text{data}}$ كتوزيع مستقر. وهذا يعني وجود عائلة غير متناهية من الحقول المتجهية التوليدية (الحقول غير المحافظة) التي يمكنها توليد نفس التوزيع المستهدف ولكنها تستحث ديناميكيات مختلفة (مثل معدلات خلط مختلفة، أو أنماവിات دوران، أو تبعيات موجهة).

تفرض أهداف مطابقة الدرجة الحالية على النموذج التقارب نحو نقطة واحدة في هذا الفضاء ($\nabla \log p_{\text{data}}$)، مما يؤدي إلى معاقبة أي انحراف حتى لو كان هذا الانحراف يحافظ على التوزيع المستهدف. وهذا يحد من القدرة على ترميز التحيزات الاستقرائية المفيدة، أو الأولويات الهيكلية، أو الخصائص الديناميكية (مثل سرعة الخلط أو التبعيات السببية) مباشرة في الحقل التوليدي.

المنهجية: مطابقة التدفق (Flux Matching)

يقترح المؤلفون مطابقة التدفّق (Flux Matching)، وهو نموذج جديد يعمم مطابقة الدرجة من خلال تعلم أي حقل متجهي ضمن عائلة الحقول التي تولد التوزيع المستهدف، بدلاً من إجبار النموذج على مطابقة الدرجة نقطة بنقطة.

الهدف الجوهري

بدلاً من تقليل تباعد فيشر (Fisher divergence) بين $f_\theta$ والدرجة $\nabla \log p_{\text{data}}$، تقوم مطابقة التدفق بتقليل تباعد التدفق الاحتمالي (probability flux). والشرط ليكون الحقل توليديًا هو:
$$\nabla \cdot (p_{\text{data}} f_\theta) = \nabla \cdot (p_{\text{data}} \nabla \log p_{\text{data}})$$
هذا الشرط أضعف من المساواة النقطية، مما يسمح بوجود "فضاء صفري" (nullspace) يحتوي على عدد لا نهائي من الحقول المتجهية الصالحة.

الاشتقاق النظري

لتحسين هذا الشرط، يعرّف المؤلفون تباعد فيشر المسقط (Projected Fisher Divergence):
$$\tilde{J}(\theta) := \mathbb{E}_{x \sim p_{\text{data}}} \left[ \| \Pi_{\text{flux}} f_\theta(x) - \nabla \log p_{\text{data}}(x) \|^2 \right]$$
حيث يقوم $\Pi_{\text{flux}}$ بإسقاط الحقل المتجهي على فضاء حقول التدرج التي تشترك في نفس تباعد التدفق. وبينما يُعد $\tilde{J}(\theta)$ سليمًا من الناحية النظرية، إلا أنه غير قابل للحل حسابيًا في الأبعاد العالية.

يشتق المؤلفون خسارة مطابقة التدفق ($L_{\text{flux}}$) القابلة للتطبيق عبر:

1. تعريف الحقل المتبقي $u_\theta = f_\theta - \nabla \log p_{\text{data}}$ ومعامل لانجفينيان-ستين $r_\theta = \nabla \cdot u_\theta + u_\theta \cdot \nabla \log p_{\text{data}}$.
2. استخدام محاكاة الانتشار $d x_t = \nabla \log p_{\text{data}}(x_t) dt + \sqrt{2} dW_t$ لنشر $r_\theta$ عبر توزيع البيانات.
3. تطبيق التكامل بالتجزئة وحيلة إيقاف التدرج (stop-gradient) لتحويل الهدف إلى صيغة تتجنب الانتشار الخلفي عبر المشتقات المسارية المكلفة.

الخسارة النهائية هي:
$$L_{\text{flux}}(\theta) := -\mathbb{E}_{t \sim q, x_0 \sim p_{\text{data}}, x_t | x_0} \left[ \frac{1}{q(t)} u_\theta(x_0)^\top \text{sg}\left( \frac{\partial x_t}{\partial x_0}^\top \nabla_{x_t} r_\theta(x_t) \right) \right]$$
حيث يشير $\text{sg}$ إلى عامل إيقاف التدرج. ويثبت المؤلفون أن $\nabla_\theta \tilde{J}(\theta) = 2 \nabla_\theta L_{\text{flux}}(\theta)$.

تكييف الضجيج والتنفيذ العملي

تمتد الطريقة إلى الإعدادات المُلدنة بالضجيج (noise-annealed) (على غرار نماذج الانتشار) من خلال تعلم سلسلة مستمرة من الحقول لمستويات الضجيج $\sigma$.

• تقريب الدرجة: بما أن $\nabla \log p_{\text{data}}$ غير معروف، يستخدم المؤلفون تقريب تقدير كثافة النواة (KDE) غير المعلمي على دفعات مصغرة (mini-batches) لتقدير الدرجة.
• تقليل التباين: لتقدير الحد المساري $\frac{\partial x_t}{\partial x_0}^\top \nabla_{x_t} r_\theta(x_t)$، يستخدم المؤلفون مُقدّر السلسلة المتقاطعة (cross-chain estimator) باستخدام جميع العينات في دفعة مصغرة، موزونة باحتمالات الانتقال الغاوسية، بدلاً من الاعتماد على سلسلة واحدة.

اختيار حقول محددة

تتعلم مطابقة التدفق عائلة من الحقول. ولتحديد حقل معين بخصائص مرغوبة، يقترح المؤلفون استراتيجيتين:

1. خسارة خاصة بالتطبيق: إضافة خسائر مساعدة (مثل سرعة الخلط أو القيود الهيكلية) إلى هدف مطابقة التدفق.
2. التمثيل البارامتري للنموذج: قيود معمارية (مثل أقنعة الانتباه السببية) تفرض هياكل محددة مباشرة في $f_\theta$.

المساهمات الرئيسية

1. نموذج مطابقة التدفق: تقديم إطار عمل للنمذجة التوليدية يتعلم الحقول المتجهية بما يتجاوز الدرجة عبر مطابقة تباعد التدفق الاحتمالي.
2. اشتقاق خسارة فعالة: اشتقاق خسارة مطابقة تدفق قابلة للتوسع تحافظ على هندسة تباعد فيشر مع السماح بحقول غير محافظة.
3. التمدد إلى التلدين بالضجيج: التوسع إلى التوزيعات الملدنة بالضجيج، مما يتيح التطبيق على مجموعات بيانات صور معقدة وعالية الأبعاد.
4. المرونة المثبتة: تقديم أدلة تجريبية تظهر أن مطابقة التدفق تمكن تطبيقات مستحيلة تحت مطابقة الدرجة القياسية، بما في ذلك:
   • سرعة الخلط: تعلم حقول متجهية تسرع تقارب أخذ العينات.
   • القابلية للتفسير: ملاءمة النماذج الديناميكية ذات المعنى البيولوجي (مثل سرعة RNA) دون تقريبات عصبية "الصندوق الأسود".
   • الديناميكيات المهيكلة: تضمين التبعيات الموجهة (مثل الانحدار الذاتي الزمني) مباشرة في الحقل التوليدي.

النتائج

يقيّم البحث مطابقة التدفق عبر خمسة إعدادات:

1. الحقول القابلة للتحكم (بيانات تجريبية): في خليط غاوسي ثنائي الأبعاد، تعطي مطابقة التدفق خسارة صفرية للحقول التي تحافظ على التوزيع المستهدف ولكنها تمتلك ديناميكيات مختلفة (مثل الدوران أو الدوران المداري)، بينما تعاقب مطابقة الدرجة هذه الانحرافات.
2. الحقول القابلة للتفسير (سرعة RNA): عند تطبيقها على علم الجينوم أحادي الخلية، تقوم مطابقة التدفق بملاءمة معاملات نموذج scVelo الديناميكي عبر التدرج المنحدر. وقد تفوقت على ملاءمة scVelo القياسية القائمة على EM من حيث الاتساق وصحة الحدود عبر خمس مجموعات بيانات، مما يثبت أن المكاسب تأتي من عملية التحسين وليس من زيادة قدرة النموذج التعبيرية.
3. التوليد غير المقيد (الصور): في CIFAR-10 وCelebA، تعمل مطابقة التدفق كهدف مستقل. وبينما تحقق درجات FID تنافسية، إلا أنها حاليًا أبطأ بمقدار 3-4 مرات وتستخدم ذاكرة أكثر بمقدار 2-3 مرات أثناء التدريب مقارنة بـ Denoism Score Matching (DSM). ومع ذلك، فهي قابلة للتوسع في التوزيعات عالية الأبعاد.
4. الخلط السريع: من خلال تحسين نموذج وسيط للخلط، تتعلم مطابقة التدفق حقولًا تصل إلى درجات FID معقولة بعدد خطوات أخذ عينات أقل بكثير من مطابقة التدفق العادية أو DSM.
5. تضمين الهيكل: في مهمة توليد المسارات (الزنبركات غير الخطية)، نجحت مطابقة التدفق في دمج قناع انتباه سببي لفرض الانحدار الذاتي الزمني. في المقابل، يؤدي تطبيق نفس القناع على DSM إلى تدهور الأداء لأن جاكوبي الدرجة المتماثل يتعارض مع التبعيات الموجهة.

الأهمية والادعاءات

يزعم المؤلفون أن مطابقة التدفق تفتح "بعدًا جديدًا" في النمذجة التوليدية من خلال التعامل مع الحقل المتجهي نفسه كـ خيار تصميمي وليس كهدف ثابت.

• ما وراء أخذ العينات: القيمة الأساسية ليست بالضرورة استبدال DSM لتوليد الصور القياسي (حيث أن DSM مُحسَّن للغاية)، بل تمكين الديناميكيات ذات الخصائص المفيدة.
• المرونة: تسمح للممارسين بفرض التحيزات الاستقرائية، والأولويات الهيكلية، والقيود الميكانيكية مباشرة في العملية التوليدية.
• التطبيقات: يسلط البحث الضوء على حالات استخدام محددة تتيحها هذه المرونة: أخذ عينات أسرع عبر الديناميكيات غير العكوسة، والنماذج العلمية القابلة للتفسير (مثل سرعة RNA)، والنماذج التوليدية ذات الهياكل السببية أو الزمنية المحددة مسبقًا.

يخلص البحث إلى أنه بينما تتحمل مطابقة التدفق حاليًا تكاليف حسابية أعلى، فإن قدرتها على تعلم حقول توليدية غير محافظة ومهيكلة تقدم أداة قوية للتطبيقات حيث تكون الديناميكيات الخاصة بالتوليد بنفس أهمية التوزيع الناتج.