Riemannian Diffusion Models on General Manifolds via Physics-Informed Neural Networks

ملخص تقني: نماذج الانتشار الريمانية على المتشعبات العامة عبر الشبكات العصبية المستوحاة من الفيزياء

1. بيان المشكلة

تعمل نماذج الانتشار الريمانية على تعميم النمذجة التوليدية القائمة على الدرجة (score-based generative modeling) لتشمل البيانات التي تقطن في متشعبات ملساء (smooth manifolds) عبر تعريف عمليات انتشار أمامي بواسطة الحركة البراونية الريمانية. وتتمثل إحدى العقبات الحرجة في تدريب هذه النماذج وأخذ العينات منها في الحاجة إلى الوصول إلى نواة الحرارة للمتشعب (manifold heat kernel) -وهي كثافة الانتقال للحركة البراونية- ومشتقاتها. وتحديداً، يتطلب هدف التدريب (مطابقة الدرجة لإزالة الضجيج - Denoising Score Matching) تقييم الدرجة الشرطية $\nabla_x \log p_{t|0}(x|x_0)$، بينما يتطلب أخذ العينات الأمامي سحب عينات من نواة الحرارة.

وعلى الرغم من أن نواة الحرارة معروفة في صيغ مغلقة للمتشعبات عالية التماثل (مثل الفضاء الإقليدي، والكرات، والطورات)، إلا أنها نادرة الوجود في الصيغ التحليلية للمتشعبات الريمانية العامة. وتكون التقريبات الحالية، مثل التقاربات قصيرة المدى (صيغة فارادان - Varadhan's formula) أو التوسعات الطيفية، مقيدة غالباً بنطاقات محددة (مثل الزمن الصغير $t$) أو تتطلب افتراضات بنيوية قوية (مثل زمر لي المتراصة - compact Lie groups)، مما يحد من قابليتها للتطبيق العملي في السياقات الهندسية المتنوعة.

2. المنهجية

يقترح المؤلفون إطار عمل عام لتقريب نواة الحرارة من خلال حل معادلة حرارة المتشعب مباشرة باستخدام الشبكات العصبية المستوحاة من الفيزياء (PINNs). وتمر الطريقة عبر أربع مراحل رئيسية:

أ. اختيار نظام الإحداثيات والتمثيل (Embedding)
بدلاً من استخدام رقع من مخططات الإحداثيات المحلية، تقوم الطريقة بتمثيل المتشعب المستهدف $M$ داخل متشوف أكبر $\tilde{M}$ (عادةً ما يكون $\mathbb{R}^N$) كمتشعب فرعي أو متشعب قسمة.

• المتشعبات الفرعية (Submanifolds): تُعرف عبر قيود $f_i(x)=0$. ويتم اشتقاق المقياس والمؤثرات التفاضلية باستخدام مصفوفة إسقاط $P(x)$ التي تربط الفضاء المحيط بالمماس للمتشعب $M$.
• متشعبات القسمة (Quotient Manifolds): تُعرف عبر تحديد النقاط تحت تأثير زمرة معينة (مثل تماثل التبديل). وتعامل الطريقة نقاط المدار كنقاط متطابقة، وغالباً ما تستخدم ممثلين نموذجيين.

ب. اشتقاق معادلة الحرارة
باستخدام الإحداثيات المحيطة ومصفوفة الإسقاط، يشتق المؤلفون الصيغة الصريحة لمؤثر لابلاس-بيلترامي $\Delta_M$ ومعادلة فوكر-بلانك (الحرارة) المقابلة:
$$\partial_t p_{t|0}(x|x_0) = \Delta_M p_{t|0}(x|x_0)$$
وتُعبر هذه المعادلة بالكامل بدلالة المقياس المحيط ومصفوفة الإسقاط، مما يسمح بالحساب القائم على الإحداثيات دون الحاجة إلى مخططات إحداثيات جوهرية.

ج. تقريب الشرط الابتدائي
بما أن شرط ديراكا دلتا الابتدائي $p_{0|0} = \delta_{x_0}$ لا يمكن فرضه عددياً، يقوم المؤلفون بتهيئة الـ PINN عند زمن صغير $t_0 > 0$ باستخدام تقريب تقاربي مبدئي رصين. ويستخدمون طريقة البارامتريكس (parametrix method) (تكرار ميناكيسينديرام-بليجال) للحصول على توسيع من رتبة أعلى لنواة الحرارة:
$$p_{t_0}(x|x_0) \approx G_t^{(n)}(x, x_0) = G_t(x, x_0) \left( u_0 + u_1 t + \dots + u_{n-1} t^{n-1} \right)$$
حيث $G_t$ هو المصطلح الشبيه بـ "غوسيان"، و $u_k$ هي معاملات مشتقة من الهندسة (مثل تشوه الحجم والانحناء).

د. تدريب الـ PINN
يتم تدريب شبكة عصبية $\phi_\theta(t, x)$ لتقريب لوغاريتم نواة الحرارة $\log p_{t|0}$. ويقلل هدف التدريب من مزيج من:

1. خسارة الشرط الابتدائي/الحدودي: الفرق بين مخرج الشبكة والمهيئ التقاربي عند $t=t_0$.
2. خسارة بقايا المعادلة التفاضلية الجزئية (PDE Residual Loss): بقايا معادلة الحرارة $\partial_t \phi - \Delta_M \phi - \|\nabla \phi\|^2 = 0$ (والتي تمت إعادة كتابتها بالنسبة للوغاريتم الكثافة).

ويستخدم المؤلفون أوزان خسارة تكيفية وتعلم المناهج (curriculum learning) (توسيع الفاصل الزمني تدريجياً) لضمان الاستقرار.

هـ. التكامل في نماذج الانتشار
يعمل الـ PINN المدرب كبديل لنواة الحرارة، مما يتيح عمليتين رئيسيتين:

1. أخذ العينات الأمامي: يتم توليد العينات عبر طرق ماركوف (MCMC) (مثل المسارات العشوائية الجيوديسية) باستخدام الكثافة التي يقدرها الـ PINN.
2. تقييم الدرجة (Score Evaluation): يتم حساب الدرجة الشرطية $\nabla_x \log p_{t|0}$ عن طريق اشتقاق الـ PINN، والذي يُستخدم بعد ذلك لتدريب نموذج الانتشار العكسي عبر مطابقة الدرجة لإزالة الضجيج (DSM).

3. المساهمات الرئيسية

• بديل عام قائم على المعادلات التفاضلية الجزئية: تقدم الورقة طريقة لتقريب نواذج الحرارة على أي متشعب عبر حل معادلة الحرارة عددياً، متجاوزة الحاجة للحلول المغلقة أو الافتراضات الطيفية المقيدة.
• اشتقاق خالٍ من الإحداثيات: يوفر الإطار طريقة منهجية لاشتقاق معادلة الحرارة للمتشعبات المعرفة كمتشعبات فرعية أو متشعبات قسمة للفضاءات الإقليدية، مما يجعلها قابلة للتطبيق على هندسات معقدة مثل $S^2$ و $SO(3)$ و $SPD(n)$ وسحب النقاط ذات التماثل التبادلي.
• تحليل الاستقرار: يقدم المؤلفون تبريراً نظرياً (النظرية 4.1) يوضح أن حل معادلة الحرارة من شرط ابتدائي تقريبي يؤدي إلى حل بخطأ محدود لجميع قيم $t \ge t_0$، مما يضمن موثوقية بديل الـ PINN.
• الانتشار الخالي من التماثل (Permutation-Invariant Diffusion): تم تطبيق الطريقة على متشعب القسمة $\mathbb{R}^{k \times n}/S_n$، مما يتيح عمليات انتشار تحيد صراحةً تبديلات الذرات لتوليد الجزيئات، وهو سياق يفشل فيه الانتشار الإقليدي القياسي في احترام التماثلات الهيكلية.

4. النتائج التجريبية

تم تقييم الطريقة على متشعبات وبيانات متنوعة:

• البيانات الكروية ($S^2$): تقدير كثافة الأحداث الجيوفيزيائية (البراكين، الزلازل، الفيضانات، حرائق الغابات). حققت الط المقترحة نتائج تنافسية أو متفوقة في احتمالية الاختبار (test log-likelihood) مقارنة بنماذج RSGM التي تعتمد على تقريبات فارادان والطرق الطيفية.
• بيانات الدوران ($SO(3)$): أظهر نمذجة الخليط الاصطناعية احتمالات اختبار أفضل من نماذج RSGM المرجعية.
• المصفوفات الموجبة المحددة ($SPD(n)$):
  • تحليل حركة المرور ($SPD(10)$): التوليد الشرطي لمصفوفات تدفق حركة المرور من بيانات تاكسي نيويورك. قللت الطريقة من مسافة فرويبينيوس إلى الحقيقة الأرضية مقارنة بـ SPD-DDPM.
  • اتصال الدماغ ($SPD(n)$): التوليد الشرطي لمصفوفات اتصال تخطيط كهربية الدماغ (EEG). حققت الطريقة درجات دقة وقوة (F1 scores) عالية، منافسة لـ DiffeoCFM (الذي يستخدم التحويلات التماثلية للفضاء الإقليدي) ومتفوقة على LowTriDDPM.
• توليد الجزيئات ($\mathbb{R}^{k \times n}/S_n$): توليد الجزيئات في فضاء قسمة التبديل. أنتجت الطريقة جزيئات ذات صلاحية واستقرار أعلى من خط الأساس EDM (نوع VE)، وإن كانت بصلاحية أقل، مما يعكس المقايضة المعروفة بين الصلاحية والجدة (validity-novelty trade-off).

التحقق: تحقق المؤلفون من بدائل الـ PINN بمقارنة لوغاريتمات الكثافة والدرجات المتعلمة مقابل التقريبات المرجعية (حيثما توفرت) وبالإبلاغ عن بقايا PDE والخطأ الحدودي المعيارية، مما أكد أن البدائل تحقق معادلة الحرارة.

5. الأهمية والادعاءات

تدعي الورقة أن تقريب نواة الحرارة القائم على المعادلات التفاضلية الجزئية يوفر بديلاً عملياً وعاماً للطرق الحالية للانتشار الريماني. ومن خلال معاملة نواة الحرارة كحل لمعادلة تفاضلية جزئية معروفة، توسع هذه الطريقة نطاق تطبيق الانتشار الريماني الخالي من الانجراف (drift-free) ليشمل المتشعبات التي لا تتوفر لها نوى تحليلية.

يضع المؤلفون هذا العمل كمنظور "حل معادلة الحرارة" الذي يوسع إمكانية تطبيق نماذج الانتشار على المتشعبات بما يتجاوز الهندسات البسيطة. ومع ذلك، فقد أقروا بتواضع ببعض القيود:

• التكلفة الحسابية: يتطلب تدريب الـ PINN موارد كبيرة بسبب الاشتقاق التلقائي عالي الرتبة وتقييمات نقاط التصادم (collocation).
• الاستقرار: قد يكون التدريب غير مستقر في الأبعاد العالية أو للهندسات المعقدة، مما قد يتطلب انحيازات استقرائية أقوى.
• التعقيد: المسار أكثر تعقيداً من البدائل مثل "مطابقة التدفق" (Flow Matching)، التي تتجنب تماماً تقدير نواة الحرارة.

لا تدعي هذه الدراسة استبدال "مطابقة التدفق"، بل تسعى لتوفير خلفية ضرورية لنماذج الدرجة (score-based models) على المتشفيات حيث قد لا يكون اعتماد مطابقة التدفق على الاستكمال الجيوديسي أو الخرائط الأسية كافياً، أو حيث تكون البنية المحددة لنواة الحرارة مطلوبة.