ملخص تقني: التدريب بالتوجيه الخاضع للإشراف لنماذج الانتشار ذات الأبعاد اللانهائية

بيان المشكلة

تتطلب المسائل العكسية، ولا سيما تلك الناشئة عن المعادلات التفاضلية الجزئية (PDEs)، استنتاج بارامترات مجهولة توجد في فضاءات دالية ذات أبعاد لانهائية. وفي إطار بايزي (Bayesian framework)، يتمثل الهدف في أخذ عينات من توزيع خلفي (posterior distribution) فوق هذه الدوال، بشرط ملاحظات مشوبة بالضجيج. وبينما تم توسيع نماذج الانتشار القائمة على الدرجة (score-based diffusion models) مؤخرًا لتشمل فضاءات دالية ذات أبعاد لانهائية لتعمل كنماذج سابقة (priors) تعبيرية، فإن نظرية تكييف هذه النماذج لأخذ عينات من التوزيع الخلفي لا تزال مشكلة مفتوحة.

تعتمد تقنيات التكييف ذات الأبعاد المحدودة الموجودة، مثل تحويل دووب $h$-transform، على تفكيك الكثافة ومعاملات الانتقال التي لا يمكن ترجمتها مباشرة إلى أبعاد لانهائية. وتشمل التحديات عدم وجود كثافات ليبزيغ (Lebesgue densities)، وإمكانية تفرد المقاييس (حسب مبرهنة فيلدمان-هاجيك) عند إزاحة مقاييس غاوس خارج فضاء كاميرون-هامنت (Cameron-Martin space)، وصعوبة ضمان قابلية الاشتقاق لمعاملات الانتقال في فضاءات هيلبرت. علاوة على ذلك، فإن تقطيع البيانات (discretizing) فورًا لتطبيق طرق الأبعاد المحدودة يؤدي إلى أخطاء تعتمد على الدقة ويحد من مرونة الإطار العملي.

المنهجية

الأساس النظري: تحويل دووب $h$-transform في الأبعاد اللانهائية

يقترح المؤلفون إطارًا مبدئيًا لتكييف نماذج الانتشار ذات الأبعاد اللانهائية باستخدام امتداد لتحويل دووب $h$-transform. وقد أثبتوا وجود عملية انتشار شرطية تحت إعدادين:

1. الإعداد 1: التوزيع السابق مدعوم داخل كرة من فضاء كاميرون-هامنت لعملية وينر المستخدمة في معادلة الانتشار التفاضلية (SDE).
2. الإعداد 2: التوزيع السابق مطلق الاستمرارية بالنسبة لمقياس غاوسي، مع حدود محددة لدالة الجهد ومشتقها.

تحت هذين الإعدادين، يثبت المؤلفون أن العملية الشرطية المعكوسة زمنياً تحقق معادلة تفاضلية ستوكاستيكية (SDE) حيث يتم تعديل الانجراف (drift) بواسطة حد توجيه. وتحديدًا، يوضحون أن دالة الدرجة الشرطية، $s_y(t, x)$، تتفكك إلى الدرجة غير الشرطية، $s(t, x)$، وحد توجيه، $C\nabla \log h_y(t, x)$:
$$s_y(t, x) = s(t, x) + C\nabla \log h_y(t, x)$$
حيث أن $h_y$ هي تحويل دووب $h$-transform في الأبعاد اللانهائية المعرف عبر التوقع الشرطي لإمكانية الاحتمالية (likelihood potential).

التدريب بالتوجيه الخاضع للإشراف (SGT)

بما أن حد التوجيه $C\nabla \log h_y$ غير قابل للحل حسابيًا بسبب اعتماده على قانون الانتقال الكامل للعملية ذات الأبعاد اللانهائية، فقد قدم المؤلفون التدريب بالتوجيه الخاضع للإشراف (SGT). هذا الأسلوب هو هدف تدريب غير قائم على المحاكاة (simulation-free) مصمم لتعلم حد التوجيه مباشرة.

• الهدف: تتبع الطريقة هدف مطابقة درجة إزالة الضجيج (denoising score matching loss). وبدلاً من الاعتماد على التحكم الأمثل العشوائي القائم على المحاكاة (والذي يعاني من تباين عالٍ ويتطلب أخذ عينات من المسارات)، يستفيد SGT من الدرجة غير الشرطية المعروفة $s(t, x)$ والتوزيع المشترك للبيانات والملاحظات $(X_0, Y)$.
• دالة الخسارة: تمت صياغة الخسارة لتقليل الفرق بين حد التوجيه المتعلم $u(t, x, y)$ وحد التوجيه الحقيقي. الهدف هو:
  $$\mathbb{E} \left[ \left\| \frac{X_t - e^{-t/2}X_0}{1 - e^{-t}} + s(t, X_t) + u(t, X_t, Y) \right\|^2_K \right]$$
  حيث $K$ هو فضاء هيلبرت مختار (على سبيل المثال، فضاء كاميرون-هامنت).
• البارامترية (Parametrization): يتم تمثيل حد التوجيه باستخدام شبكة عصبية. استكشف المؤلفون تهيئة مخرجات الشبكة مسبقًا باستخدام مؤثر التغاير $C$ بدرجات متفاوتة ($k \in \{0, 1/2, 1\}$) لفرض الانتظام والمواءمة مع بنية الضجيج في الـ SDE.

التقريبات والمقارنات

يحلل البحث أيضًا الأساليب الاستدلالية (heuristic) الموجودة:

• التحكم الأمثل العشوائي (SOC): رغم أنه سليم نظريًا، إلا أن SOC يتطلب تدريبًا قائمًا على المحاكاة، وهو أمر مكلف حاسبيًا وغير مستقر في مراحل التدريب الأولى.
• تقريب تريدي (FunDPS): وسع المؤلفون تقريب FunDPS (الذي يستخدم صيغة تريدي لتقدير البيانات النظيفة) ليشمل الإعداد 2 (الاستمرارية المطلقة)، مما خفف من القيود المفروضة في الأعمال السابقة. ومع ذلك، أشاروا إلى أن هذا النهج لا يزال يتضمن عبئًا حاسبيًا بسبب الحاجة إلى الانتشار العكسي (backpropagation) عبر نموذج الدرجة في كل خطوة تقطيع.

المساهمات الرئيسية

1. التمديد النظري: يقدم البحث أول إثبات صارم لإمكانية تكييف نماذج الانتشار ذات الأبعاد اللانهائية عبر تحويل دووب $h$-transform تحت إعدادات عامة (دعم كاميرون-هامنت أو الاستمرارية المطلقة)، مما يثبت تفكك الدرجة الشرطية إلى درجة غير شرطية وحد توجيه.
2. التدريب بالتوجيه الخاضع للإشراف (SGT): اقترح المؤلفون خوارزمية تدريب جديدة غير قائمة على المحاكاة لتعلم حد التوجيه المستعصي. يتجنب هذا النهج التباين العالي للأساليب القائمة على المحاكاة والتكلفة الحسابية للاشتقاق عبر نموذج الدرجة في كل خطوة (كما هو مطلوب في تقريبات تريدي).
3. ثبات الدقة (Resolution Invariance): من خلال معالجة المشكلة في الأبعاد اللانهائية وتقطيعها فقط في الخطوة النهائية، يوفر الإطار نهجًا ثابت الدقة للتكييف، متجنبًا تدهور الأداء الذي يظهر غالبًا عند تطبيق معماريات الأبعاد المحدودة على دقات أعلى.
4. تعميم FunDPS: يثبت العمل أن تقريبات تريدي (FunDPS) تظل صالحة تحت الإعداد 2 الأكثر مرونة (الاستمرارية المطلقة)، مما يوسع نطاق تطبيقها.

النتائج التجريبية

قيم المؤلفون SGT على ثلاث مسائل عكسية بايزية في الفضاءات الدالية:

1. الملاحظات المتفرقة (Sparse Observations): استعادة دالة أحادية البعد من ملاحظات نقطية مشوبة بالضجيج.
2. معادلة الحرارة (Heat Equation): استعادة التوزيع الأولي لدرجة الحرارة لمعادلة الحرارة من ملاحظات مشوبة بالضجيج في وقت لاحق.
3. ترميم الشكل (Shape Inpainting): إعادة بناء الأشكال (الرقم "3" من MNIST) من معاملات فوريه جزئية (وصف فوريه الإهليلجي).

النتائج:

• الأداء: يتفوق SGT باستمرار على خط الأساس الاستدلالي FunDPS من حيث جذر متوسط مربع الخطأ (RMSE) ودرجة الطاقة (ES).
• المقارنة مع الانتشار الشرطي: يحقق SGT دقة تقارب "الانتشار الشرطي" المدرب من الصفر (والذي يعمل كحد أعلى)، رغم أن النموذج الشرطي أكبر بكثير وتم تدريبه لخطوات أكثر.
• المتانة: في التجارب مع النماذج غير الشرطية غير الكاملة (سواء كانت مهيأة عشوائيًا أو مدربة جزئيًا)، أظهر SGT متانة فائقة، حيث استعاد عينات واقعية في حين فشل FunDPS تمامًا.
• الكفاءة: يتطلب SGT بارامترات وخطوات تدريب أقل من تدريب نموذج شرطي كامل من الصفر، حيث يقوم فقط بتدريب شبكة التوجيه مع إعادة استخدام نموذج غير شرطي مدرب مسبقًا.

الأهمية والادعاءات

يدعي البحث أنه يقدم أول طريقة للفضاءات الدالية لضبط النماذج الانتشارية المدربة (fine-tuning) لأخذ عينات بدقة من التوزيع الخلفي. تكمن الأهمية في سد الفجوة بين المتطلبات النظرية للاستدلال البايزي في الأبعاد اللانهائية والتطبيق العملي لنماذج الانتشار.

يؤكد المؤلفون أن إطار عملهم يسمح بـ:

• ثبات الدقة: القدرة على توليد عينات بدقات مختلفة عن بيانات التدريب دون تدهور في الأداء.
• الاستقرار: نظام تدريب مستقر حتى عندما يكون النموذج غير الشرطي الأساسي غير مثالي.
• المرونة: خيارات بديلة للتقطيع، والتدريب، ودوال الخسارة التي لا تتقيد بافتراضات الكثافة ذات الأبعاد المحدودة.

يخلص العمل إلى أن تعلم حد التوجيه في الأبعاد اللانهائية بشكل صريح يؤدي إلى دقة متفوقة مقارنة بالتقريبات الاستدلالية، مما يوفر مسارًا مبدئيًا لتطبيق نماذج الانتشار في المسائل المعقدة في العلوم والهندسة.