ملخص تقني: نماذج الانتشار المعدلة بطريقة ميتروبوليس (MADM)

بيان المشكلة

تنطوي عملية أخذ العينات من نماذج الانتشار القائمة على الدرجة (score-based diffusion models) بطبيعتها على تحيز ناتج عن مصدرين: خطأ التقريب في دالة الدرجة المتعلمة، وخطأ التجزئة الزمنية الناتج عن المكاملات العددية. في إطار "المتنبئ-المصحح" (Predictor-Corrector) القياسي، تقوم خطوة المتنبئ (غالبًا ما تكون معادلة تدفق الاحتمالية ODE) بنقل العينة بين مستويات الضجيج، تليها خطوة المصحح (عادةً ما تكون خوارزمية لانجفان غير المعدلة ULA) لتنقية العينة عند مستوى الضجيج الحالي.

بينما تستخدم خوارزمية ULA دالة الدرجة لاقتراح التحركات، إلا أنها هي نفسها أخذ عينات متحيز لأنها تجزئ عملية انتشار لانجفان المستمرة. وبناءً على ذلك، فإن "المصحح" في إطار المتنبئ-المصحح يُدخل تحيز التجزئة الخاص به، مما يؤدي إلى الفشل في ترك توزيع الهامش المستهدف ثابتًا. لا يمكن تطبيق آليات ميتروبوليس-هستينغز (MH) أو باركر (Barker) القياسية للقبول والرفض، والتي تصحح مثل هذا التحيز في سلاسل ماركوف مونت كارلو (MCMC)، مباشرة على نماذج الانتشار؛ وذلك لأن MH تتطلب تقييم نسبة الكثافات المستهدفة، $p_t(\tilde{x})/p_t(x)$، وهو أمر غير قابل للحساب في نماذج الانتشار حيث تتوفر فقط دالة الدرجة $s_\phi(x, t) \approx \nabla_x \log p_t(x)$.

المنهجية

يقترح المؤلفون نماذج الانتشار المعدلة بطريقة ميتروبوليس (MADM)، وهو إطار عمل يستبدل مصححات ULA المتحيزة بخطوات لانجفان المعدلة بالقبول والرفض. الابتكار الجوهري هو طريقة لحساب احتمال القبول اللازم باستخدام دالة الدرجة فقط، متجاوزة بذلك الحاجة إلى نسبة الكثافة المستعصية.

1. هوية نسبة الكثافة

أثبت المؤلفون أن لوغاريتم نسبة الكثافة المستهدفة يمكن التعبير عنه كتكامل خطي لدالة الدرجة على طول المسار بين الحالة الحالية $x$ والمقترح $\tilde{x}$:
$$\log \left( \frac{p_t(\tilde{x})}{p_t(x)} \right) = \int_0^1 \langle s(x + u(\tilde{x} - x), t), \tilde{x} - x \rangle \, du$$
تسمح هذه الهوية بتقدير نسبة الكثافة باستخدام تقييمات دالة الدرجة فقط.

2. التصحيح الدقيق عبر مصنع برنولي

لتحقيق تصحيح دقيق دون الحاجة لتقييم الكثافة، يقترح المؤلفون خوارزمية تعتمد على مصنع برنولي ذي العملتين (Gonçalves et al., 2017).

• الافتراض: يوجد حد $C(x, \tilde{x})$ بحيث تكون القيمة المطلقة للمتكامل في التكامل الخطي محصورة بـ $C$.
• الآلية: تبني الخوارزمية مقدّرًا غير متحيز $W$ لأس التكامل (المُقاس بالحد) باستخدام سلسلة قوى مقطوعة بـ "بواسون".
• الإجراء: تستخدم الخوارزمية إجراء "العملتين" لمحاكاة قرار قبول ورفض باركر. أولاً، يتم الرفض باحتمالية ثابتة $\alpha'$، وإذا لم يتم الرفض، يتم رمي عملة باحتمالية $W$. إذا نجحت العملة، يتم قبول المقترح؛ وإلا، تُعاد المحاولة.
• النتيجة: ينتج عن هذا الإجراء مصحح لانجفان معدل بدقة باركر يترك توزيع الهدف $p_t$ ثابتًا، بشرط أن تكون الدرجة دقيقة وأن يتحقق فرض الحد.

3. التقريب الفعال عبر قاعدة سيمبسون

إدراكًا منهم أن طريقة مصنع برنولي الدقيقة تتطلب عددًا عشوائيًا وكبيرًا من تقييمات دالة الدرجة، يقترح المؤلفون تقريبًا قابلاً للتوسع باستخدام قاعدة سيمبسون 1/3.

• الطريقة: يتم تقريب التكامل الخطي حتميًا باستخدام قاعدة سيمبسون 1/3 (وهي قاعدة تربيع نيوتن-كوتس). يتطلب هذا تقييم الدرجة عند الحالة الحالية، والمقترح، والنقطة الوسطى.
• القبول: يتم إدخال التقدير الناتج في احتمال قبول ميتروبوليس-هستينغز القياسي.
• الخصائص: بينما يؤدي هذا إلى تحيز طفيف بسبب تقليم التربيع، إلا أن التقريب يحقق دقة من الرتبة $O(h^{5/2})$ في حجم الخطوة $h$. كما أنه منخفض التكلفة الحسابية، حيث يتطلب تقييمًا إضافيًا واحدًا فقط لدالة الدرجة لكل مقترح.

المساهمات الرئيسية

1. إطار عمل MADM: تقديم إطار عمل لمصحح معدل بميتروبوليس لنماذج الانتشار يستبدل خطوات ULA المتحيزة بشكل منهجي.
2. الطريقة الدقيقة: أول طريقة دقيقة لتعديل تصحيحات لانجفان في نماذج الانتشار باستخدام مصنع برنولي ذي العملتين، والتي تتطلب فقط دالة الدرجة وحدًا للتكامل الخطي.
3. التقريب القابل للتوسع: تقريب عملي باستخدام قاعدة سيمبسون يحقق دقة عالية من الرتبة ($O(h^{5/2})$) مع تكلفة هامشية شبه معدومة (تقييم إضافي واحد لدالة الدرجة).
4. التحقق التجريبي: إثبات تحسن جودة العينات على كل من مجموعات البيانات الاصطناعية ومجموعات بيانات الصور.

النتائج

قيم المؤلفون MADM على مجموعات بيانات اصطناعية ثنائية الأبعاد ومعايير الصور القياسية (CIFAR-10, FFHQ, AFHQv2, ImageNet-64) باستخدام نماذج مدربة مسبقًا من Karras et al. (2022).

• مجموعات البيانات الاصطناعية: في مجموعات البيانات ثنائية الأبعاد (اللولب، القمع، مثلث Sierpinski، المروحة)، أنتجت العينات السلفية القياسية (المكافئة لمتنبئ مع مصحح ULA) عينات بها قيم متطرفة كبيرة خارج نطاق توزيع البيانات الحقيقي. نجحت خطوات مصحح MADM في إعادة هذه العينات إلى نطاق البيانات، مما أدى إلى القضاء على القيم المتطرفة.
• مجموعات بيانات الصور:
  • بالنسبة للنماذج غير المشروطة (CIFAR-10, FFHQ, AFAFv2)، أدى تطبيق خطوة تصحيح MADM واحدة لكل خطوة متنبئ إلى تحسينات ثابتة، وإن كانت متواضعة، في مسافة فريدشيه لإنتروبيا (FID) مقارنة بالنماذج الأساسية الحتمية (Heun و Euler ODE solvers).
  • بالنسبة لنموذج ImageNet-64 المشروط بالفئة، كانت المكاسب أكثر وضوحًا. استخدام MADM مع متنبئ Euler حقق تحسينات أكبر في FID مقارنة باستخدام متنبئ Heun من رتبة أعلى بدون تصحيح. يشير هذا إلى أن تعديلات MH أكثر فعالية في تخفيف أخطاء التجزئة من مجرد زيادة رتبة حل ODE عندما يكون عدد الخطوات كبيرًا.
• التكلفة الحسابية: وُجد أن الطريقة الدقيقة (الخوارزمية 2) مكلفة حسابيًا بسبب العدد العشوائي من تقييمات دالة الدرجة المطلوبة. بناءً على ذلك، استخدمت التجارب بشكل أساسي تقريب قاعدة سيمبسون (الخوارزمية 3)، الذي قدم مكاسب ثابتة بتكاليف إضافية يمكن إدارتها.

الأهمية والادعاءات

يدعي البحث توفير أول طريقة دقيقة لتعديل تصحيحات لانجفان في نماذج الانتشار، مما يعالج التحيز المتأصل في مصححات ULA. من خلال الاستفادة من دالة الدرجة لتقدير نسب الكثافة عبر التكاملات الخطية، يتيح MADM استخدام معايير قبول MCMC صارمة في النمذجة التوليدية دون الحاجة للوصول إلى كثافة البيانات المستعصية.

يضع المؤلفون MADM كامتداد طبيعي لإطار عمل المتنبئ-المصحح الذي يحسن جودة العينات. ويشيرون إلى أنه بينما الطريقة الدقيقة ذات أهمية نظرية، فإن تقريب قاعدة سيمبسون يقدم حلاً عمليًا وقابلاً للتوسع يحسن FID باستمرار في معايير الصور. يفترض العمل وجود تقدير مثالي للدرجة، مع الاعتراف بأن هذا يمثل قيدًا متأصلًا في نماذج الانتشار وليس عيبًا في منهجيتهم. ويُقترح أن يركز العمل المستقبلي على تطوير متغيرات أكثر كفاءة للطريقة الدقيقة أو روتيناتها الفرعية.