📊 statistics

Simple Approximation and Derivative Free Inference-Time Scaling for Diffusion Models via Sequential Monte Carlo on Path Measures

تقدم هذه الورقة البحثية \texttt{URGE}، وهو خوارزمية لتوسيع نطاق الاستدلال في نماذج الانتشار (diffusion models) لا تعتمد على المشتقات، وتستخدم إعادة وزن المسار القائم على "جيرسانوف" (Girsanov-based path-wise importance reweighting) وإعادة أخذ العينات المتسلسلة لتحقيق توليد غير متحيز وعالي الجودة دون الحاجة إلى تقييمات للدرجة (score) أو التدرج (gradient).

المؤلفون الأصليون: Chenyang Wang, Weizhong Wang, Yinuo Ren, Jose Blanchet, Yiping Lu

نُشر 2026-05-19

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Chenyang Wang, Weizhong Wang, Yinuo Ren, Jose Blanchet, Yiping Lu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول رسم لوحة فنية رائعة، لكن ليس لديك سوى مسودة تقريبية لما يجب أن تبدو عليه الصورة النهائية. هكذا تعمل نماذج توليد الصور بالذكاء الاصطناعي الحديثة (التي تسمى نماذج الانتشار - Diffusion Models): فهي تبدأ بضجيج عشوائي ثم تقوم بـ "إزالة الضجيج" تدريجياً لتصل إلى صورة.

عادةً، إذا كنت تريد من الذكاء الاصطناعي اتباع تعليمات محددة (مثل "اجعلها تبدو أكثر واقعية" أو "أصلح الإضاءة")، فعليك تعديل عملية الرسم أثناء حدوثها. وهذا ما يسمى التدرج أثناء الاستدلال (inference-time scaling).

ومع ذلك، فإن الطرق الموجودة لتعديل هذه العملية تشبه محاولة توجيه سفينة عبر التحقق باستمرار من خريطة معقدة وحساب سرعة الرياح في كل ثانية. فهي تتطلب رياضيات ثقيلة (المشتقات والاشتقاقات) وتستهلك موارد حوسبة كبيرة، وغالباً ما تؤدي إلى أخطاء لأنها مجرد تقريبات.

تقدم الورقة البحثية طريقة جديدة تسمى URGE (إعادة أخذ العينات غير المنحازة عبر تقدير جيرسانوف - Unbiased Resampling via Girsaring Estimation). وإليك كيف تعمل، باستخدام تشبيهات بسيطة:

المشكلة: "المرشد الساذج"

تخيل أنك تقود مجموعة من 100 متنزّه (جسيمات) عبر غابة للبحث عن كنز مخفي (الصورة المثالية).

الهدف: تريدهم أن ينتهوا تماماً حيث يوجد الكنز.
الطريقة القديمة (التوجيه): أنت تعطيهم بوصلة تشير تقريباً نحو الكنز. لكن البوصلة ليست مثالية؛ بها خطأ طفيف. إذا اتبعت هذه البوصلة فحسب، ستنحرف المجموعة عن المسار.
التصحيح القديم: حاولت الطرق السابقة إصلاح هذا عن طريق التوقف كل بضع خطوات، والتحقق من المنحدر الرياضي الدقيق للتضاريس، وإخبار المتنزّهين بكيفية التعديل. هذا يتطلب خريطة مفصلة (مشتقات) يصعب الحصول عليها ويستغرق وقتاً طويلاً لقراءتها.

حل URGE: "رحلة إعادة أخذ العينات"

يغير URGE الاستراتيجية تماماً. فبدلاً من محاولة حساب المنحدر بدقة لكل متنزّه، فإنه يستخدم نظام يانصيب يعتمد على مدى جودة أدائهم.

أرسل الجميع للخارج: ترسل جميع المتنزّهين الـ 100 في نفس الوقت، متبعين نفس البوصلة غير المثالية (المسار الموجه).
"بطاقة النتائج" (إعادة الوزن): بدلاً من التحقق من خريطة التضاريس، تنظر ببساطة إلى المواقع النهائية للمتنزّهين بالنسبة للكنز.
- إذا كان المتنزّه قريباً من الكنز، يحصل على درجة عالية.
- إذا كان بعيداً، يحصل على درجة منخفضة.
- الأمر الحاسم: لست بحاجة لمعرفة لماذا هم هناك أو ما هو منحدر الأرض. أنت فقط تنظر إلى النتيجة.
"إعادة أخذ العينات" (اليانصيب):
- تجمع المتنزّهين.
- تطلب من المتنزّهين ذوي الدرجات العالية استنساخ أنفسهم (عمل نسخ من أفضل المسارات).
- تطلب من المتنزّهين ذوي الدرجات المنخفضة العودة إلى المنزل (استبعاد المسارات السيئة).
- الآن، لديك مجموعة جديدة من 100 متنزّه، جميعهم في مسارات أقرب إحصائياً إلى الكنز.
التكرار: تفعل هذا مراراً وتكراراً طوال الرحلة، وليس فقط في النهاية.

لماذا هذا مميز؟

لا حاجة لحساب التفاضل والتكامل: كانت الطرق القديمة تحتاج لمعرفة "منحدر" دالة المكافأة. أما URGE فلا يهتم بالمنحدر؛ هو يهتم فقط بالنتيجة النهائية. وهذا يعني أنه يمكنه العمل مع "المكافآت الصندوق الأسود" (مثل تفضيلات البشر أو الشبكات العصبية المعقدة) حيث لا يمكنك حساب الرياضيات وراء النتيجة.
خالٍ من التقريبات: تزعم الورقة أن هذه الطريقة "خالية من التقريب". في تشبيهنا، هذا يعني أن نظام اليانصيب يضمن رياضياً أنه إذا استمررت في استنساخ أفضل المسارات، فستنتهي المجموعة تماماً حيث يوجد الكنز، دون الانحراف الناتج عن البوصلة غير المثالية.
المسار مقابل الجسيم: الطرق السابقة نظرت إلى المتنزّهين الأفراد (الجسيمات) وحاولت دفعهم. أما URGE فينظر إلى الرحلة بأكملها (المسار) لكل متنزّه. إنه يشبه الحكم على العداء ليس فقط بمكانه عند خط النهاية، بل بجودة السباق بأكمله الذي خاضه.

النتائج

اختبر المؤلفون URGE على:

مسائل رياضية اصطناعية: حيث عرفوا الإجابة الدقيقة. تفوق URGE على أي طريقة أخرى في الوصول إلى الحقيقة.
ترميم الصور: إصلاح الصور الضبابية أو التالفة. أنتج URGE صوراً أكثر وضوحاً من الطرق السابقة، حتى بدون الحاجة إلى حسابات رياضية معقدة.
توليد الصور من النصوص: إنشاء صور من أوصاف نصية. أنتج URGE صوراً تتطابق مع الأوصاف النصية بشكل أفضل وتبدو أكثر جمالاً، حتى عند استخدام نموذج ذكاء اصطني أصغر وأقل قوة.

باختصار: URGE هو طريقة أذكى وأبسط لتوجيه مولدات الصور بالذكاء الاصطناعي. فبدلاً من القيام بعمليات حسابية ثقيلة لتوجيه السفينة، فإنه ببساطة يحتفظ بأفضل البحارة ويستبعد البقية، مما يضمن الوصول إلى الوجهة النهائية بدقة عالية ودون الحاجة إلى خريطة مفصلة للمحيط.

ملخص تقني: URGE – تقريب بسيط واستدلال خالي من المشتقات لتوسيع النطاق في وقت الاستدلال لنماذج الانتشار عبر مونت كارلو المتسلسل على مقاييس المسارات

1. بيان المشكلة

تُدرب نماذج الانتشار (Diffusion Models) والنماذج القائمة على التدفق (Flow-based) الحديثة عادةً لالتقاط توزيع البيانات $p_{\text{data}}$ . ومع ذلك، يتطلب النشر غالباً توجيه التوليد نحو أهداف لاحقة محددة (مثل الصلاحية الفيزيائية، أو المواءمة بين النص والصورة) دون إعادة التدريب. يمكن صياغة هذا كأخذ عينات من توزيع خلفي مائل بالمكافأة $q(x) \propto p_{\text{data}}(x)r(x)$ .

تحاول طرق توسيع النطاق الحالية في وقت الاستدلال، وخاصة التوجيه (Guidance)، تحقيق ذلك عن طريق تعديل الانجراف (Drift) في معادلة التفاضل العشوائي (SDE) لعملية أخذ العينات باستخدام حد التدرج المستمد من جهد توجيه $G$ . ورغم فعاليتها التجريبية، إلا أن التوجيه يفرض قيداً رياضياً جوهرياً: فهو لا يضمن أخذ عينات من التوزيع المائل الدقيق $q(x)$ . يتطلب أخذ العينات الدقيق تحويل Doob's $h$ -transform، والذي يتضمن حل معادلة Kolmogorov الخلفية، وهو أمر غالباً ما يكون مستعصياً في الأبعاد العالية.

تحاول البدائل الحالية، مثل FK-Corrector و AFDPS، تصحيح انحياز التوليد الموجه باستخدام مونت كارلو المتسلسل (SMC) عبر إعادة وزن الجسيمات. ومع ذلك، تعتمد هذه الطرق على المولدات اللحظية (Infinitesimal Generators) التي تتطلب الوصول إلى مشتقات من رتب عليا لدالة المكافأة (تحديداً الـ score $\nabla \log p_t$ ، والـ Laplacian $\Delta r$ ، و الـ Hessian لجهد التوجيه). هذه المتطلبات تترتب عليها تكاليف حسابية باهظة وتجعل هذه الطرق غير قابلة للتطبيق على نماذج المكافأة "الصندوق الأسود" (Black-box reward models) (مثل نماذج المكافأة العصبية المستخدمة في توليد النصوص والصور) حيث تكون المشتقات غير متوفرة أو مكلفة للغاية.

التحدي الجوهري الذي يعالجه هذا العمل هو: هل يمكننا تصميم إجراء لتوسيع النطاق في وقت الاستدلال خالٍ من التقريب، يلغي انحياز التوجيه غير الأمثل دون الحاجة إلى معلومات المشتقات الخاصة بالمكافأة؟

2. المنهجية: URGE

يقترح المؤلفون URGE (إعادة أخذ العينات غير المنحازة عبر تقدير Girsanov)، وهو خوارزمية لتوسيع النطاق في وقت الاستدلال خالية من المشتقات، تقوم بإعادة أخذ العينات عبر مسارات التوليد (فضاء المسار) بدلاً من العينات الفردية المولدة (فضاء الجسيمات).

الآلية الجوهرية

يستفيد URGE من نظرية Girsanov لإجراء تغيير في المقياس على فضاء المسار لعملية الانتشار.

التوليد الموجه: يتم محاكاة مسارات متعددة $\{X^{(i),G}_t\}$ باستخدام SDE موجه بجهد توجيه $G$ عشوائي (قد يكون غير مثالي).
$dX^G_t = (v(X^G_t, t) + V(t)^2 \nabla_x G(X^G_t, t))dt + V(t)dW_t$
إعادة الوزن عبر المسار: بدلاً من حساب الأوزان بناءً على المولدات اللحظية (التي تتطلب مشتقات)، يقوم URGE بتعيين وزن ضربي لكل مسار كامل بناءً على مشتق رادون-نيكوديم (Radon-Nikodym derivative) بين مقياس مسار الهدف المائل بالمكافأة $Q$ ومقياس المسار الموجه $P_G$ .
الوزن الهام لـ مسار عبر الفترة $[s, t]$ هو:
$w^{\text{URGE}}_{s,t} = \exp\left( \int_s^t -V(\tau)\nabla_x G(X^G_\tau, \tau)^\top dW_\tau - \frac{1}{2}\int_s^t V(\tau)^2 \|\nabla_x G(X^G_\tau, \tau)\|^2 d\tau + \int_s^t dr(X^G_\tau, \tau) \right)$
من الأهمية بمكان أن هذه الصيغة لا تتطلب $\nabla r$ أو $\Delta r$ أو $\nabla \log p_t$ . فهي تتطلب فقط دالة المكافأة $r$ وجهد التوجيه $G$ .
إعادة أخذ العينات: عند خطوات زمنية منفصلة، يتم إعادة أخذ عينات الجسيمات بالتناسب مع أوزان مساراتها. هذا ينفذ آلية "الولادة والموت" حيث يتم تكرار المسارات ذات المكافأة العالية وإقصاء المسارات ذات المكافأة المنخفضة، مما يدفع التوزيع التجريبي نحو التوزيع الخلفي الحقيقي $q$ .

التكافؤ النظري

تثبت الورقة وجود تكافؤ نظري بين إعادة أخذ العينات في فضاء المسار (URGE) وإعادة أخذ العينات في فضاء الجسيمات (FK-Corrector/AFDPS).

يثبت المؤلفون أن المولد الهامشي (Marginalized Generator) لعملية مسار URGE، عند اشتراطه على الحالة النهائية، يستعيد بدقة حد إعادة الوزن اللحظي المستخدم في FK-Corrector و AFDPS.
هذا يؤكد أن URGE هو خالٍ من التقريب (Approximation-free): فهو يتقارب نحو نفس التوزيع المستهدف كما تفعل طرق فضاء الجسيمات المثالية نظرياً (ولكن الكثيفة في المشتقات)، ولكنه يحقق ذلك عبر رفع بناء الوزن إلى فضاء المسار، مما يتجاوز الحاجة إلى حسابات المشتقات الصريحة.

3. المساهمات الرئيسية

إطار عمل جديد لخليط الخبراء (Mixture-of-Experts): يقدم المؤلفون طريقة تدمج SMC مع العمليات التوليدية من خلال إعادة أخذ العينات عبر المسارات بدلاً من العينات. وهذا يسمح ببناء أوزان مرن عبر تغيير مقياس Girsanov دون الحاجة إلى مشتقات المكافأة.
تنفيذ خالٍ من المشتقات: يلغي URGE الحاجة إلى دوال الـ score، أو الـ Hessian، أو الـ Laplacian للمكافأة. وهذا يجعل استخدامه ممكناً لنماذج المكافأة المعقدة و"الصندوق الأسود" (مثل CLIP، و ImageReward، ونماذج DPO-tuned) حيث يصعب الوصول إلى التدرجات.
التكافؤ النظري: تثبت الورقة أن إعادة الوزن عبر المسار في URGE، عند إسقاطها (Marginalization)، تستعيد بدقة هيكل الوزن المستخدم في الطرق المتطورة القائمة على المشتقات (FK-Corrector/AFDPS)، مما يضمن أن كلا المخططين ينتجان نفس القانون النهائي الخالي من التقريب.
التفوق التجريبي: يتفوق URGE باستمرار على الخطوط المرجعية الحالية (بما في ذلك متغيرات FK-Steering و AFDPS) عبر المهام الاصطناعية والواقعية.

4. النتائج التجريبية

قيم المؤلفون URGE عبر ثلاث معايير:

نموذج الخليط الغاوسي (اصطناعي):
- حقق URGE أدنى خطأ عبر جميع المقاييس (MMD, SWD, Mean L2, Covariance Frob) مقارنة بـ Pure Guidance و AFDPS و FK-Steering.
- أظهر كفاءة تقارب فائقة، حيث حقق نتائج أفضل بعدد أقل من الجسيمات مقارنة بالنماذج المرجعية.
- ظل URGE قوياً عبر مختلف الأبعاد وخطوات التجزئة (discretization steps)، مما أظهر حساسية أقل لحجم الخطوة مقارنة بالطرق المنافسة.
المسائل العكسية (ترميم الصور):
- تم الاختبار باستخدام Gaussian Deblurring، و Motion Deblurring، و Super Resolution، و Box Inpainting باستخدام ImageNet-256 و FFHQ-256.
- حقق URGE أداءً مقارباً لـ AFDPS (الذي يتطلب مشتقات) وتفوق بشكل ملحوظ على الخطوط المرجعية الأخرى في مقاييس PSNR و LPIPS.
- أظهر URGE توسعاً حسابياً أفضل، حيث حقق أوقات استدلال أقصر من AFDPS-ODE مع الحفاظ على جودة إعادة بناء عالية.
توليد النصوص والصور:
- تم الاختبار على Stable Diffusion v1.5 و SDXL مع متغيرات DPO-tuned.
- تفوق URGE على FK-Steering والنموذج الأساسي في الجودة الجمالية (ImageReward, HPS) وفي دقة المطابقة للنص (GenEval, CLIP-Score).
- والجدير بالذكر أن URGE يسمح لنموذج أصغر (SD v1.5) بمضاهاة أو الاقتراب من أداء نموذج أكبر (SDXL) عند استخدام توسيع النطاق بالجسيمات (particle scaling)، بينما يظهر FK-Steering عوائد متناقصة.
- أظهر URGE تحسناً رتيباً (monotonic) في المكافأة مع زيادة عدد الجسيمات، على عكس FK-Steering.

5. الأهمية والادعاءات

تدعي الورقة أن URGE يوفر إطار عمل لأخذ عينات من التوزيع الخلفي عبر المجموعات، خالٍ من التدريب ومن التقريب. تكمن أهميته الأساسية في توحيد استراتيجيات التوزين القائمة على المسار والاستراتيجيات القائمة على الحالة. من خلال رفع آلية إعادة أخذ العينات من فضاء الجسيمات إلى فضاء المسار، يقوم URGE بـ:

إزالة عقبة المشتقات: يتيح استخدام نماذج المكافأة المعقدة و"الصندوق الأسود" في توجيه الانتشار دون التكلفة الحسابية لحساب المشتقات من الرتب العليا.
ضمان الصحة النظرية: يضمن التقارب نحو التوزيع الخلفي المائل بالمكافأة الحقيقي، مما يصحح الانحياز المتأصل في طرق التوجيه القياسية.
تقديم كفاءة عملية: يحقق جودة توليد رائدة مع تنفيذ أبسط وتكاليف حسابية تنافسية، مما يجعله مناسباً لمهام التوليد واسعة النطاق في العالم الحقيقي.

يؤكد المؤلفون أنه بينما قدمت الأعمال السابقة (مثل FK-Corrector و AFDPS) رؤى نظرية لتصحيح التوجيه، إلا أنها كانت محدودة بسبب اعتمادها على معلومات المشتقات. يجسّر URGE هذه الفجوة، مقدماً حلاً عملياً خالياً من المشتقات يحتفظ بالضمانات النظرية لأخذ العينات الخالي من التقريب.