💻 computer science

Parallel Diffusion Solver via Residual Dirichlet Policy Optimization

تقدم هذه الورقة البحثية EPD-Solver، وهو حلّال معادلات تفاضلية عادية (ODE) متوازٍ ومبتكر يعمل على تسريع عملية أخذ عينات نماذج الانتشار من خلال الاستفادة من تقييمات التدرج المتوازية المستقلة وإطار عمل للتعلم التعزيزي كفء في المعلمات لتقليل أخطاء البتر بشكل كبير مع الحفاظ على جودة الصور في توليد الصور من النصوص.

المؤلفون الأصليون: Ruoyu Wang, Ziyu Li, Beier Zhu, Liangyu Yuan, Hanwang Zhang, Xun Yang, Xiaojun Chang, Chi Zhang

نُشر 2026-03-06

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Ruoyu Wang, Ziyu Li, Beier Zhu, Liangyu Yuan, Hanwang Zhang, Xun Yang, Xiaojun Chang, Chi Zhang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول رسم لوحة فنية رائعة، لكن يُسمح لك فقط باتخاذ خطوات قليلة، عملاقة، وخرقاء للانتقال من لوحة بيضاء فارغة إلى الصورة النهائية.

هذه هي المشكلة التي تواجهها نماذج الانتشار (Diffusion Models) (الذكاء الاصطناائي وراء أدوات مثل DALL-E 3 أو Midjourney). تقوم هذه النماذج بإنشاء الصور عن طريق البدء من "ضجيج" عشوائي (مثل تشويش التلفاز) ثم عملية "إزالة الضجيج" (denoising) تدريجياً للوصول إلى صورة واضحة. وللحصول على صورة عالية الجودة، تحتاج هذه النماذج عادةً إلى اتخاذ 50 أو 100 خطوة صغيرة. هذا يشبه عبور غرفة عبر اتخاذ 100 خطوة صغيرة وحذرة؛ الأمر دقيق، ولكنه يستغرق وقتاً طويلاً (زمن استجابة مرتفع).

إذا حاولت تسريع العملية باتخاذ خطوات أقل وأكبر (مثل 5 أو 10 خطوات)، فإن الصورة غالباً ما تظهر ضبابية أو غريبة. لماذا؟ لأن الذكاء الاصطناعي يحاول تخمين المسار، وعندما يتخذ قفزة كبيرة، فإنه يخطئ في تقدير "منحنيات" الطريق. الأمر يشبه محاولة قيادة سيارة حول منعطف حاد عبر النظر فقط إلى نقطتي البداية والنهاية؛ من المرجح أن تصطدم بالحائط.

الحل: حل "الاتجاه المتوازي" (EPD-Solver)

يقترح مؤلفو هذه الورقة البحثية طريقة ذكية جديدة لاتخاذ تلك الخطوات الكبيرة دون الاصطدام. وقد أطلقوا عليها اسم EPD-Solver.

إليك كيف يعمل، باستخدام بعض التشبيهات:

1. تشبيه "فريق المساحة" (التدرجات المتوازية)

تخيل أنك متنزّه تحاول عبور وادٍ.

الطريقة القديمة (DDIM/EDM): تقف عند الحافة، تنظر إلى الأرض، وتأخذ خطوة واحدة كبيرة. ثم تقف هناك، تنظر مجدداً، وتأخذ خطوة أخرى. إذا انحنى الطريق بشكل غير متوقع، فقد تخطو نحو الهاوية.
طريقة EPD: قبل أن تأخذ تلك الخطوة الكبيرة، ترسل فريقاً من 3 كشافين (تدرجات متوازية) لفحص التضاريس في نقاط مختلفة داخل نفس الخطوة الكبيرة تلك.
- الكشاف (أ) يفحص الجانب الأيسر.
- الكشاف (ب) يفحص المنتصف.
- الكشاف (ج) يفحص الجانب الأيمن.
- الأمر الجوهري: نظرًا لأن هؤلاء الكشافين مستقلون، يمكنهم جميعاً العمل في الوقت نفسه تماماً (المعالجة المتوازية). هم لا يجعلك تنتظر لفترة أطول؛ بل يعطونك خريطة أفضل بك كثيراً للمنحنى قبل أن تتحرك.
- يقوم الذكاء الاصطناعي بعد ذلك بدمج تقاريرهم لاتخاذ خطوة عملاقة وسلسة تتبع منحنى التضاريس بدقة.

2. تشبيه "التدريب على مرحلتين"

لم يكتفِ المؤلفون ببناء الحل فحسب، بل علموه كيف يكون مثالياً باستخدام نظام مدرسي من مرحلتين:

المرحلة الأولى: "المُقلد" (التقطير - Distillation)
تخيل طالباً (EPD-Solver) يحاول التعلم من رسام ماهر (ذكاء اصطناعي بطيء وعالي الجودة). يحاول الطالب محاكاة ضربات فرشاة المعلم بدقة. الهدف هنا هو تعلم هندسة المسار: "حسناً، عندما يريد الذكاء الاصطناعي رسم أذن قطة، فإن المسار ينحني بهذا الاتجاه". هذا يمنح الحل أساساً متيناً.
المرحلة الثانية: مدرب "الذوق البشري" (التعلم المعزز)
أحياناً، لا يكون تقليد المعلم كافياً. قد يرسم المعلم قطة مثالية من الناحية التقنية، لكنها تبدو جامدة نوعاً ما. البشر يفضلون القطط التي تبدو لطيفة، أو فروها كثيف، أو معبرة.
- قدم المؤلفون مدرباً لتفضيلات البشر. هم لا يعيدون تدريب الذكاء الاصطناعي الضخم بالكامل (الذي سيكون بمثابة إعادة بناء مدرسة الفنون بأكملها). بدلاً من ذلك، يقومون فقط بتعديل قواعد اتخاذ القرار الخاصة بالحل (solver).
- استخدموا تقنية تسمى التحسين المتبقي لسياسة ديريكليه (Residual Dirichlet Policy Optimization). فكر في هذا كـ "مقبض ضبط". يُسمح للحل بتعديل مساره قليلاً بناءً على ما يفضله البشر. إذا رسم الحل صورة وقال البشر "أعجبني الإضاءة"، يتم تدوير المقبض للقيام بمزيد من ذلك في المرة القادمة.
- ولأنهم يعدلون فقط "المقابض" (الحل) وليس "الدماغ" (الذكاء الاصطناعي الرئيسي)، فإن هذا سريع وفعال للغاية.

لماذا يعد هذا أمراً هاماً؟

السرعة مقابل الجودة: عادةً ما يتعين عليك الاختيار بين: "سريع ولكن قبيح" أو "بطيء ولكن جميل". هذه الطريقة تمنحك "سريع وجميل في آن واحد".
- مثال: في اختبار قياسي، أنتجوا صوراً في 20 خطوة بدت أفضل من الطرق الأخرى التي تتطلب 50 خطوة.
لا وقت انتظار إضافي: على الرغم من أنهم يرسلون "كشافين" (تدرجات متوازية)، إلا أن الرقائق الحاسوبية الحديثة يمكنها القيام بكل عمليات الاستكشاف في وقت واحد. لذا، فإن الوقت الذي يستغرقه إنشاء الصورة لا يزداد فعلياً.
جاهز للاستخدام (Plug-and-Play): هذا ليس مخصصاً لذكاء اصطناعي معين فقط. إنه يشبه "إضافة" (plugin) يمكنك تثبيتها على الأدوات الموجودة (مثل Stable Diffusion) لجعلها أسرع وأفضل فوراً.

الخلاية

تقدم الورقة البحثية طريقة ذكية للتنقل في المسار المعقد لإنشاء الصور بالذكاء الاصطناعي. بدلاً من التخمين الأعمى للخطوة التالية، يتحقق الذكاء الاصطناعي من نقاط متعددة في وقت واحد (مثل فريق مساحة) لفهم منحنى المسار. ثم يقوم بضبط قراراته بناءً على ما يجده البشر جميلاً بالفعل.

النتيجة؟ يمكنك إنشاء صور عالية الدقة ومذهلة في جزء بسيط من الوقت الذي كان يستغرقه الأمر سابقاً، دون أن تنخفض الجودة. إنها تجسر الفجوة بين "السرعة الفورية" وبين "اللوحة الفنية المتقنة".

إليك ملخص تقني مفصل لورقة البحث بعنوان "Parallel Diffusion Solver via Residual Dirichlet Policy Optimization".

1. بيان المشكلة

حققت نماذج الانتشار (Diffusion Models - DMs) أداءً توليدياً رائدًا، لكنها تعاني من زمن استجابة مرتفع في أخذ العينات بسبب طبيعتها المتسلسلة في إزالة الضجيج، والتي تتطلب العديد من عمليات تقييم الدوال (NFEs).

قصور الحلول الحالية: تعمل طرق تسريع المذيبات (solvers) الحالية (مثل DDIM، وEDM، وUniPC) على تقليل عدد الـ NFEs، ولكنها غالبًا ما تعاني من تدهور كبير في جودة الصور عند انخفاض عدد الـ NFEs. وينتج هذا بشكل أساس أساسي عن أخطاء التقطيع (truncation errors) المتراكمة عندما يفشل المذيب في التقاط مقاطع المسار ذات الانحناء العالي.
قصور التوازي الحالي: غالبًا ما تضحي طرق التوازي بالحوسبة من أجل السرعة، لكنها تكافح للحفاظ على الاتساق مع المخرجات الأصلية أو تضحي بجودة الصورة.
قصور التقطير (Distillation): بينما توفر الطرق القائمة على التقطير تسريعًا فائقًا، إلا أنها تتطلب تكاليف تدريب عالية وتفتقر إلى المرونة في المقايضة بين السرعة والجودة في مهام تحويل النص إلى صورة (T2I) المعقدة، وغالبًا ما تفشل في التوافق مع التفضيلات البشرية الإدراكية.

2. المنهجية: EPD-Solver

يقترح المؤلفون مذيب اتجاه التجمع المتوازي (Ensemble Parallel Direction - EPD) Solver، وهو مذيب ODE مبتكر يخفف من أخطاء التقطيع من خلال دمج تقييمات متوازية متعددة للتدرج ضمن خطوة تكامل واحدة دون زيادة في وقت التنفيذ الفعلي (wall-clock time).

أ. الأساس النظري

الرؤية الهندسية: حلل المؤلفون مسارات الانتشار ووجدوا أنها محصورة إلى حد كبير في متعدد طيات منخفض الأبعاد (على وجه التحديد، يغطي مستوٍ ثنائي الأبعاد أكثر من 97% من التباين المتبقي).
نظرية القيمة المتوسطة: بالاستناد إلى نظرية القيمة المتوسطة للدوال ذات القيم المتجهة، تجادل الورقة بأن التكامل الدقيق لعملية إزالة الضجيج عبر فاصل زمني $[t_n, t_{n+1}]$ يمكن تمثيله كـ مزيج مرجح بـ "سيمبلكس" (simplex-weighted combination) للتدرجات التي يتم تقييمها عند نقاط وسيطة متعددة داخل ذلك الفاصل.
التوازي: على عكس المذيبات متعددة الخطوات التي تعتمد على التدرجات التاريخية المتسلسلة، يقوم EPD-Solver بتقييم $K$ من الخطوات الزمنية الوسيطة $\tau^k_n$ بشكل مستقل ومتوازٍ. وهذا يسمح بتقريب أكثر دقة للتكامل دون زيادة في زمن الاستجابة أثناء الاستدلال.

ب. إطار التحسين ثنائي المرحلة

تستخدم الطريقة استراتيجية تدريب من مرحلتين لتحسين معاملات المذيب (الخطوات الزمنية الوسيطة وأوزان الجمع):

المرحلة الأولى: تحسين المعاملات القائم على التقطير

الهدف: الحصول على تهيئة قوية عبر تقريب مسارات المعلم عالية الدقة (التي يتم إنشاؤها بواسطة مذيبات عالية الـ NFE مثل DPM-Solver-2).
الآلية: يتعلم المذيب تقليل خطأ إعادة بناء المسار (المسافة بين حالات الطالب والمعلم).
المعاملات القابلة للتعلم: يقدم المذيب معاملات قابلة للتعلم للخطوات الزمنية الوسيطة ( $\tau^k_n$ )، وأوزان الجمع ( $\lambda^k_n$ )، وعوامل القياس والإزاحة ( $o_n, \delta^k_n$ ) للتخفيف من انحياز التعرض (exposure bias).
إضافة EPD (EPD-Plugin): يمكن أيضًا تطبيق هذه المرحلة كإضافة (plugin) للمذيبات الموجودة (مثل iPNDM) لتعزيز قدراتها.

المرحلة الثانية: تحسين سياسة ديريكليه المتبقية (RDPO)

الدافع: في أنظمة الخطوات المنخفضة للغاية، لا يكون مطابقة المسار الصارمة كافيًا للتفضيل البشري. تتطلب نماذج T2I واسعة النطاق توافقًا دلاليًا وإدراكيًا بدلاً من مجرد الاتساق العددي.
إعادة الصياغة: يُعاد صياغة المذيب كـ سياسة عشوائية (stochastic policy). يتم نمذجة الخطوات الزمنية والأوزان الوسيطة باستخدام توزيعات ديريكليه (التي تلبي طبيعيًا قيود السيمبلكس).
التعلم المتبقي (Residual Learning): بدلاً من التعلم من الصفر، تتعلم السياسة المتبقيات (residuals) في فضاء تركيز اللوغاريتم حول المذيب الأساسي المقطر من المرحلة الأولى. وهذا يضمن الاستقرار وكفاءة المعاملات.
خوارزمية التعلم المعزز (RL): تُستخدم نسخة خفيفة من PPO (التحسين السيادي القريب) مع خوارزمية RLOO (مكافأة ترك عنصر واحد). تقوم السياسة بأخذ عينات من مسارات متوازية متعددة، وتقييمها باستخدام نموذج مكافأة (مثل HPSv2.1)، وتحسين معاملات ديريكليه لتعظيم درجات التفضيل البشري مع التنظيم ضد المذيب الأساسي عبر تباعد KL.

3. المساهمات الرئيسية

EPD-Solver: مذيب ODE مبتكر يقلل من أخطاء التقطيع من خلال الاستفادة من تقييمات التدرج المتوازية عند خطوات زمنية وسيطة متعلمة، استنادًا إلى نظرية القيمة المتوسطة.
EPD-Plugin: بنية إضافة مرنة يمكنها ترقية أخذ عينات ODE الحالية (مثل iPNDM) بقدرات الاتجاه المتوازي.
التعلم المعزز عالي الكفاءة في المعاملات (RDPO): إطار عمل ثنائي المرحلة حيث تستخدم المرحلة الثانية تحسين سياسة ديريكليه المتبقية لمواءمة المذيبات مع التفضيلات البشرية دون ضبط دقيق لنموذج الانتشار الضخم، مما يتجنب "اختراق المكافأة" (reward hacking) ويقلل تكاليف الضبط.
التحقق النظري والتجريبي: يثبت أن مسارات أخذ العينات تقع على متعددات طيات منخفضة الأبعاد، مما يبرر استخدام نقاط متوازية متعددة، ويظهر أداءً رائدًا عبر مختلف الاختبارات المعيارية.

4. النتائج التجريبية

الأداء الكمي

التوليد غير المشروط (CIFAR-10, FFHQ, ImageNet, LSUN):
- عند 5 NFE، يحقق EPD-Solver درجات FID رائدة: 4.47 (CIFAR-10)، 7.97 (FFHQ)، 8.17 (ImageNet)، و 8.26 (LSUN Bedroom).
- يتفوق بشكل كبير على المذيبات القائمة على التعلم (مثل AMED-Solver) والمذيبات التقليدية (DDIM, UniPC) عند نفس زمن الاستجابة.
- عند 3 NFE في LSUN Bedroom، يحقق EPD درجة FID تبلغ 13.21، متفوقًا بفارق هائل على ثاني أفضل نتيجة (AMED-Solver بـ 58.21).
تحويل النص إلى صورة (Stable Diffusion v1.5 & SD3-Medium):
- SD3-Medium (512x512): عند 20 NFE، يحقق EPD درجة HPSv2.1 تبلغ 0.2742، متفوقًا على خط الأساس الرسمي المكون من 28 خطوة (0.2734).
- SD3-Medium (1024x1024): عند 20 NFE، يحقق EPD درجة HPSv2.1 تبلغ 0.2823، متفوقًا على خط الأساس المكون من 28 خطوة (0.2820).
- Stable Diffusion v1.5: عند 20 NFE، يحقق EPD درجة HPSv2.1 تبلغ 0.2482، متفوقًا على خطوط الأساس المكونة من 50 خطوة مثل iPNDM.
- الكفاءة: تسد الطريقة الفجوة بين الكفاءة والدقة، حيث تحقق جودة 50 خطوة باستخدام 40% فقط من خطوات الاستدلال.

زمن الاستجابة والقابلية للتوسع

زمن الاستجابة: نظرًا للتوازي الكامل في حسابات التدرج، فإن زيادة عدد الاتجاهات المتوازية ( $K$ ) من 1 إلى 2 أو 3 تؤدي إلى زيادة ضئيلة في زمن الاستجابة (على سبيل المثال، زيادة أقل من 0.05 ثانية في SD3-Medium).
الذاكرة: يظل استخدام ذروة ذاكرة وحدة معالجة الرسومات (GPU) دون تغيير كبير أو بزيادة طفيفة فقط.
الدراسة الاستقصائية (Ablation): تؤكد الدراسة أن $K=2$ يوفر أفضل مقايضة بين الجودة والتكلفة. كما أن سياسة ديريكليه المتبقية (المرحلة 2) تحسن باستمرار مقاييس التفضيل البشري (HPSv2.1, ImageReward) مقارنة بالأساس المقطر (المرحلة 1).

5. الأهمية

تقدم هذه الورقة تحولًا جذريًا في تسريع أخذ عينات الانتشار. فبدلاً من الاعتماد فقط على تقليل الخطوات (التقطير) أو التقريب المتسلسل (المذيبات القياسية)، فإنها تستخدم الحوسبة المتوازية لتحسين دقة كل خطوة.

الكفاءة مقابل الجودة: نجحت الطريقة في فصل زمن استجابة الاستدلال عن جودة التوليد، مما يسمح بتوليد عالي الدقة بعدد قليل جدًا من الخطوات.
المواءمة البشرية: من خلال إدخال التعلم المعزز (RL) على مستوى المذيب، تعالج الورقة "الفجوة الدلالية" حيث تفشل المذيبات ذات الخطوات المنخفضة في التوافق مع الجماليات البشرية، وهي مشكلة عانت منها الطرق السابقة دون إعادة تدريب النموذج بالكامل.
العملية: الطبيعة "الإضافية" (plugin) والتعلم المعزز الموفر للمعاملات يجعلانه قابلًا للنشر بسهولة للتطبيقات التي تعمل في الوقت الفعلي والنماذج واسعة النطاق مثل SD3.