🤖 machine learning

Dual-Solver: A Generalized ODE Solver for Diffusion Models with Dual Prediction

يُعد Dual-Solver حلاً عاماً للمعادلات التفاضلية العادية (ODE) لنماذج الانتشار، حيث يستخدم معاملات قابلة للتعلم للقيام بالاستيفاء الديناميكي لأنواع التنبؤ، واختيار نطاقات التكامل، وضبط البواقي، مما يؤدي إلى تحسين جودة الصور ودرجات CLIP بشكل كبير في أنظمة تقييم الوظائف المنخفضة عبر مختلف الهياكل الأساسية.

المؤلفون الأصليون: Soochul Park, Yeon Ju Lee

نُشر 2026-03-05

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Soochul Park, Yeon Ju Lee

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول إعادة رسم لوحة جميلة ومعقدة، ولكن ليس لديك سوى ضربات فرشاة قليلة للقيام بذلك.

في عالم فن الذكاء الاصطناعي (تحديداً نماذج الانتشار - Diffusion Models)، يبدأ الكمبيوتر بلوحة مليئة بالضجيج العشوائي (مثل تشويش التلفاز) ثم يقوم بـ "إزالة الضجيج" تدريجياً خطوة بخطوة حتى تظهر صورة واضحة. المشكلة هي أنه للحصول على صورة مثالية، يحتاج الكمبيوتر عادةً إلى اتخاذ مئات الخطوات الصغيرة للغاية. هذا الأمر بطيء ومكلف، مثل محاولة عبور غرفة عبر اتخاذ خطوات بطول بوصة واحدة فقط.

لحل هذه المشكلة، حاول الباحثون تعليم الكمبيوتر كيفية اتخاذ خطوات أكبر وأذكى (عدد أقل من الخطوات، أو ما يعرف بـ NFE). ومع ذلك، فإن الطرق الموجودة حالياً تشبه كتب القواعد الجامدة: فهي تجبر الكمبيوتر على اتخاذ الخطوات بطريقة محددة (على سبيل المثال: "انظر دائماً إلى الضجيج"، أو "انظر دائماً إلى البيانات"). وإذا لم يتوافق كتاب القواعد مع أسلوب الرسم المحدد، فستبدو النتيجة ضبابية أو غريبة.

هنا يأتي دور Dual-Solver، وهو "الملاح الذكي" الجديد الذي تم تقديمه في هذه الورقة البحثية.

الفكرة الجوهرية: "سكين الجيش السويسري" للخطوات

فكر في الطرق القديمة كأنها مطرقة؛ فهي رائعة للمسامير، لكنها سيئة جداً للبراغي. أما Dual-Solver فهو بمثابة سكين جيش سويسري. فهو لا يمتلك طريقة واحدة فقط للتحرك، بل لديه مجموعة من الأدوات القابلة للتعديل التي تتغير حسب الموقف.

تقدم الورقة البحثية ثلاثة "مقابض" (بارامترات قابلة للتعلم) يتعلم الذكاء الاصطناعي تدويرها تلقائياً:

مقبض "التنبؤ" ( $\gamma$ ):
- المشكلة: أحياناً يجب على الذكاء الاصطناعي أن يتوقع شكل "الضجيج"، وأحياناً شكل "الصورة النهائية"، وأحياناً سرعة تغير الصورة (السرعة المتجهة). كانت الحلول القديمة تضطر لاختيار واحد والالتزام به.
- حل Dual-Solver: يسمح هذا المقبض للذكاء الاصطناعي بالمزج بسلاسة بين هذه التوقعات الثلاثة. إنه يشبه الطاهي الذي لا يستخدم الملح أو السكر فحسب، بل يعرف بالضبط كمية كل منهما لخلطهما للحصول على النكهة المثالية في كل لحظة.
مقبض "الخريطة" ( $\tau$ ):
- المشكلة: تخيل أنك تحاول المشي عبر حقل. أحياناً يكون المشي في خط مستقيم هو الأفضل، وفي أحيان أخرى، قد يكون المشي في مسار حلزوني أو اتباع طريق متعرج هو الأسرع للوصول. كانت الحلوات القديمة عالقة على نوع واحد من الخرائط.
- حل Dual-Solver: يغير هذا المقبض "هندسة" المسار. فهو يسمح للذكاء الاصطناعي بالتبديل بين طريق مستقيم وطريق متعرج، واختيار المسار الأكثر كفاءة لتلك الخطوة المحددة.
مقبض "التصحيح" ( $\kappa$ ):
- المشكلة: حتى مع وجود خريطة جيدة، قد تأخذ منعطفاً خاطئاً. أنت بحاجة إلى طريقة لتصحيح الأخطاء الصغيرة دون البدء من جديد.
- حل Dual-Solver: يضيف هذا المقبض "شبكة أمان" صغيرة أو تعديلاً دقيقاً للخطوة. إنه يشبه لاعب السير على الحبال الذي يستخدم عمود توازن لإجراء تعديلات دقيقة حتى لا يسقط، مما يضمن بقاء الخطوة دقيقة حتى عند اتخاذها بسرعة.

كيف يتعلم؟ ("المعلم" مقابل "القاضي")

عادةً، لتعليم طالب (المحلل/Solver) كيفية المشي بشكل أسرع، تعرض عليه فيديو لمتدرب محترف (محلل بطيء عالي الجودة) وتقول له: "انسخ خطواتي بدقة". وهذا ما يسمى الانحدار (Regression).

المشكلة: هذا أمر صعب؛ إذ يرتبك الطالب في محاولة محاكة المسار بدقة، خاصة عندما يُسمح له باتخاذ 3 أو 5 خطوات فقط.

يستخدم Dual-Solver خدعة ذكية تسمى التصنيف (Classification).

التشبيه: بدلاً من مطالبة الطالب بنسخ خطوات المعلم، نمنحه قاضياً (مصنف صور مدرب مسبقاً، مثل روبوت يعرف شكل "القطة").
يتخذ الذكاء الاصطناعي بضع خطوات، ويولد صورة، ثم يسأل القاضي: "هل تبدو هذه كقطة؟"
إذا قال القاضي "لا"، يدرك الذكاء الاصطناعي أنه خرج عن المسار الصحيح ويقوم بتعديل مقابضه (أدوات سكين الجيش السويسري) ليحاول مرة أخرى.
لماذا هو أفضل؟ لا يحتاج الذكاء الاصطناعي إلى حفظ المسار الدقيق للمعلم، بل يحتاج فقط إلى تعلم كيفية البقاء في "الجانب الصحيح من الخط" حيث يقول القاضي: "نعم، هذه قطة!". وهذا يسمح له بإيجاد مساره الفريد والأكثر كفاءة للوصول إلى صورة عالية الجودة.

النتائج: سريع وجريء

اختبر الباحثون ذلك على نماذج مختلفة من فن الذكاء الاصطناعي (مثل DiT و SANA و PixArt).

الطريقة القديمة: للحصول على صورة جيدة، قد تحتاج إلى 20-50 خطوة.
Dual-Solver: يمكنه الحصول على صورة بنفس الجودة (أو أفضل) في 3 إلى 9 خطوات فقط.

الملخص

Dual-Solver يشبه ترقية سيارة من مركبة ذات نسبة تروس ثابتة إلى مركبة مزودة بـ ناقل حركة متغير باستمرار (CVT) و نظام GPS يتعلم من قاضٍ لحركة المرور.

هو لا يجبر الذكاء الاصطناعي على اتباع مسار جامد.
يجعله يعدل استراتيجيته (نوع التنبؤ)، وخريطته (نطاق التكامل)، وتصحيحاته (البواقي) أثناء العمل.
يتعلم من خلال السؤال: "هل هذه صورة جيدة؟" بدلاً من "هل نسخت خطواتي؟".

النتيجة؟ تحصل على فن ذكاء اصطناعي عالي الجودة في جزء بسيط من الوقت، مما يجعل إنشاء الصور أسرع وأرخص بكثير.

إليك ملخص تقني مفصل لورقة البحث بعنوان "Dual-Solver: A Generalized ODE Solver for Diffusion Models with Dual Prediction" (المحلل المزدوج: محلل معادلات تفاضلية عادية معمم لنماذج الانتشار عبر التنبؤ المزدوج).

1. بيان المشكلة

حققت نماذج الانتشار (Diffusion models) جودة صور هي الأفضل في فئتها، لكنها تعاني من تكاليف استدلال عالية بسبب العدد الكبير من عمليات تقييم الدالة (NFEs) المطلوبة لأخذ العينات. وبينما تم اعتماد حلول المعادلات التفاضلية العادية (ODE solvers) لتسريع عملية أخذ العينات، تواجه الطرق الحالية عدة قيود:

أنواع تنبؤ جامدة: تلتزم المحلات التقليدية عادةً بنوع واحد من التنبؤ (ضجيج، أو سرعة، أو بيانات) أثناء التدريب وأخذ العينات. ومع ذلك، في الوقت المنفصل، تؤدي أنواع التنبؤ هذه إلى خطوات تحديث مختلفة، مما يؤدي إلى مسارات غير مثالية.
نطاقات تكامل ثابتة: تستخدم المحلات غالباً نطاقات تكامل ثابتة (مثل الخطوات الزمنية الخطية أو اللوغاريتمية)، والتي قد لا تكون مثالية لجميع مراحل عملية أخذ العينات.
الأعباء التدريبية: تعتمد "المحلات المتعلمة" (التي تحسن بارامترات المحل) عادةً على أهداف قائمة على الانحدار (regression). وتتطلب هذه الأهداف وجود محل "معلم" يعمل بعدد عالٍ من الـ NFEs لتوليد مسارات أو عينات مستهدفة، مما يسبب عبئاً حسابياً هائلاً وغالباً ما يفشل في التعميم بشكل جيد في نظام الـ NFE المنخفض جداً (على سبيل المثال، $NFE \le 5$ ).

2. المنهجية: Dual-Solver

يقترح المؤلفون Dual-Solver، وهو محلل (predictor-corrector) معمّم يوحد ويوسع محلات الـ ODE الحالية من خلال ثلاثة أنواع من البارامترات القابلة للتعلم. وهو يحافظ على هيكل (predictor-corrector) القياسي مع الحفاظ على دقة محلية من الدرجة الثانية.

أ. صياغة التكامل المعممة

يقدم Dual-Solver صيغة تكامل موحدة يتم تحديدها بواسطة ثلاثة متغيرات قابلة للتعلم لكل خطوة:

استكمال التنبؤ ( $\gamma$ ):
- بدلاً من الاختيار بين تنبؤ الضجيج ( $\epsilon_\theta$ )، أو السرعة ( $v_\theta$ )، أو البيانات ( $x_\theta$ )، يستخدم Dual-Solver بارامتراً $\gamma$ للقيام باستكمال (interpolation) مستمر بينهم.
- عندما يكون $\gamma = -1$ ، فإنه يقابل تنبؤ الضجيج، وعندما يكون $\gamma = 0$ ، يقابل تنبؤ السرعة، وعندما يكون $\gamma = 1$ ، يقابل تنبؤ البيانات.
- يسمح هذا للمحل باختيار نوع التنبؤ الأمثل لكل خطوة ديناميكياً.
تغيير النطاق ( $\tau$ ):
- يطبق المحل تحويلاً خطياً-لوغاريتمياً $L(y; \tau) = \frac{\log(1+\tau y)}{\tau}$ على نطاق التكامل.
- عندما تقترب $\tau$ من الصفر، يتصرف كتحويل خطي؛ وعندما تكون $\tau = 1$ ، يتصرف كتحويل لوغاريتمي.
- يسمح هذا للمحل بتعلم نطاق التكامل الأمثل (خطي مقابل لوغاريتمي) لتقليل أخطاء التجزئة (discretization errors).
ضبط المتبقي ( $\kappa$ ):
- تم إدخال بارامتر $\kappa$ لضبط حد المتبقي (residual term) في تقريب مفكوك تايلور.
- يضيف هذا مرونة إلى حد المتبقي ( $O((\Delta t)^2)$ ) مع الحفاظ على دقة محلية من الدرجة الثانية، مما يسمح للمحل بتصحيح الأخطاء من الرتب العليا دون زيادة رتبة الطريقة.

ب. مخطط أخذ العينات

يستخدم Dual-Solver مخطط Predictor-Corrector:

المتنبئ (Predictor): خطوة من الدرجة الأولى باستخدام الحالة الحالية وتقييمات النموذج.
المصحح (Corrector): خطوة من الدرجة الثانية تعمل على تحسين التنبؤ باستخدام تقييمات جديدة للنموذج عند خطوة الزمن الجديدة.
يتم تعلم البارامترات ( $\gamma, \tau, \kappa$ ) بشكل منفصل لكل من المتنبئ والمصحح في كل خطوة.

ج. تعلم البارامترات القائم على التصنيف

الابتكار الرئيسي هو استراتيجية التعلم. بدلاً من الانحدار مقابل مسارات "المعلم" ذات الـ NFE العالي (وهو أمر مكلف وخاطئ في حالات الـ NFE المنخفضة)، يستخدم Dual-Solver التصنيف القائم على الملصقات الصلبة (Hard-Label Classification):

الآلية: يقوم المحل بتوليد عينة $x_0$ . يتم تمرير هذه العينة عبر مصنف مدرب مسبقاً ومجمد (مثل MobileNet لـ ImageNet، أو CLIP لـ text-to-image).
الهدف: يتم تحسين بارامترات المحل لتقليل خسارة الإنتروبيا المتقاطعة (cross-entropy loss) بين احتمالات الفئة التي يتنبأ بها المصنف وملصق الفئة الحقيقي (أو النص الوصفي).
الميزة: لا تتطلب هذه الطريقة توليد عينات "معلم" عالية الجودة. فهي تركز على ضمان وقوع العينة المولدة في الجانب الصحيح من حدود قرار المصنف، وهو ما يرتبط بقوة بالدقة البصرية.

3. المساهمات الرئيسية

إطار عمل موحد للمحل: يعمم Dual-Solver محلات الخطوات المتعددة (multistep samplers) من خلال تعلم الاستكمال بين أنواع التنبؤ، ونطاقات التكامل، وحدود المتبقي، مما يغطي فعلياً مساحة المحلات الموجودة (مثل DPM-Solver++) كحالات خاصة.
استراتيجية تعلم فعالة: إن إدخال التصنيف القائم على الملصقات الصلبة لتعلم بارامترات المحل يلغي الحاجة إلى مسارات "المعلم" المكلفة، مما يجعل من الممكن تدريب محلات عالية الأداء في أنظمة الـ NFE المنخفضة.
دقة من الدرجة الثانية: رغم البارامترات القابلة للتعلم، فقد تم إثبات رياضياً أن الطريقة تحافظ على خطأ التقطيع المحلي من الدرجة الثانية.
قابلية تطبيق واسعة: تم التحقق من صحة طريقة Dual-Solver عبر نماذج متنوعة، بما في ذلك Diffusion Transformers (DiT)، ونماذج Flow Matching (GM-DiT)، ونماذج نص-إلى-صورة (SANA, PixArt- $\alpha$ ).

4. النتائج التجريبية

قيم المؤلفون Dual-Solver على مهام ImageNet (DiT, GM-DiT) ومهام نص-إلى-صورة (SANA, PixArt- $\alpha$ ) باستخدام مقاييس FID وCLIP scores.

الأداء في الـ NFE المنخفض: في نظام الـ NFE المنخفض الحرج ( $3 \le NFE \le 9$ $3 \leq N F E \leq 9$ )، يتفوق Dual-Solver باستمرار على أفضل الحلول المرجعية (DDIM, DPM-Solver++, BNS-Solver, DS-Solver).
- ImageNet (DiT): عند $NFE=5$ ، يحقق Dual-Solver قيمة FID تبلغ 3.52، وهي أفضل بكثير من DPM-Solver++ (22.19) و BNS-Solver (14.53).
- Text-to-Image (SANA): عند $NFE=3$ ، يحقق Dual-Solver قيمة FID تبلغ 21.79، متفوقاً على جميع الحل المرجعية التي تتراوح بين 45.05 و 48.65.
دراسات الاستبعاد (Ablation Studies):
- المتنبئ-المصحح (Predictor-Corrector): أدى الجمع بين متنبئ من الدرجة الأولى ومصحح من الدرجة الثانية ( $p1c2$ ) إلى تحقيق أفضل النتائج.
- القابلية للتعلم: أدى السماح بتعلم جميع البارامترات ( $\gamma, \tau, \kappa$ ) إلى أداء متفوق مقارنة بتثبيتها على قيم محددة (مثل تثبيت $\gamma$ عند 1 لتنبؤ البيانات).
- اختيار المصنف: كشفت الدراسة عن علاقة "على شكل حرف V" بين دقة المصنف وجودة العينة. غالباً ما حققت المصنفات متوسطة الدقة (مثل MobileNetV3) درجات FID أفضل من المصنفات عالية الدقة (مثل ViT-H)، مما يشير إلى أن حدود القرار الصارمة للغاية يمكن أن تعيق التنوع التوليدي.
الاستكمال (Interpolation): يمكن استكمال البارامترات المتعلمة لـ NFE معين خطياً لتعمل بفعالية مع قيم NFE متوسطة، مما يثبت قوة المسار المتعلم.

5. الأهمية

يمثل Dual-Solver خطوة مهمة للأمام في كفاءة أخذ عينات الانتشار. فمن خلال معاملة المحل نفسه كمكون قابل للتعلم ذي بنية رياضية مرنة وموحدة، فإنه يتغلب على جمود الطرق العددية الكلاسيكية. إن التحول من التعلم القائم على الانحدار إلى التعلم القائم على التصنيف هو أمر مؤثر للغاية، لأنه يقلل بشكل كبير من التكلفة الحسابية لتدريب محلات متخصصة، مع تقديم جودة عينات فائقة في نظام الـ NFE المنخفض حيث تكون سرعة الاستدلال هي الأكثر أهمية. وهذا يجعل النمذجة التوليدية عالية الدقة أكثر سهولة للتطبيقات التي تتطلب وقتاً حقيقياً.