🤖 AI

Diffusion Blend: Inference-Time Multi-Preference Alignment for Diffusion Models

تقدم هذه الورقة Diffusion Blend، وهو إطار عمل جديد عند الاستنتاج يُمكّن نماذج الانتشار من التوافق ديناميكيًا مع أي مزيج خطي يحدده المستخدم من دوال مكافأة متعددة وقيود تنظيمية، وذلك عن طريق مزج عمليات الانتشار العكسي من نماذج تم ضبطها بدقة، مما يلغي الحاجة إلى تكرار عملية الضبط الدقيق ويتفوق على النماذج المرجعية الحالية.

المؤلفون الأصليون: Min Cheng, Fatemeh Doudi, Dileep Kalathil, Mohammad Ghavamzadeh, Panganamala R. Kumar

نُشر 2026-03-13

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Min Cheng, Fatemeh Doudi, Dileep Kalathil, Mohammad Ghavamzadeh, Panganamala R. Kumar

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك شيفاً ماهراً (نموذج الانتشار - Diffusion Model) موهوب للغاية في طهي أي طبق تطلبه، من شطيرة بسيطة إلى "سوفليه" معقد. لقد تدرب هذا الشيف على ملايين الوصفات وهو يعرف كيف يطهو كل شيء بشكل جيد عموماً.

ومع ذلك، في بعض الأحيان تريد شيئاً محدداً:

"اجعل هذه الشطيرة تبدو فنية وجميلة."
"تأكد من أن هذه الشطيرة تبدو تماماً مثل الصورة التي أرسلتها لك."
"اجعلها صحية (قليلة السعرات الحرارية) ولكن لذيذة أيضاً."

المشكلة هي أن الشيف عادة ما يضطر لاختيار أسلوب واحد فقط. فإذا دربت الشيف ليكون "خبيراً في الجمال"، فقد ينسى كيفية اتباع تعليمات الصورة التي أرسلتها. وإذا دربتهم ليكونوا "متبعين للصور بدقة"، فقد تبدو الوجبة قبيحة.

تقليدياً، إذا كنت تريد مزيجاً مختلفاً (مثلاً: 50% جمال، و50% دقة في محاكاة الصورة)، فسيتعين عليك إرسال الشيف للعودة إلى مدرسة الطهي لأسابد ليتعلم هذا المزيج المحدد. وإذا أردت مزيجاً جديداً غداً، فسيتعين عليك إرساله للعودة إلى المدرسة مرة أخرى. هذا الأمر بطيء، ومكلف، وغير عملي.

الحل: "مزيج الانتشار" (Diffusion Blend)

تقدم هذه الورقة البحثية خدعة ذكية تسمى Diffusion Blend. فبدلاً من إرسال الشيف للعودة إلى المدرسة، قاموا بإنشاء "محطة خلط" عند طلبك للطعام (وقت الاستنتاج - inference time).

إليك كيف يعمل الأمر، باستخدام بعض التشبيهات:

1. "الشيفات المتخصصون" (مرحلة التدريب)

قبل أن تطلب أي شيء، يقوم الباحثون بتدريب عدد قليل من "الشيفات المتخصصين" لمرة واحدة وإلى الأبد:

الشيف (أ) هو خبير في جعل الطعام يبدو جميلاً (الجماليات - Aesthetics).
الشيف (ب) هو خبير في جعل الطعام يبدو تماماً مثل الصورة (المحاذاة بين النص والصورة - Text-Image Alignment).
الشيف (ج) هو خبير في جعل الطعام صحياً (تفضيلات البشر - Human Preference).

هؤلاء الشيفات هم نماذج "مُعدلة بدقة" (fine-tuned). إنهم جاهزون للانطلاق.

2. "الخلاط السحري" (مرحلة الاستنتاج)

الآن، تتقدم نحو المنصة وتقول: "أريد شطيرة تكون 70% جميلة و30% مطابقة للصورة."

في الأيام الخوالي، كان على الشيف أن يتوقف، ويتعلم من جديد، ويبدأ من الصفر.
أما مع Diffusion Blend، فإن النظام يأخذ "عملية التفكير" (الوصفة الرياضية) الخاصة بالشيف (أ) والشيف (ب) ويقوم بخلطهما معاً في الوقت الفعلي.

هو لا يكتفي بمتوسط صورهما النهائية فحسب.
بل يخلط تعليمات الطهي خطوة بخطوة أثناء عملية صنع الطعام.
الأمر يشبه وجود شيفين يهمسان بالتعليمات لبعضهما البعض في وقت واحد، والنظام يستمع إليهما بالنسب الدقيقة التي طلبتها (70% من الشيف أ، و30% من الشيف ب).

النتيجة: ستحصل على شطيرة متوازنة تماماً بين الجمال والدقة، تم إنشاؤها فوراً، دون أن يحتاج الشيف للعودة إلى المدرسة أبداً.

"الأدوات السحرية الثلاث"

تقترح الورقة البحثية ثلاث طرق محددة لاستخدام هذا الخلاط:

DB-MPA (الخلاط متعدد النكهات):
هذه هي الأداة الرئيسية. تتيح لك خلط أي عدد من المتخصصين. هل تريد 40% جمال، 40% دقة، و20% صحة؟ فقط اضبط النسب. يقوم النظام بخلط "همسات" جميع الشيفات الثلاثة فوراً.
DB-KLA (مقبض "الصرامة"):
أحياناً، تريد أن يكون الطعام إبداعياً، لكنك لا تريد للشيف أن يصبح "جامحاً" جداً لدرجة نسيان الوصفة الأصلية تماماً. هذه الأداة تتيح لك التحكم في مدى قدرة الشيف على "الانحراف" عن تدريبه الأصلي.
- المقبض المنخفض: يبقى الشيف قريباً جداً من أسلوبه الأصلي والآمن.
- المقبض العالي: يُسمح للشيف بأن يكون مبدعاً وجريئاً جداً.
  يمكنك رفع أو خفض هذا المقبض فوراً دون الحاجة لإعادة التدريب.
DB-MPA-LS (الخلاط "خفيف الوزن"):
خلط ثلاثة شيفات في وقت واحد قد يكون ثقيلاً من الناحية الحسابية (مثل طلب التحدث من ثلاثة أشخاص في آن واحد). هذا الإصدار هو اختصار ذكي. فبدلاً من الاستماع إلى جميع الشيفات في كل ثانية، فإنه يختار عشوائياً شيفاً واحداً ليستمع إليه في كل خطوة، بناءً على نسبك المئوية.
- التشبيه: بدلاً من جوقة تغني معاً، الأمر يشبه قائد أوركسترا يشير إلى مغنين مختلفين واحداً تلو الآخر بسرعة كبيرة بحيث تسمع أذنك مزيجاً مثالياً.
- الفائدة: يعمل بنفس سرعة الشيف الأصلي، ولكنه يمنحك النتيجة الممزوجة أيضاً.

لماذا يعد هذا أمراً هاماً؟

لا مزيد من الانتظار: لست بحاجة للانتظار أياماً لتدريب نموذج جديد لذوقك الخاص.
تخصيص لا نهائي: يمكنك تعديل تفضيلاتك أثناء العمل. "اجعلها أكثر زرقة قليلاً"، "اجعلها أقل واقعية"، "اجعلها أكثر فنية".
حل النزاعات: يتعامل مع الحالات التي تتضارب فيها الأهداف (مثل: "اجعلها تبدو كصورة فوتوغرافية" مقابل "اجعلها تبدو كلوحة فنية") بشكل أفضل بكثير من الطرق السابقة، حيث يجد الحل الوسط المثالي.

باختصار: يحول Diffusion Blend مولد صور الذكاء الاصطناعي الجامد الذي يتبع مبدأ "مقاس واحد يناسب الجميع" إلى أداة مرنة وتحت سيطرة المستخدم. فهو يسمح لك بأن تكون المخرج، حيث تمزج وتطابق بين أساليب "الخبراء" المختلفة فوراً للحصول على الصورة التي تتخيلها بالضبط، الآن.

إليك ملخص تقني مفصل لورقة البحث بعنوان "Diffusion Blend: Inference-Time Multi-Preference Alignment for Diffusion Models".

1. بيان المشكلة

تعتمد الطرق الحالية لمواءمة نماذج الانتشار (Diffusion Models) مع الأهداف اللاحقة (مثل الجودة الجمالية، والاتساق بين النص والصورة، وتفضيلات البشر) عادةً على التعلم المعزز (Reinforcement Learning - RL) للضبط الدقيق. ومع ذلك، تعاني هذه النهج من قيود كبيرة:

المواءمة الاستاتيكية (الثابتة): يعمل الضبط الدقيق باستخدام التعلم المعزز القياسي على تحسين نموذج له دالة مكافأة (Reward Function) ثابتة ووزن تنظيم KL (KL regularization) ثابت (الذي يتحكم في درجة الانحراف عن النموذج الأساسي المسبق التدريب).
عدم المرونة: تختلف تفضيلات المستخدمين باختلاف السياقات، والأفراد، والمطالبات (Prompts). ولتلبية التوازنات المختلفة (مثل: جمالية أكثر مقابل التزام أكبر بالمطالبة، أو قوة تنظيم مختلفة)، تتطلب الطرق الحالية تدريب نماذج منفصلة لكل تكوين أو إجراء عمليات بحث شبكي (Grid Search) مكلفة.
التكلفة الحسابية: غالبًا ما تتكبد طرق المواءمة أثناء الاستدلال (Inference-time alignment) التي لا تتطلب إعادة تدريب (مثل توجيه التدرج - Gradient Guidance) تكاليف حسابية عالية بسبب خطوات أخذ العينات المتعددة، أو تتطلب مكافآت قابلة للاشتقاق، وهي ليست متوفرة دائمًا.

السؤال الجوهري: هل يمكننا تصميم إجراء ضبط دقيق يسمح للنموذج بتوليد صور متوافقة مع أي مزيج خطي يحدده المستخدم من مكافآت أساسية وأي قوة تنظيم عند الاستدلال، دون الحاجة إلى تدريب إضافي أو حسابات مفرطة؟

2. المنهجية: Diffusion Blend

يقترح المؤلفون Diffusion Blend، وهو إطار عمل يقوم بتخليق عمليات انتشار عكسية جديدة عبر مزج نماذج موجودة تم ضبطها بدقة. يستند هذا النهج إلى الملاحظة النظرية بأن دالة الدرجة (Score Function) - أي حد الانجراف (Drift Term) - لنموذج انتشار موائم للمكافأة يمكن تقريبها كمزيج خطي من درجات النماذج الأساسية.

الأساس النظري

تؤسس الورقة علاقة بين معادلة الانتشار العكسية (Backward SDE) لنموذج مسبق التدريب ( $f^{pre}$ ) ونموذج مضبوط بدقة ليتوافق مع مكافأة $r$ ووزن KL قدره $\alpha$ ( $f^{(r,\alpha)}$ ).

الفرضية 1: يكون انجراف النموذج الموائم هو انجراف النموذج مسبق التدريب ناقصًا حد التحكم $u^{(r,\alpha)}$ الذي يعتمد على المكافأة.
التقريب: باستخدام تقريب فجوة جينسن (Jensen gap approximation)، يتم تقريب حد التحكم المعقد $u^{(r,\alpha)}$ كقيمة التوقع للمكافأة. وبسبب خطية التوقع، يمكن تقريب حد التحكم لمزيج خطي من المكافآت $r(w) = \sum w_i r_i$ كمجموع مرجح لحدود التحكم للمكافآت الفردية الأساسية.

ثلاث خوارزميات أساسية

بناءً على هذه النظرية، قام المؤلفون بتطبيق ثلاث خوارزميات:

DB-MPA (Diffusion Blend - Multi-Preference Alignment):
- الهدف: المواءمة مع مزيج خطي من عدة مكافآت $r(w) = \sum w_i r_i$ .
- الآلية: عند الاستدلال، تقوم بحساب حد الانجراف الممزوج عبر الجمع الخطي لحدود الانجراف لـ $m$ من النماذج المضبوطة بدقة بشكل مستقل (كل منها مدرب على مكافأة أساسية واحدة $r_i$ مع $\alpha$ ثابت).
- الصيغة: $f^{(r(w),\alpha)} \approx \sum w_i f^{(r_i, \alpha)}$ .
DB-KLA (Diffusion Blend - KL Alignment):
- الهدف: التحكم في قوة تنظيم KL (الانحراف عن النموذج الأساسي) دون إعادة التدريب.
- الآلية: تقوم بمزج انجراف نموذج واحد موائم للمكافأة ( $f^{(r,\alpha)}$ ) مع النموذج مسبق التدريب ( $f^{pre}$ ) بناءً على عامل يحدده المستخدم $\lambda$ .
- الصيغة: $f^{(r, \alpha/\lambda)} \approx (1-\lambda)f^{pre} + \lambda f^{(r,\alpha)}$ . وهذا يسمح بالاستكمال التدريجي (Interpolation) بين النموذج الأساسي والنموذج الموائم بالكامل.
DB-MPA-LS (Diffusion Blend - Multi-Preference Alignment with LoRA Sampling):
- الهدف: تقليل تكلفة الاستدلال لـ DB-MPA.
- المشكلة: تتطلب DB-MPA تشغيل $m$ من النماذج عند كل خطوة إزالة ضجيج (Denoising Step)، مما يؤدي إلى زمن تأخير قدره $m \times$ .
- الحل: بدلاً من جمع حدود الانجراف، تقوم بـ أخذ عينة عشوائية من أحد محولات LoRA المضبوطة بدقة عند كل خطوة إزالة ضجيج، وذلك باحتمالية تتناسب مع أوزان المستخدم $w_i$ .
- الضمان النظري: تثبت الفرضية 2 أن التوزيع الاحتمالي الهام لـ SDE المدفوع بمجموع مرجح من الانجرافات هو متطابق مع SDE المدفوع بانجراف تم اختياره عشوائيًا (Bernoulli/Categorical switching). وهذا يقلل وقت الاستدلال ليصبح مثل وقت نموذج واحد مع الحفاظ على الأداء.

3. المساهمات الرئيسية

الاشتقاق النظري: إثبات أن عملية الانتشار العكسية لهدف متعدد المكافآت/التنظيم يمكن تقريبها عبر مزج عمليات النماذج الأساسية، مما يتجنب الحاجة إلى ثوابت التطبيع غير القابلة للحساب أو تقييم الكثافة الصريح.
الابتكار الخوارزمي: تقديم DB-MPA و DB-KLA و DB-MPA-LS الفعالة. وتعد DB-MPA-LS مهمة بشكل خاص لأنها تلغي التوسع الخطي لوقت الاستدلال مع عدد التفضيلات، وهو ما يمثل عقبة رئيسية أمام طرق المواءمة السابقة أثناء الاستدلال.
التقييم الشامل: التحقق من النهج باستخدام Stable Diffusion v1.5 و SDXL باستخدام نماذج مكافأة متعددة (ImageReward، VILA، PickScore، وقابلية ضغط JPEG) ومجموعات بيانات مرجعية (DrawBench، GenEval).

4. النتائج التجريبية

قارن المؤلفون Diffusion Blend بعدة خطوط أساس (Baselines): Rewarded Soup (RS) (استكمال المعلمات)، و CoDe (النظر المستقبلي الخالي من التدرج)، و RGG (توجيه تدرج المكافأة)، و MORL (التعلم المعزز متعدد الأهداف، والذي يُعامل كحد أعلى مثالي/Oracle).

الأداء (جبهة باريتو - Pareto Front): تفوقت DB-MPA باستمرار على جميع الخطوط الأساسية (RS, Covo, RGG) عبر مختلف أوزان التفضيل ( $w$ ). وقد اقترب أداؤها من النموذج المثالي MORL، الذي يمثل الحد الأقصى النظري الذي يمكن تحقيقه عبر تدريب نموذج منفصل لكل تكوين أوزان محدد.
الكفاءة:
- DB-MPA: حققت مواءمة فائقة ولكنها تسببت في زمن استدلال قدره $\approx 2\times$ (لمكافأتين) مقارلة بالنموذج الأساسي.
- DB-MPA-LS: حققت أداءً مطابقًا تقريبًا لـ DB-MPA (تداخل في جبهة باريتو) ولكن مع زمن تأخير استدلال يطابق نموذج Stable Diffusion الأساسي (لا يوجد عبء مضاعف).
القابلية للتوسع: توسع المنهج بشكل جيد مع 3 و 4 مكافآت. وبينما تدهور أداء RS بشكل كبير مع زيادة عدد المكافآت، حافظت DB-MPA و DB-MPA-LS على تحسينات مستقرة.
المكافآت المتعارضة: في الإعدادات التنافسية (مثل التحسين لضغط JPEG مقابل الجودة الجمالية)، نجحت DB-MPA في موازنة المقايضات، بينما فشلت الطرق القائمة على التدرج أو تطلبت تقريبات غير قابلة للاشتقاق.
التحكم في KL: أظهرت DB-KLA تحكمًا سلسًا ومستمرًا في قوة المواءمة، حيث تولد صورًا تطابق نماذج RL التي تم ضبطها بواسطة $\lambda$ دون الحاجة لإعادة التدريب.

5. الأهمية

الذكاء الاصطناعي المتمحور حول المستخدم: يتيح تخصيصًا فوريًا للمستخدم للنماذج التوليدية. يمكن للمستخدمين تعديل "شخصية" النموذج ديناميكيًا (على سبيل المثال: "اجعله أكثر فنية" أو "التزم أكثر بالمطالبة") دون انتظار إعادة التدريب.
كفاءة الموارد: من خلال فصل الحاجة إلى نماذج متعددة مضبوطة بدقة عن عملية الاستدلال، تجعل Diffusion Blend المواءمة متعددة الأهداف ممكنة في البيئات محدودة الموارد والتطبيقات التي تعمل في الوقت الفعلي.
التعميم: الإطار مستقل عن نوع وظائف المكافأة المحددة (طالما أن النماذج الأساسية متوفرة) ويعمل عبر هياكل انتشار مختلفة (SD 1.5 و SDXL).
الرؤية النظرية: يوفر تبريرًا رياضيًا مبدئيًا لعملية "المزج" لمسارات الانتشار، متجاوزًا مجرد متوسط المعلمات الهيوسي (مثل Rewarded Soup) إلى تخليق على مستوى العملية يحافظ على الديناميكيات العشوائية الأساسية.

باختصار، يحل Diffusion Blend مشكلة الجمود في المواءمة الحالية القائمة على التعلم المعزز من خلال تقديم طريقة قائمة على أسس نظرية وفعالة حسابيًا للتنقل في فضاء التفضيلات متعدد الأهداف لنماذج الانتشار أثناء الاستدلال.