ملخص تقني: المطابقة الملحقة الفعالة لضبط نماذج الانتشار (Diffusion Models)

بيان المشكلة

أصبح الضبط الدقيق القائم على المكافأة (Reward-based fine-tuning) النهج القياسي لمحاذاة نماذج الانتشار والتدفق (Flow models) سابقة التدريب مع التفضيلات البشرية في توليد الصور من النصوص (T2I). ومن بين هذه الأساليب، تقدم المطابقة الملحقة (Adjoint Matching - AM) صياغة مبدئية عبر تصنيف الضبط الدقيق للمكافأة كمسألة تحكم أمثل عشوائي (Stochastic Optimal Control - SOC). تهدف AM إلى تحويل النموذج سابقة التدريب إلى توزيع مستهدف $p^\star_1(x) \propto e^{\beta r(x)}p_{data}(x)$، حيث $r(x)$ هي دالة المكافأة.

ومع ذلك، تعاني AM من عدم كفاءة حسابية كبيرة تعيق تطبيقها العملي:

1. عنق زجاجة المحاكاة الأمامية: تتطلب AM محاكاة مسارات توليدية كاملة باستخدام حلّال معادلات تفاضلية عشوائية (SDE) تحت ديناميكيات "عديمة الذاكرة". وهذا يستلزم عدداً كبيراً من عمليات تقييم الدالة (NFEs) ويتطلب تخزين المسار بأكمله في الذاكرة.
2. عنق زجاجة المحاكاة الخلفية: لحساب إشارة التحكم، تتطلب AM محاكاة معادلة تفاضلية عادية (ODE) خلفية للحالة الملحقة (adjoint state) على طول المسار المأخوذ عينة. يتضمن هذا حساب نواتج ضرب جاكوبي-المتجه (JVPs) عبر الشبكة سابقة التدريب عند كل خطوة تكامل، وهو أمر مكلف حسابياً.

لاحظ المؤلفون أن اختناقات العنق هذه مرتبطة جوهرياً بالانجراف الأساسي غير البديهي الموروث من نماذج AM القياسية.

المنهجية: المطابقة الملحقة الفعالة (Efficient Adjoint Matching - EAM)

يقترح البحث المطابقة الملحقة الفعالة (EAM)، والتي تعيد صياغة مسألة التحكم الأمثل العشوائي (SOC) للقضاء على كلا عنقي الزجاجة الحسابيين مع الحفاظ على الضمان النظري للوصول إلى التوزيع المستهدف المائل للمكافأة.

1. إعادة تصميم الديناميكيات الأساسية

تقدم EAM شرطين هيكليين للديناميكيات الأساسية:

• الخطية: يتم إعادة تصميم الانجراف الأساسي $b(x,t)$ ليكون خطياً في $x$ (أي $b(x,t) = D(t)x$).
• عدم الذاكرة: تظل الديناميكية الأساسية عديمة الذاكرة، مما يسمح بأخذ عينات من الحالات المتوسطة مباشرة من نقطة النهاية.

من خلال تثبيت معامل الانتشار $\sigma(t)$ ليتوافق مع الإعداد القياسي، استنتج المؤلفون عائلة محددة من الانجرافات الخطية المقبولة (المعادلة 15) التي تستوفي هذه الشروط. يتيح هذا الانجراف الخطي حلاً بصيغة مغلقة للحالة الملحقة، مما يلغي الحاجة إلى محاكاة الـ ODE الخلفية وتقييمات JVP.

2. تصحيح التكلفة النهائية

إن تغيير الانجراف الأساسي يغير التوزيع النهائي للنظام غير المتحكم به. ولضمان أن التوزيع المتحكم به الأمثل لا يزال يطابق التوزيع المائل للمكافأة $p^\star_1$ المنشود، تشتق EAM تكلفة نهائية مصححة $g(x)$. تتضمن درجة هذه التكلفة $\nabla g(x)$ حدوداً لدرجة (score) النموذج سابقة التدريب، والدرجة النهائية الأساسية الجديدة، وتدرج المكافأة (المعادلة 16).

3. خوارزمية التدريب

تسير حلقة تدريب EAM (الخوارزمية 1) كما يلي:

1. توليد نقطة النهاية: بدلاً من عملية انتشار SDE كاملة، يتم توليد صورة نقطة النهاية $X_1$ باستخدام حلّال ODE حتمي بعدد قليل من الخطوات (على سبيل المثال، 10 NFEs).
2. بناء الحالة المتوسطة: يتم أخذ عينات من الحالات المتوسطة $X_t$ مباشرة من نواة الضجيج الأصلية $q_t(\cdot | X_1)$ المشروطة على نقطة النهاية المولدة، متجاوزة بذلك الحاجة إلى محاكاة SDE الأمامية.
3. الملحق ذو الصيغة المغلقة: يتم حساب الحالة الملحقة عبر قياس (scaling) بصيغة مغلقة لتدرج النقطة النهائية $\nabla g(X_1)$، مما يلغي المحاكاة الخلفية تماماً.
4. تمثيل بارامترات التحكم: يتم تمثيل التحكم $u(x,t)$ عبر نموذج سرعة قابل للتدريب (مثل LoRA) مُهيأ من النموذج سابقة التدريب، مما يسمح للضبط الدقيق بالبدء من الديناميكيات سابقة التدريب.

المساهمات الرئيسية

• اقتراح الخوارزمية: تقديم EAM، وهي خوارزمية ضبط دقيق قائمة على تدرج المكافأة تحقق نفس الأهداف النظرية لـ AM ولكن بتكلفة حسابية أقل بكثير.
• التوصيف النظري: توصيف الانجرافات الأساسية الخطية التي تستوفي متطلبات بناء المسار الفعال (عديمة الذاكرة) وحساب الملحق بالصيغة المغلقة.
• التحقق التجريبي: إثبات أن EAM تتقارب بسرعة تصل إلى 4 أضعاف مقارنة بـ AM في معايير T2I القياسية مع مطابقة أو تجاوز أدائها عبر مقاييس متعددة.

النتائج

قيم المؤلفون EAM باستخدام Stable Diffusion 3.5-Medium (SD3.5-M) مع مجموعة بيانات Pick-a-Pic، مقارنة بـ AM والنموذج المرجعي SD3.5-M.

• الكفاءة: تقلل EAM تكلفة التدريب لكل دورة بنسبة تصل إلى 4 أضعاف. ويتحقق ذلك من خلال استبدال محاكاة SDE المكونة من 40 خطوة بمحاكة 10 خطوات لنقطة نهاية ODE وإلغاء محاكات الملحق الخلفية.
• الأداء: في الاختبارات التي تشمل PickScore وImageReward وHPSv2.1 وCLIPScore وAesthetics، تضاهي EAM باستمرار أداء AM أو تتفوق عليه.
  • في إعدادات المكافأة الواحدة (PickScore)، حققت EAM درجة PickScore بلغت 23.16 مقارنة بـ 23.00 لـ AM.
  • في إعدادات المكافآت المتعددة (PickScore + HPSv2.1 + Aesthetics)، حققت EAM درجة PickScore بلغت 22.93 ودرجة Aesthetics بلغت 6.56، متفوقة على AM (6.21).
• التحسينات النوعية: تشير المقارنات البصرية إلى أن EAM تحافظ بشكل أفضل على التفاصيل الدقيقة والتركيبات المعقدة مقارنة بـ AM، التي قد تؤدي أحياناً إلى تنعيم التفاصيل. ويُعزى ذلك إلى اتساق EAM بين مسارات التدريب (الضجيج المشروط بنقطة النهاية) ومسارات الاستدلال.

الأهمية والادعاءات

يزعم البحث أن القيود الأساسية لـ Adjoint Matching ليست متأصلة في صياغة SOC نفسها، بل هي نتاج لخيارات محددة للانجراف الأساسي. من خلال إعادة تصميم الانجراف الأساسي ليكون خطياً وعديم الذاكرة، وتعديل التكلفة النهائية وفقاً لذلك، تزيل EAM عنقي الزجاجة الحسابيين الرئيسيين (المحاكاة الأمامية لـ SDE والمحاكاة الخلفية للملحق) دون التضحية بضمانات المحاذاة النظرية.

يضع المؤلفون EAM كحل عملي وقابل للتوسع للضبط الدقيق للمكافأة، يحافظ على كفاءة العينات للطرق القائمة على التدرج مع تقليل العبء الحسابي بشكل كبير، مما يجعل المحاذاة عالية الجودة لنماذج الانتشار أكثر سهولة. لا يدعي العمل حل جميع تحديات التحسين (مثل إعادة تشغيل المخزن المؤقت أو الجداول الزمنية التكيفية المذكورة كعمل مستقبلي) ولكنه يضع معياراً جديداً للكفاءة في هذا المجال.