Unconditional Priors Matter! Improving Conditional Generation of Fine-Tuned Diffusion Models

ملخص تقني: الأولويات غير المشروطة مهمة!

العنوان: الأولويات غير المشروطة مهمة! تحسين التوليد الشرطي لنماذج الانتشار (Diffusion Models) التي خضعت للضبط الدقيق
المؤلفون: برين فونيابيبارن، فيليب ي. لي، جاي هون كيم، مينهيوك سونج (KAIST)

---

1. المشكلة: تدهور الأولويات غير المشروطة (Unconditional Priors)

تتناول الورقة مشكلة حرجة، وغالباً ما يتم تجاهلها، في نماذج الانتشار الشرطية القائمة على التوجيه الخالي من التصنيف (Classifier-Free Guidance - CFG).

في الممارسة القياسية، يتم ضبط شبكة واحدة لتوقع كل من الضجيج الشرطي ($\epsilon_\theta(x_t, c)$) والضجيج غير الشرطي ($\epsilon_\theta(x_t, \emptyset)$). ويتم تحقيق ذلك عادةً عن طريق إسقاط إشارة الشرط عشوائياً (مثلاً 5-20% من الوقت) أثناء التدريب. لاحظ المؤلفون عيبين رئيسيين في هذا النهج:

• عنق زجاجة السعة (Capacity Bottleneck): نظرًا لأن الشبكة نفسها يجب أن تتعلم التوزيعات الشرطية المعقدة والتوزيعات غير الشرطية الأكثر تعقيداً، فإن "عرض النطاق" (Bandwidth) المخصص للحالة غير المشروطة يكون محدوداً.
• تدهور الأولوية (Prior Degradation): إن الضبط الدقيق لنموذج أساسي (مثل Stable Diffusion) على مهمة محددة وأضيق (مثل توليد منظور جديد أو تحرير الصور) يتسبب في فقدان النموذج لمعرفته العامة الغنية وغير المشروطة.

النتيجة: بما أن الـ CFG يعتمد على الفرق بين الضجيج الشرطي وغير الشرطي لـ "توجيه" عملية التوليد، فإن وجود أولوية غير مشروطة ضعيفة (منخفضة الجودة أو مشوهة) يؤدي إلى تدهور كبير في المخرجات الشرطية النهائية، وهو ما يظهر في شكل تشبع لوني، أو تشوهات في الشكل، أو فقدان للتفاصيل الدلالية.

2. المنهجية: استبدال الضجيج غير المشروط

يقترح المؤلفون حلاً لا يتطلب إعادة تدريب (training-free) يستفيد من الأولويات غير المشروطة عالية الجودة للنماذج المدربة مسبقاً.

الفكرة الجوهرية: بدلاً من استخدام توقع الضجيج غير الشرطي الخاص بالنموذج الذي خضع للضبط الدقيق (والمتدهور)، يتم استبداله بتوقع الضجيج من نموذج يمتلك أولوية غير مشروطة متفوقة.

الصياغة الرياضية:
في الـ CFG القياسي، يكون الضجيج الموجه هو:
$$\epsilon_\theta^{(\gamma)}(x_t, c) = \epsilon_\theta(x_t, \emptyset) + \gamma(\epsilon_\theta(x_t, c) - \epsilon_\theta(x_t, \emptyset))$$

يقترح المؤلفون الـ CFG المعدل (Modified CFG):
$$\epsilon_{\theta, \psi}^{(\gamma)}(x_t, c) = \epsilon_\psi(x_t, \emptyset) + \gamma(\epsilon_\theta(x_t, c) - \epsilon_\psi(x_t, \emptyset))$$
حيث أن:

• $\epsilon_\theta$ هو الضجيج من النموذج الشرطي الذي خضع للضبط الدقيق.
• $\epsilon_\psi$ هو الضجيح من نموذج مدرب مسبقاً بامتلاك أولويات قوية (والذي يمكن أن يكون النموذج الأساسي الأصلي أو حتى بنية معمارية مختلفة تماماً مثل PixArt-$\alpha$).

الرؤية الجوهرية: لا يشترط في النموذج "المستبدل" ($\psi$) أن يتشارك نفس البنية المعمارية أو حتى نفس تاريخ التدريب مع النموذج الذي خضع للضبط الدقيق ($\theta$)، طالما أن توزيعه غير المشروط $p_\psi(x_t)$ يعد تقريباً أفضل لتوزيع البيانات الحقيقي.

3. المساهمات الرئيسية

• تحديد خلل جوهري: أثبتوا أن تدهور الأولويات غير المشروطة أثناء الضبط الدقيق هو المحرك الرئيسي لضعف جودة التوليد الشرطي.
• حل لا يتطلب تدريباً: قدموا طريقة "plug-and-play" لا تتطلب إعادة تدريب، ولا تغييرات في البنية المعمارية، ولا بيانات تدريب إضافية.
• التوافق عبر البنى المعمارية المختلفة: أثبتوا أن النموذج المستبدل يمكن أن يمتلك بنية مختلفة (على سبيل المثال، استخدام Diffusion Transformer/DiT لتوجيه UNet).
• تعدد الاستخدامات: أظهرت الطريقة فاعليتها عبر وسائط متنوعة، بما في ذلك (image-to-image)، و(text-to-image)، و(image-to-video)، وتوليد المنظور الجديد.

4. النتائج التجريبية

تحقق المؤلفون من صحة الطريقة عبر خمسة نماذج شرطية رئيسية:

• Zero-1-to-3 (توليد منظور جديد): تحسين الإضاءة، وتقليل التشبع اللوني، وتصحيح تشوهات الشكل. أظهرت المقاييس الكمية (LPIPS, PSNR, SSIM) مكاسب كبيرة، خاصة عند استخدام SD2.1 كأولوية.
• Versatile Diffusion (تنويع الصور): تحسين درجات FID وFDDINOv2 مع الحفاظ على توافق عالٍ مع الشرط (CLIP-I). نجحت الطريقة بفعالية في تصحيح التشبع المفرط وتشوهات الأجسام.
• DiT (شرطي على الفئة): أظهرت أنه حتى بالنسبة للبنى القائمة على المحولات (Transformer)، فإن استخدام الأولوية الخاصة بالنموذج الأساسي يحسن FID، خاصة عندما تكون مجموعات بيانات الضبط الدقيق كبيرة.
• DynamiCrafter (تحويل الصورة إلى فيديو): حسنت الاتساق الزمني والجودة الجمالية، مما نتج عنه فيديوهات تحتوي على تشوهات أقل (مثل الأيدي والوجوه).
• InstructPix2Pix (تحرير الصور): عززت دقة التحرير (التوافق مع التعليمات النصية) مع الحفاظ بشكل أفضل على هوية الموضوع الأصلي.

5. الأهمية والقيود

الأهمية:
يغير هذا العمل المنظور تجاه تدريب الـ CFG. فهو يشير إلى أننا لسنا بحاجة بالضرورة لتعلم الضجيج غير المشروط والشرطي معاً. قد يسمح هذا بعمليات ضبط دقيق أكثر كفاءة حيث يركز النموذج فقط على تعلم الخريطة الشرطية، مع الاعتماد على نماذج خارجية للمكون "غير المشروط".

القيود:

• الذاكرة/السرعة: تتطلب الطرح تحميل نموذج ثانٍ في ذاكرة الفيديو (VRAM)، مما يزيد من استهلاك الذاكرة. كما يوجد زيادة طفيفة في وقت الاستدلال بسبب عملية التمرير الأمامي (forward pass) الإضافية المطلوبة للنموذج الثاني.
• النطاق: الطريقة أقل فعالية مع الطرق القائمة على المهايئات (adapters) مثل ControlNet، والتي لا تعاني من نفس المستوى من تدهور الأولوية غير المشروطة.