Exploring Diffusion Models' Corruption Stage in Few-Shot Fine-tuning and Mitigating with Bayesian Neural Networks

إليك ملخص تقني مفصل للورقة البحثية بعنوان: "استكشاف مرحلة الفساد في نماذج الانتشار أثناء الضبط الدقيق قليل العينات، والتخفيف منها باستخدام الشبكات العصبية البايزية."

1. بيان المشكلة

تتناول الورقة مشكلة حرجة في الضبط الدقيق قليل العينات لنماذج الانتشار (DMs). فبينما يسمح الضبط الدقيق قليل العينات (مثل DreamBooth وLoRA) بتوليد صور مخصصة ببيانات محدودة، حدد المؤلفون ظاهرة غير متوقعة وضارة أثناء عملية التدريب:

• "مرحلة الفساد" (The Corruption Stage): خلال عملية الضبط الدقيق، تتحسن دقة الصورة في البداية، ولكنها بعد ذلك تتدهور بشكل غير متوقع، وهو ما يتميز بظهور أنماط ضوضائية وعيوب (artifacts) في الصور المولدة. وفقط بعد هذه المرحلة، تستعيد الصورة دقتها، لكن النموذج غالباً ما يدخل في حالة من الإفراط في التخصيص (Overfitting) الشديد، حيث يصبح قادراً فقط على إعادة إنتاج صور التدريب بدقة تامة، مما يفقده القدرة على توليد محتوى متنوع.
• السبب الجذري: يفترض المؤلفون أن هذا الفساد ينبع من تضييق التوزيع المتعلم. في سيناريوهات قلة العينات، يصبح المنوال (Manifold) الذي يتعلمه النموذج ($I_\theta$) مقيداً للغاية حول بيانات التدريب المحدودة، مما يؤدي إلى عدم الاستقرار عندما يحاول النموذج إزالة الضجيج من المدخلات التي تختلف قليلاً عن توزيع التدريب.

2. المنهجية

يتضمن الحل المقترح تطبيق الشبكات العصبية البايزية (BNNs) على عملية الضبط الدقيق لتوسيع التوزيع المتعلم ضمنياً دون تكبد تكاليف إضافية عند الاستنتاج.

أ. النمذجة الاستدلالية لمرحلة الفساد

قام المؤلفون أولاً بتطوير نموذج استدلالي لتفسير مرحلة الفساد:

• نمذجة الحالة الأحادية (One-Shot Modeling): قاموا بنمذجة نموذج الانتشار (DM) الذي خضع للضبط الدقيق كتقريب لتوزيع غاوسي متعدد المتغيرات. واستنتجوا أن الصورة الأصلية المتوقعة $\hat{x}_0$ هي دالة لصورة التدريب $x'$ وحد الخطأ $\delta_t$.
• حد الخطأ: يكون حد الخطأ $\delta_t$ متناسباً مع الفرق بين المدخلات المشوشة وبيانات التدريب، مكيّفاً بمعامل الثقة $\sigma_1$.
• آلية الفساد:
  • في مراحل التدريب المبكرة/المتوسطة، تكون قيمة $\sigma_1$ مرتفعة نسبياً. إذا لم يتطابق الضجيج المدخل تماماً مع بيانات التدريب، يتم تضخيم حد الخطأ $\delta_t$، مما يؤدي إلى "الفساد" (الأنماط الضوضائية).
  • مع استمرار التدريب، تنخفض قيمة $\sigma_1$ (يصبح النموذج مفرط الثقة)، ويتلاشى حد الخطأ، ويقوم النموذج ببساطة بحفظ صورة التدريب (الإفراط في التخصيص).
• الاستنتاج: ينشأ الفساد لأن النموذج يفتقر إلى توزيع قوي للتعامل مع العشوائية في عملية الانتشار عندما يكون المنوال المتعلم صغيراً جداً.

ب. دمج الشبكة العصبية البايزية (BNN)

للتخفيف من ذلك، استبدل المؤلفون المعلمات الحتمية التقلية بمتغيرات عشوائية، حيث يتم نمذجة التوزيع البعدي للمعلمات $P(\theta|D)$.

• الاستدلال التبايني (Variational Inference): استخدموا توزيعاً تباينياً في المجال المتوسط $Q_W(\theta)$ (غاوسي) لتقريب التوزيع البعدي.
• دالة الخسارة: تم اشتقاق هدف التدريب من الحد الأدنى لتباعد الإثبات (ELBO)، والذي يتكون من حدين:
  1. توقع خسارة الانتشار ($L_{DM}$): توقع خسارة الانتشار عبر توزيع المعلمات.
  2. التنظيم ($L_r$): حد تباعد KL بين التوزيع التبايني والسابقة (أوزان نموذج الانتشار المسبق).
  • الصيغة: $W^* = \arg\min_W \mathbb{E}_{\theta \sim Q_W(\theta)} [L_{DM}] + \lambda L_r$
• تعزيز البيانات الضمني: من خلال أخذ عينات من المعلمات من توزيع ما، يُجبر النموذج على تعلم توزيع أكبر وأكثر قوة بدلاً من تقدير نقطي واحد. يعمل هذا بمثابة تعزيز ذاتي للبيانات، مما يمنع النموذج من الانهيار في المنوال الضيق الذي يسبب الفساد.
• كفاءة الاستنتاج: أثناء الاستنتاج، يستخدم النموذج فقط المتوسط ($\mu_\theta$) لتوزيع المعلمات المتعلم. وهذا يضمن عدم وجود تكلفة إضافية للاستنتاج مقارنة بالضبط الدقيق القياسي.

3. المساهمات الرئيسية

1. اكتشاف مرحلة الفساد: كانت هذه الورقة هي الأولى التي تحدد وتصف "مرحلة الفساد" في الضبط الدقيق قليل العينات لنماذج الانتشار، حيث تتدهور جودة الصورة مؤقتاً بسبب الأنماط الضوضائية قبل حدوث الإفراط في التخصيص.
2. التفسير النظري: قدموا نموذجاً رياضياً استدلالياً يشرح لماذا يحدث هذا (تضييق التوزيع المتعلم وتضخيم الخطأ) وكيف يتطور عبر دورات التدريب.
3. التخفيف القائم على BNN: اقترحوا تطبيقاً جديداً للشبكات العصبية البايزية على نماذج الانتشار. وعلى عكس الشبكات البايزية التقليدية التي غالباً ما تكون ثقيلة حاسوبياً، فإن نهجهم:
   • يوسع التوزيع المتعلم ضمنياً.
   • يفكك هدف التعلم إلى توقع خسارة الانتشار وحد تنظيم.
   • يتوافق مع الطرق الموجودة مثل DreamBooth وLoRA وOFT.
   • لا يتسبب في أي تأخير إضافي في الاستنتاج.

4. النتائج التجريبية

تم تقييم الطريقة على Stable Diffusion v1.5 (واختبارها على v1.4/v2.0) باستخدام مجموعات بيانات DreamBooth (الموجهة نحو الكائنات) و CelebA-HQ (الموجهة نحو الأشخاص).

• المقاييس الكمية:
  • دقة الصورة (Fidelity): تحسن ملحوظ في درجات Dino و Clip-I (لقياس التشابه مع موضوعات التدريب).
  • المواءمة مع النص: تحسن في درجات Clip-T (المواءمة مع المطالبات النصية).
  • جودة الصورة: مكاسب كبيرة في Clip-IQA (الجودة بدون مرجع)، والتي تُعزى مباشرة إلى تقليل عيوب الفساد.
  • التنوع: تحسن في درجات Lpips، مما يشير إلى أن النموذج يحتفظ بالتنوع التوليدي بدلاً من الإفراط في التخصيص.
• النتائج المرئية: تظهر المقارنات المرئية أن الضبط الدقيق القياسي ينتج صوراً ذات أنماط ضوضائية مرئية خلال مرحلة الفساد، بينما تنتج النماذج المضبوطة بـ BNN صوراً نظيفة وعالية الدقة طوال فترة التدريب.
• دراسة المستخدمين: في دراسة شملت 101 مشاركاً، فضّل المشاركون النماذج المعززة بـ BNN في 65-70% من الحالات فيما يتعلق بدقة الموضوع، والمواءمة مع النص، وجودة الصورة.
• دراسات الاستبعاد (Ablation Studies):
  • تعمل الطريقة عبر إصدارات مختلفة من نماذج الانتشار وعدد دورات تدريب مختلفة.
  • تطبيق BNN على طبقات محددة فقط (مثل طبقات التطبيع/Normalization) يقلل من تعديل المعلمات إلى حوالي 0.02% مع الحفاظ على أداء قوي.
  • تسمح المعلمة الفائقة $\lambda$ بضبط التوازن بين التنوع والدقة.

5. الأهمية

• الرؤية النظرية: توفر الورقة عدسة نظرية حاسمة لفهم ديناميكيات الضبط الدقيق قليل العينات، منتقلة من مجرد الملاحظة التجريبية إلى شرح "السبب" وراء فشل التدريب.
• الأثر العملي: تقدم حلاً بسيطاً وسهل الاستخدام (BNNs) يحسن بشكل كبير من موثوقية أدوات التوليد الذكاء الاصطناعي المخصصة.
• الكفاءة: من خلال ضمان عدم وجود عبء إضافي عند الاستنتاج، يمكن نشر الطريقة فوراً في بيئات الإنتاج، مما يجعل التوليد الشخصي عالي الجودة متاحاً دون التضحية بالسرعة.
• القابلية للتعميم: يتوافق النهج مع تقنيات الضبط الدقيق الفعال في المعلمات (PEFT) الرئيسية مثل LoRA وOFT، مما يشير إلى إمكانية تحوله إلى مكون قياسي في مستقبل تكييف النماذج التوليدية.