It's Never Too Late: Noise Optimization for Collapse Recovery in Trained Diffusion Models

إليك ملخص تقني مفصل للورقة البحثية بعنوان "It's Never Too Late: Noise Optimization for Collapse Recovery in Trained Diffusion Models."

1. بيان المشكلة

تعاني نماذج الانتشار (Diffusion Models) المعاصرة لتحويل النص إلى صورة (مثل SDXL-Turbo و Flux.1) من مشكلة انهيار النمط (Mode Collapse). فعند أخذ عينات متعددة من صور باستخدام نفس المطالبة النصية (Prompt) مع استخدام بذور عشوائية مختلفة (ضجيج مستقل وموزع بشكل متماثل - i.i.d.)، غالبًا ما تنتج النماذج مخرجات متطابقة تقريبًا مع حد أدنى من التباين البصري.

• القيود الحالية: تعتمد الحلول الموجودة على:
  • آليات التوجيه (Guidance mechanisms): توجيه النموذج عبر تعديل الشروط (مثل Particle Guidance أو DPP)، وهو ما غالبًا ما يؤدي إلى مقايضة التنوع مقابل الجودة.
  • الأسالهم القائمة على البحث (Search-based methods): توليد مجموعة كبيرة من المرشحين ثم تصفيتهم (مثل "Best-of-N")، وهي عملية مكلفة حاسوبيًا وتستهلك الكثير من الذاكرة.
  • هندسة المطالبات (Prompt engineering): تعديل المدخلات النصية، وهو أمر لا يمكنه بسهولة استيعاب جميع التباينات في فضاء المخرجات.
• السؤال الجوهري: هل يمكننا تحسين الضجيج الأولي ($x_0$) مباشرة للتعافي من انهيار النمط وتوليد صور متنوعة وعالية الجودة دون تغيير النموذج المدرب مسبقًا أو مطالبة المستخدم؟

2. المنهجية

يقترح المؤلفون إطار عمل لتحسين الضجيج من البداية إلى النهاية (End-to-end noise optimization framework) يعامل متجه الضجيج الأولي كمعلم قابل للتعلم. تتضمن العملية ما يلي:

أ. هدف تحسين الضجيج

بفرض وجود مطالبة ثابتة $c$ ونموذج انتشار مجمد $g_\theta$، يقوم الأسلوب بتحسين دفعة من عينات الضجيج الأولية $\{x_0^{(i)}\}_{i=1}^B$. دالة الهدف تقلل من الخسارة $\mathcal{L}$ المكونة من ثلاثة حدود:

1. مكافأة الجودة ($r_s$): تضمن التزام الصور الفردية بالمطالبة والحفاظ على دقة عالية (على سبيل المثال، باستخدام CLIPScore أو HPSv2).
2. مقياس التنوع ($v_\mathcal{B}$): يعظم عدم التشابه بين الصور في الدفعة. تستكشف الورقة مقاييس متنوعة:
   • المستوى الزوجي (Pairwise): ميزات DINOv2 patch، و DreamSim، و LPIPS، والمخططات اللونية (Color Histograms).
   • مستوى المجموعة (Set-level): عمليات النقطة المحدد (DPP) و درجة Vendi، والتي تقيس العدد الفعلي للعناصر الفريدة في مجموعة ما.
3. التنظيم ($\text{reg}$): يمنع الضجيج المُحسن من الانحراف بعيدًا عن التوزيع المسبق $N(0, I)$. ويتم ذلك من خلال معاقبة الانحرافات عن توزيع $\chi_d$ لمعيار الضجيج.

تتم عملية التحسين عبر الانتشار العكسي (Backpropagation) من خلال العينة المجمدة $g_\theta$.

ب. استراتيجية تهيئة الضجيج (الضجيج الوردي - Pink Noise)

تتمثل الرؤية الأساسية في الورقة في تحليل تطور الضجيج. أثناء عملية التحسين، لاحظ المؤلفون أن التغييرات الأكثر أهمية تحدث في المكونات منخفضة التردد لطيف الضجيج، بينما تظل الترددات العالية مستقرة نسبيًا.

• الفرضية: تتبع الصور الطبيعية طيف قدرة $1/f$ (أي قدرة أكبر في الترددات المنخفضة). أما الضجيج الأبيض القياسي فهو مسطح طيفيًا.
• الحل: يقترح المؤلفون تهيئة بالضجيج الوردي (Pink Noise). يقومون بتحويل الضجيج الأبيض إلى المجال الترددي عبر تحويل فوريه (FFT)، ثم تطبيق عامل قياس قدرة $f^{-\alpha/2}$ (حيث $\alpha \approx 0.2$)، ثم التحويل العكسي.
• الفائدة: تجعل هذه التهيئة الضجيج الأولي متوافقًا مع الخصائص الإحصائية للصور الطبيعية وديناميكيات التحسين، مما يؤدي إلى تقارب أسرع وتنوع أعلى.

ج. أوضاع التحسين

• التحسين بالدفعة (Batched Optimization): يحسن مجموعة من الصور بشكل مشترك (مثل 4 صور) لتعظيم التنوع على مستوى المجموعة.
• التحسين المتسلسل (Sequential Optimization): يولد الصور واحدة تلو الأخرى، مع تحسين كل منها لتختلف عن المخرجات التي تم توليدها سابقًا. هذا يقلل من استهلاك الذاكن ويسمح بتوليد مجموعات متنوعة كبيرة.

3. المساهمات الرئيسية

1. تحسين الضجيج من أجل التنوع: يثبت أن تحسين الضجيج الأولي مباشرة هو استراتيجية متفوقة للتعافي من انهيار النمط مقارنة بطرق التوجيه أو البحث.
2. أهداف التنوع على مستوى المجموعة: يحدد أن DPP و درجة Vendi أكثر فعالية من المقاييس الزوجية البسيطة لتحسين المجموعات المتنوعة، لأنها تمنع "متوسط المقياس الزوجي" من التلاعب عبر جعل صورة واحدة مختلفة جدًا مع إبقاء الصور الأخرى متشابهة.
3. تهيئة الضجيج الوردي: يقترح استراتيجية بسيطة وخالية من المعلمات (باستخدام الضجيج الوردي) تعمل باستمرار على تحسين التنوع عبر نماذج مختلفة (SDXL-Turbo, Flux.1) والأساليب المرجعية، حتى بدون تحسين إضافي.
4. مقايضة الجودة-التنوع: يوضح أن طريقتهم يمكن أن تزيد التنوع دون التضحة بجودة الصورة أو الالتزام بالمطالبة، متجاوزة بذلك المقايضة المعتادة التي تظهر في طرق التوجيه.

4. النتائج التجريبية

تم تقييم الطريقة باستخدام GenEval، و DPG-Bench (للمطالبات المعقدة)، و T2I-CompBench باستخدام نماذج مثل SDXL-Turbo و Flux.1 [schel].

• الأداء الكمي:
  • التنوع: يتفوق على أخذ العينات i.i.d. وعلى أحدث أساليب البحث [Parmar et al., 2025] عبر جميع المقاييس (DINO, DreamSim, LPIPS, Vendi Score).
  • الجودة: يحافظ على درجات جودة الصور (HPSv2, CLIPScore) أو يحسنها قليلاً مقارنة بالنماذج المرجعية.
  • الكفاءة: مع تهيئة الضجيج الوردي، تصل الطريقة إلى درجات تنوع أعلى من طريقة البحث المرجعية في عدد أقل بكثير من التكرارات (مثلاً، 6-8 تكرارات مقابل 9-12 للضجيج الأبيض).
• النتائج النوعية:
  • يولد تنوعًا في وضعية الأشياء، واللون، والأسلوب، والخلفية مع الالتزام الصارم بالمطالبات المعقدة.
  • يتعامل بنجاح مع المطالبات المعقدة (مثل "مشهد خريفي خلاب...") حيث تفشل عملية أخذ العينات i.i.d. في إنتاج التباين.
• الدراسة البشرية: فضل المقيمون البشريون مخرجات الطريقة المقترحة (خاصة تلك المحسنة باستخدام DPP/Vendi) على أخذ العينات i.i.d. وطريقة البحث المرجعية في 85-91% من الحالات.

5. الأهمية

ينقل هذا العمل نموذج توليد التنوع في نماذج الانتشار من استراتيجيات أخذ العينات (انتظار بذرة جيدة) أو التوجيه (تعديل مسار التوليد) إلى تحسين المدخلات.

• القابلية العامة للتطبيق: النهج غير مرتبط بنموذج معين (model-agnostic) ويعمل على نماذج الانتشار المعيارية والمبسطة (step-distilled).
• الكفاءة: من خلال تحسين الضجيج مباشرة، يتجنب النهج العبء الهائل على الذاكرة الناتج عن توليد وتخزين مئات المرشحين لغرض التصفية.
• رؤية في الفضاء الكامن (Latent Space): توفر عملية اكتشاف أن مكونات الضجيج منخفضة التردد هي التي تقود التنوع فهمًا جديدًا لكيفية تفسير نماذج الانتشار للضجيج الأولي، مما يشير إلى أن "الهيكل" يتم تأسيسه مبكرًا في النطاق الترددي.

في الختام، تقدم الورقة حلاً قويًا وفعالًا وعالي الجودة لمشكلة انهيار النمط، مثبتة أن "الوقت لم يفت أبدًا" لتحسين ضجيج المدخلات لإطلاق كامل إمكانات التنوع في نماذج الانتشار المدربة.