ملخص تقني: توضيح مشكلة تدهور التمثيل في تدريب نماذج الانتشار

1. بيان المشكلة: تدهور التمثيل (Representation Degradation)

على الرغم من النجاح الملحوظ لنماذج الانتشار (Diffusion Models)، إلا أن تدريبها لا يزال غير فعال بسبب اختناق تحسين حاد أطلق عليه المؤلفون اسم تدهور التمثيل. يكشف التحليل التجريبي أنه مع زيادة مستويات الضجيج أثناء عملية الانتشار الأمامي، تظهر مخرجات النماذج المدربة تشوهاً هيكلياً تدريجياً، مما يؤدي في النهاية إلى انهيار البنية الدلالية ذات المعنى.

حدد المؤلفون أن عدم الاستقرار هذا ليس مجرد قصور معماري، بل هو مشكلة تحسين جوهرية مدفوعة بـ عدم تطابق قابلية استعادة الهدف (mismatched target recoverability). في أنظمة الضجيج العالي، تفقد المدخلات الفاسدة بنيتها المعلوماتية، مما يضعف طيف "نواة تانغنت العصبية" (NTK) المحلي ويقلل من قابلية التعلم على طول الاتجاهات ذات المعنى الدلالي. نتيجة لذلك، يخصص التدريب القياسي جهداً كبيراً للتحسين في المناطق التي يكون فيها الهدف قابلاً للاستعادة بشكل ضعيف فقط. يتسبب هذا التباين في هيمنة ضجيج بايز غير القابل للاختزال (الذي يسمى "أرضية بايز" - Bayes floor) على النموذج بدلاً من الإشارة القابلة للتعلم، مما يؤدي إلى تدهور طيفي وسلوك فعال منخفض الرتبة (low-rank behavior) في التمثيلات المتعلمة.

2. المنهجية: انتشار التمثيل الموضح (ERD)

لمعالجة هذا الاختناق، يقترح المؤلفون إطار عمل انتشار التمثيل الموضح (Elucidated Representation Diffusion - ERD)، وهو إطار تدريب "قابل للتركيب والتشغيل" (plug-and-play) يعيد تخصيص جهد التحسين ديناميكياً بناءً على قابلية الاستعادة الفعالة دون الحاجة إلى إشراف خارجي أو تعديلات معمارية.

الأساس النظري

يستند التحليل إلى نظام نواة تانغنت العصبية (NTK)، حيث يتم التعامل مع تدريب الانتشار كعملية انحدار مستمرة الزمن ومشروطة بالضجيج. استنتج المؤلفون أن ديناميكيات التحسين عند أي مستوى ضجيج $\lambda$ تحكمها ثلاثة عوامل:

1. تخصيص جهد التحسين: كيفية وزن الخسارة عبر مستويات الضوضاء.
2. الهندسة المحلية للنواة: الناتجة عن المدخلات الفاسدة.
3. قابلية استعادة الهدف: مدى إمكانية استعادة إشارة الهدف من المدخلات المشوبة بالضجيج.

لقد صاغوا ذلك بشكل رسمي بأنه عندما تكون الإشارة القابلة للاستعادة صغيرة مقارنة بضجيج بايز غير القابل للاختزال، تصبح تحديثات التدرج مهيمنة بفعل تلوث الضجيج. هذا "الفرض القسري لضجيج بايز" (Bayes-noise forcing) يمنع انكماش الخطأ الزائد ويؤدي إلى تدهور التمثيلات المتعلمة.

إطار عمل ERD

يقدم ERD قاعدة وزن متكيفة مع الهدف مشتقة من السعة الفعالة للإشارة القابلة للاستعادة عند كل مستوى ضجيج.

• تعريف الهدف الفعال: بالنسبة لهدف عام $y_\lambda = c_x(\lambda)x_0 + c_\epsilon(\lambda)\epsilon$، يحدد المؤلفون هدفاً فعالاً $\tilde{y}_\lambda$ يقوم بتغيير حجم مكونات المصدر ($x_0$ و $\epsilon$) وفقاً لسعاتهما في المدخلات الفاسدة ($\alpha(\lambda)$ و $\sigma(\lambda)$).
• درجة قابلية الاستعادة: تُعرف درجة قابلية الاستعادة $\omega_y(\lambda)$ بأنها جذر متوسط مربع (RMS) السعة المتوقعة لهذا الهدف الفعال:
  $$\omega_y(\lambda) = \sqrt{(c_x(\lambda)\alpha(\lambda))^2 + (c_\epsilon(\lambda)\sigma(\lambda))^2}$$
• استراتيجية الوزن: يتم ضبط وزن الخسارة $w(\lambda)$ ليكون متناسباً مع $\omega_y(\lambda)$. تعمل هذه الاستراتيجية على التركيز على مستويات الضجيج ذات الإشارات القابلة للاستعادة الأقوى، وتخفيف الوزن في المناطق التي يهيمن فيها الضجيج غير القابل للاختزال على الهدف، مما يقلل من التباين بين جهد التحسين وقابلية التعلم.

3. المساهمات الرئيسية

1. تحديد تدهور التمثيل: حددت الورقة تجريبياً ونظرياً أن تدريب الانتشار القياسي يعاني من تشوه هيكلي وانهيار عند مستويات الضجيج العالية بسبب عدم قدرة النموذج على الحفاظ على البنية ذات المعنى الدلالي عندما يكون جهد التحسين غير متوافق مع قابلية استعادة الهدف.
2. تحليل التحسين عبر NTK: طور المؤلفون إطار عمل يعتمد على NTK يوضح كيف يؤدي التفاعل بين تخصيص التحسين، وهندسة النواة المحلية، وقابلية استعادة الهدف إلى تدهور طيفي وانهيار فعال منخفض الرتبة في أنظمة الضجيج العالي. كما قدموا حدوداً غير تقاربية تظهر كيف يتحكم فرض ضجيج بايز في الخطأ المتبقي.
3. إطار عمل ERD: اقترحوا طريقة تدريب مستقلة عن المعمارية تشتق قاعدة وزن متكيفة مع الهدف من الإشارة القابلة للاستعادة. يحسن هذا النهج استقرار التحسين ويسرع التقارب دون الاعتماد على مقدمات خارجية (مثل شبكات المحاذاة المدربة مسبقاً) أو أهداف مساعدة.

4. النتائج التجريبية

قيم المؤلفون إطار ERD على مجموعتي بيانات ImageNet (256×256) و CelebA (64×64) باستخدام هياكل خلفية مختلفة، بما في ذلك DiT و U-ViT و UNet، وعبر أهداف تنبؤ مختلفة ($\epsilon_\theta$، $x_\theta$، $v_\theta$، $u_\theta$).

• مكاسب الأداء: تفوق ERD باستمرار على النماذج المرجعية واستراتيجيات الوزن الموجودة (مثل Min-SNR و P2) عبر جميع أحجام النماذج ومعماراتها.
  • في ImageNet 256×256 مع DiT-XL/2 (675 مليون معلمة)، حقق ERD قيمة FID بلغت 15.0 (بدون CFG)، محققاً تحسناً عن SiT-XL/2 (17.2) و DiT-XL/2 (19.5).
  • باستخدام التوجيه الخالي من المصنف (CFG)، حقق نموذج U-ViT-H/2 قيمة FID بلغت 1.45، مما قلص الفجوة بشكل كبير مع الطرق المتطورة مثل REPA (1.42) وتفوق على Min-SNR (1.57).
• دراسات الاستئصال (Ablation Studies): أكدت التجارب أن ERM يوفر تحسينات متسقة بغض النظر عن هدف التنبؤ أو بنية الشبكة (UNet مقابل Transformer).
• التجارب التجريبية (Toy Experiments): أظهرت التجارب المنضبطة على نموذج خليط غاوسي ثنائي الأبعاد (GMM) ظاهرة "تدهور التمثيل"، حيث عانت النماذج ذات المعلمات المشتركة العالمية من تلوث التدرج والانهيار الطيفي في أنظمة الضجيج العالي، وهو ما تم تخفيفه عند عزل التحسين أو إعادة وزنه.

5. الأهمية والادعاءات

تدعي الورقة أن تدهور التمثيل هو اختناق أساسي وجوهري في تدريب الانتشار القياسي، وهو متميز عن القيود المعمارية. ومن خلال نقل التركيز من تخصيص الضجيج التجريبي إلى قابلية استعادة الهدف، يعالج ERD السبب الجذري لعدم كفاءة التدريب: سوء تخصيص كتلة التحسين للضجيج غير القابل للاختزال.

تكمن أهمية هذا العمل في:

• الرؤية النظرية: يربط العمل بين تحسين الانتشار وديناميكيات NTK، موضحاً لماذا يؤدي تدريب الضجيج الشديد إلى تدهور التمثيلات (إضعاف الطيف وهيمنة ضجيج بايز).
• الكفاءة العملية: يقدم قاعدة وزن بسيطة وقابلة للتركيب والتشغيل تسرع التقارب وتحسن جودة التوليد عبر مختلف الهياكل والمهام دون الأعباء الحسابية لشبكات المحاذاة الخارجية أو النمذجة الكامنة المعقدة.
• الشمولية: أثبتت الطريقة فعاليتها عبر مختلف معاملات الانتشار (الضجيج، البيانات، السرعة، مطابقة التدفق) والمعماريات، مما يشير إلى حل موحد لعدم استقرار التحسين المتأصل في عملية الانتشار.

يظل المؤلفون متواضعين بشأن القيود، مشيرين إلى أن تحليلهم يعتمد على التحسين المستمر وافتراضات نظام NTK، والتي قد لا تستوعب بالكامل الديناميكيات غير الخطية عالية التعقيد وذات العرض المحدود. بالإضافة إلى ذلك، يستخدم ERD درجة السعة الفعالة كبديل قابل للتطبيق لقابلية الاستعادة بدلاً من تقدير إشارة الاستعادة اللاحقة الدقيقة.