ملخص تقني: CFG-OEC (التوجيه الخالي من المصنف مع تصحيح الخطأ المتعامد)

1. بيان المشكلة

يُعد التوجيه الخالي من المصنف (Classifier-Free Guidance - CFG) المعيار الفعلي للعينات الشرطية في نماذج الانتشار، مما يتيح توليد عينات ذات خصائص مرغوبة (مثل التوافق مع النص) دون الحاجة إلى مصنف خارجي. ومع ذلك، حدد المؤلفون وجود عدم تطابق هيكلي جوهري بين هدف التدريب وإجراء أخذ العينات في CFG.

خلال التدريب، يتعلم نموذج واحد كلاً من التنبؤات الشرطية ($\epsilon_\theta(x_t | y)$) وغير الشرطية ($\epsilon_\theta(x_t)$) عبر إسقاط شرطي عشوائي. وفي وقت أخذ العينات، يقوم CFG ببناء متنبئ موجه كتركيبة خطية من هذين النمطين المتعلمين:
$$\epsilon_\theta^{(w)}(x_t | y) = w \epsilon_\theta(x_t | y) + (1-w) \epsilon_\theta(x_t)$$
ويجادل البحث بأن هذا المتنبئ الموجه ليس هدفاً تدريبياً مباشراً. وبناءً على ذلك، حتى لو كانت التنبؤات الشرطية وغير الشرطية الفردية دقيقة، فإن تركيبتهما الخطية في وقت أخذ العينات تؤدي إلى خطأ أخذ عينات هيكلي. ينشأ هذا الخطأ من التفاعل بين أخطاء التنبؤ الشرطي وغير الشرطي، وهو مكون لا يتم التحكم فيه أو معاقبته صراحةً أثناء عملية التدريب القياسية.

2. المنهجية

2.1 تفكيك الخطأ

يحلل المؤلفون خطأ أخذ العينات عن طريق تفكيك متوسط مربع الخطأ (MSE) للمتنبئ الموجه إلى ثلاثة مكونات:

1. الخطأ الأساسي (Base Error): المجموع الموزون لمربعات معايير أخطاء التنبؤ الشرطي وغير الشرطي. وهذه الأخطاء يتم تقليلها أثناء التدريب.
2. الخطأ المتقاطع (Cross Error): حد تفاعلي يتحدد من خلال حاصل الضرب الداخلي (المحاذاة) لمتجهات الخطأ الشرطي وغير الشرطي: $2w(1-w)\langle \Delta_c, \Delta_{uc} \rangle$.

يكشف التحليل أن الخطأ المتقاطع هو مكون هيكلي غير هام في خطأ أخذ العينات. واعتماداً على مقياس التوجيه $w$، يمكن لهذا الحد إما زيادة الخطأ الإجمالي (على سبيل المثال، عندما يكون $w \in (0,1)$) أو تقليله عرضاً (عندما يكون $w > 1$)، ولكن في كلتا الحالتين، يظل هذا الحد غير متحكم فيه بواسطة هدف التدريب.

2.2 تصحيح الخطأ المتعامد (OEC)

للحد من هذا الخطأ الهيكلي، يقترح البحث منهجية CFG-OEC، والتي تهدف إلى إلغاء حد الخطأ المتقاطع من خلال فرض التعامد بين متجهات الخطأ الشرطي وغير الشرطي.

• الآلية النظرية: تقوم الطريقة بإسقاط متجه الخطأ غير الشرطي $\Delta_{uc}$ على الفضاء الجزئي المتعامد مع متجه الخطأ الشرطي $\Delta_c$. ومن خلال إزالة المكون من $\Delta_{uc}$ الذي يتوافق مع $\Delta_c$، يتم تقليل حد التفاعل $\langle \Delta_c, \Delta_{uc} \rangle$ إلى الصفر.
• الضمان النظري: بما أن الإسقاط المتعامد لا يزيد من معيار المتجه، فإن هذا التصحيح يقلل من إجمالي خطأ أخذ العينات دون زيادة مكون الخطأ الأساسي.

2.3 التنفيذ العملي: الوكيل والخلط الديناميكي

في توليد الصور الواقعي، لا تتوفر قيمة الضوضاء الحقيقية $\epsilon^*_t$ (ground-truth)، مما يجعل الحساب المباشر لمتجهات الخطأ مستحيلاً. لذا قدم المؤلفون آليتين عمليتين:

1. الوكيل القائم على التنبؤ (Prediction-Based Proxy): بدلاً من الحقيقة المطلقة، تبني الطريقة وكلاء لأهداف الضوضاء باستخدام الاستكمال الخطي من الخطوات الزمنية المتجاورة ($t$ و $t+1$). وتحديداً، $\hat{\epsilon}_t \approx 2\epsilon_\theta(x_t) - \epsilon_\theta(x_{t+1})$. تعمل هذه الوكلاء كبدائل لتقدير الاتجاهات المحلية لمتجهات الخطأ.
2. الخلط الديناميكي (Dynamic Mixing): لضمان الاستقرار، لا تطبق الطريقة التصحيح بشكل عشوائي. فهي تحسب تشابه جيب التمام ($s$) بين متجهات الخطأ القائمة على الوكيل. إذا كانت المحاذاة قوية جداً (مما يشير إلى احتمال عدم دقة الوكيل أو عدم الاستقرار)، يتم تخفيف التصحيح. ويكون التنبؤ غير الشرطي النهائي عبارة عن مزيج ديناميكي من المتجه المصحح وتنبؤ النموذج الأصلي، بوزن يعتمد على $s$.

3. المساهمات الرئيسية

• التحليل الهيكلي: يقدم البحث تفكيكاً نظرياً لخطأ أخذ العينات في CFG، مع تحديد "الخطأ المتقاطع" كقصور هيكلي متميز وغير متحكم فيه ناتج عن عدم التطابق بين التدريب وأخذ العينات.
• خوارزمية CFG-OEC: طريقة تصحيح مبتكرة في وقت أخذ العينات تعمل على جعل متجهات الخطأ متعامدة لتقليل حد التفاعل، مما يضمن نظرياً تقليل خطأ أخذ العينات.
• بناء الوكيل: إطار عمل عملي لتطبيق التصحيح المتعامد في البيئات عالية الأبعاد دون الوصول إلى ضوضاء الحقيقة المطلقة، وذلك باستخدام تنبؤات النموذج المستخرجة بالاستكمال.
• الاستقرار الديناميكي: آلية للتحكم التكيفي في قوة التصحيح بناءً على محاذاة أخطاء الوكيل، مما يوازن بين فعالية التصحيح والاستقرار.

4. النتائج التجريبية

تحقق المؤلفون من صحة CFG-OEC من خلال تجارب نظرية منضبطة ومهام توليد صور واسعة النطاق.

• بيئة منضبطة (2D GMM): في نموذج الخليط الغاوسي ثنائي الأبعاد حيث يمكن الوصول إلى الحقيقة المطلقة، تؤكد التجارب تفكيك الخطأ النظري. يمثل الخطأ المتقاطع حوالي 10-15% من الخطأ الأساسي في أنظمة التوجيه المنخفضة. ويقلل التصحيح المتعامد باستمرار من إجمالي خطأ أخذ العينات عبر مختلف مقاييس التوجيه.
• توليد الصور (Stable Diffusion v1.5 & XL):
  • المقاييس: تم التقييم على مجموعة التحقق MSCOCO 10k باستخدام FID (دقة الصورة) ودرجات CLIP (التوافق مع النص).
  • الأداء: يتفوق CFG-OEC على CFG القياسي وعلى خط الأساس الأحدث CFG++ عبر العديد من أدوات أخذ العينات (DDIM, UniPC, DPM-Solver++).
  • نظام التوجيه المنخفض: لوحظت أهم التحسينات في أنظمة التوجيه المنخفضة (مثل $w=0.5$)، حيث يكون الخطأ المتقاطع أكثر ضرراً.
  • نظام التوجيه العالي: تظل الطريقة تنافسية، حيث تظهر تحسينات في كل من FID و CLIP عند المقاييس العالية (مثل $w=5.0, 7.5$)، رغم أن بعض الأنظمة تظهر مقايضة طفيفة بين الدقة والتوافق.
  • الجودة البصرية: تظهر النتائج النوعية أن CFG-OEC يقلل من العيوب الهيكلية (مثل الأطراف الزائدة، النصوص المشوهة، أو الكائنات غير المتوافقة) وينتج هياكل أكثر تماسكاً مقارنة بـ CF++.

5. الأهمية والادعاءات

يزعم البحث أن CFG-OEC يقدم حلاً عملياً ومبرراً نظرياً لمصدر خطأ هيكلي محدد في نماذج الانتشار.

• الرؤية النظرية: تنقل البحث التركيز من مجرد تعديل مقاييس التوجيه أو القيود الهندسية إلى معالجة بنية الخطأ الأساسية الناتجة عن الجمع الخطي بين التنبؤات الشرطية وغير الشرطية.
• الفائدة العملية: الطريقة بسيطة التنفيذ، ولا تتطلب إعادة تدريب نموذج الانتشار، وهي متوافقة مع أدوات أخذ العينات والنماذج الحالية.
• المتانة: تضمن استراتيجية الخلط الديناميكي بقاء التصحيح مستقراً حتى عندما تكون تقديرات الوكيل غير مثالية، مما يجعلها مناسبة للنشر في العالم الحقيقي.

يخلص المؤلفون إلى أنه بينما يقلل التدريب المحسن من حجم الأخطاء الفردية، فإن CFG-OEC يوفر آلية ضرورية للتحكم في التفاعل بين هذه الأخطاء، مما يتيح أخذ عينات شرطية أكثر استقراراً واتساقاً.