ملخص تقني: التوجيه المتوافق عبر المقاييس لتدريب شبكات GAN

1. بيان المشكلة

تتناول الورقة البحثية خللاً جوهرياً في تفسير التوجيه التنافسي عبر المقاييس (scale-wise adversarial supervision) القياسي في شبكات GAN متعددة المراحل الحديثة. وبينما توصف هذه البنى غالباً بأنها تؤدي توليدًا هرميًا من "الخشن إلى الناعم" (coarse-to-fine)، يرى المؤلفون أنها تفشل في بناء تسلسل هرمي سليم.

تتمثل المشكلة الجوهرية في عدم توافق المسار عبر المقاييس (cross-scale trajectory misalignment):

• التحسين المستقل: في التوجيه القياسي عبر المقاييس، يتم تقييم كل مخرج وسيط للمولد ($x_k$) بشكل مستقل بواسطة مميز (discriminator) عند دقة محددة. تدفع التدرجات التنافسية كل مرحلة نحو "نمط واقعي" (realistic mode) عند تلك الدقة، لكنها لا تفرض أن يمثل المخرج نفس مسار العينة (sample trajectory) الذي يمثله المخرج النهائي.
• غياب الصقل: نظرًا لأن الصورة الوسيطة $x_k$ يتم تحسينها من أجل الواقعية ولكن لا يتم فرضها كهدف صقل صريح للمرحلة التالية (التي تستمر عبر ميزات المولد $f_k$)، فإن المراحل اللاحقة قد تنحرف عن المخرج السابق. بدلاً من صقل الصورة تدريجياً، قد تقوم المراحل اللاحقة بـ "إعادة كتابة" العينة بالكامل، والتقارب نحو نمط واقعي مختلف.
• النتيجة: يؤدي هذا إلى صور وسيطة واقعية فردياً ولكنها غير متسقة مع بعضها البعض، مما يكسر عملية التوليد المقصودة من الخشن إلى الناعم. ويوضح المؤلفون أنه تحت التوجيه القياسي، يظل التباين بين المخرجات الوسيطة والنهائية كبيراً، ويكون حجم "إعادة الكتابة" بين المراحل كبيراً بدلاً من أن يكون تدريجياً.

2. المنهجية: CAT (المحول المتوافق عبر المقاييس)

لحل مشكلة عدم توافق المسار، يقترح المؤلفون إطار عمل CAT، الذي يحتفظ بفوائد التغذية الراجعة التنافسية عبر المقاييس مع فرض الاتساق عبر المقاييس.

المكونات الأساسية

1. المميز عبر المقاييس (Scale-wise Discriminator):

   • يظل المميز يعمل عبر المقاييس، حيث يقيم كل مخرج وسيط ($x_k$) عند دقته الخاصة.
   • لضمان التمييز الصارم عبر المقاييس دون تسرب المعلومات بين المقاييس، يستخدم المؤلفون قناع انتباه قطري كتلوي (block-diagonal attention mask) داخل مميز محول مشترك. يضمن هذا أن الرموز (tokens) من المقياس $k$ يمكنها فقط الانتباه للرموز من نفس المقياس، مما يمنع المميز من الاعتماد على التوافق بين المقاييس للحكم على الواقعية.

2. تنظيم الاتساق من جانب المولد (Generator-side Consistency Regularization):

   • الابتكار الرئيسي هو فقدان اتساق بسيط يُضاف إلى هدف المولد.
   • بدلاً من إضافة هدف واقعية آخر، يقوم هذا الفقد بمواءمة مخرجات المرحلة الوسيطة ($h_k$) مع مخرج المرحلة النهائية ($h_K$).
   • يُعرف الفقد كالتالي:
     $$L_{cons} = \frac{1}{K} \sum_{k=0}^{K-1} w_k \|h_k - h_K\|_2^2$$
   • استراتيجية الوزن: يتم قياس الأوزان $w_k$ بحيث تكون المراحل ذات الدقة المنخفضة (الأكثر خشونة) ذات قيود أضعف. وهذا يقر بأن المخرجات الخشنة هي بطبيعتها غامضة (يمكن للعديد من عينات الدقة العالية أن تشترك في نفس الهيكل منخفض الدقة)، مما يمنع الفقد من فرض قيود صارمة جداً من نقطة إلى نقطة على المراحل المبكرة، مع ضمان بقائها على نفس مسار العينة.

3. هدف التدريب:
   يتم تدريب المولد لتقليل:
   $$L_G = L_{adv} + \lambda_{cons} L_{cons}$$
   حيث $L_{adv}$ هو فقد التنافس القياسي عبر المقاييس، و $\lambda_{cons}$ هو معامل فائق (تم ضبطه على 0.1 في التجارب).

3. المساهمات الرئيسية

• تحديد عدم التوافق: تقدم الورقة تحليلاً دقيقاً يثبت أن التوجيه التنافسي القياسي عبر المقاييس لا يخلق بطبيعته تسلسلاً هرمياً من الخشن إلى الناعم. وقد استحدثت مقاييس (التباين $\delta_k$، وحجم إعادة الكتابة $R_k$، ومحاذاة الاتجاه $A_k$) لقياس فشل الطرق القياسية في الحفاظ على مسار عينة متماسك.
• بنية CAT: اقتراح طريقة تفصل التغذية الراجعة التنافسية للمميز عبر المقاييس عن محاذاة المسار للمولد. ومن خلال إبقاء المميز عبر المقاييس وإضافة الاتساق من جانب المولد، تضمن الطريقة أن المخرجات الوسيطة تدعم العينة النهائية بدلاً من تحسين التنبؤات الجانبية المنفصلة.
• الكفاءة والأداء: تحقق الطريقة نتائج هي الأفضل في فئتها (state-of-the-art) بعدد أقل بكثير من دورات التدريب والموارد الحسابية مقارنة بالنماذج المرجعية ذات الخطوة الواحدة.

4. النتائج التجريبية

أُجريت التجارب على ImageNet-256 (بدقة 256×256) في الفضاء الكامن لـ SD-VAE.

• الأداء: يحقق نموذج CAT-H/2 قيمة FID-50K تبلغ 1.56 بعد 60 دورة تدريب فقط.
  • يتفوق هذا على النماذج المرجعية القوية لـ GAN ذات الخطوة الواحدة (مثل GAT-XL/2 التي سجلت 2.18 FID) ونماذج الانتشار/التدفق التنافسية ذات الخطوة الواحدة (مثل iMF-XL/2 التي سجلت 1.72 FID).
  • والجدير بالذكر أن CAT-H/2 يحقق ذلك بـ ~13 ضعفاً أقل من دورات تدريب iMF-XL/2 (60 مقابل 800 دورة).
• الكفاءة الحسابية:
  • يتطلب CAT-H/2 حوالي 1,040.2 GFLOPs للتدريب لكل عينة لكل تكرار، مقارنة بـ 2,297.2 GFLOPs لـ GAT-XL/2 و 1,306.3 GFLOPs لـ iMF-XL/2.
  • يحقق FID أفضل مع إجمالي حسابات تدريب أقل (حوالي 16.7 ضعفاً أقل من حيث إجمالي GFLOPs للتدريب مقارنة بـ iMF-XL/2).
• دراسات الاستئصال (Ablation Studies):
  • يؤدي إزالة فقد الاتساق ($L_{cons}$) إلى انخفاض كبير في الأداء (على سبيل المثال، يرتفع FID من 1.93 إلى 3.00 للنموذج المتوسط عند 40 دورة).
  • يؤكد التحليل أن إضافة $L_{cons}$ تقلل من التباين ($\delta_k$) وحجم إعادة الكتابة ($R_k$) مع زيادة محاذاة الاتجاه ($A_k$)، مما يثبت أن الطريقة تنجح في فرض محاذاة المسار عبر المقاي scales.
• النتائج النوعية: تُظهر العينات غير المنسقة صوراً متنوعة وعالية الدقة عبر فئات مختلفة، مع إظهار انتقال سلس في استيفاء القيم الكامنة (latent interpolation).

5. الأهمية والادعاءات

تدعي الورقة أن المحاذاة عبر المقاييس من جانب المولد هي مبدأ حاسم تم التغاضي عنه سابقاً لتوسيع نطاف نماذج GAN القائمة على المحولات (Transformers).

• إعادة تقييم التوجيه الهرمي: تتحدى الورقة الافتراض القائل بأن التوجيه التنافسي عبر المقاييس وحده كافٍ للتوليد الهرمي. وتفترض أنه بدون محاذاة صريحة، تعاني نماذج GAN متعددة المراحل من عدم توافق المسار، مما يؤدي إلى صقل غير متماسك.
• توليد تنافسي بخطوة واحدة: تشير النتائج إلى أنه عندما يتم تنظيم التوجيه التنافسي عبر المقاييس بشكل صحيح (عبر تنظيم الاتساق)، يمكن لنماذج GAN القائمة على المحولات أن تعمل كنماذج توليد خطوة واحدة تنافسية للغاية، تضاهي أو تتفوق على نماذج الانتشار (diffusion) والتدفق (flow) من حيث الجودة وكفاءة التدريب.
• القابلية للتوسع: توضح الطريقة أنه يمكن تحقيق توليد عالي الجودة دون الحاجة لتوسيع قدرة المميز (discriminator capacity) بشكل متناسب مع المولد، طالما تم فرض الاتساق عبر المقاييس من جانب المولد.

يخلص المؤلفون إلى أن نهجهم يقدم اتجاهاً جديداً لتخليق الصور عالي الجودة بكفاءة، رغم إقرارهم بوجود قيود مثل الاعتماد على تسلسلات مقاييس محددة يدوياً والحاجة إلى تحليل أكثر منهجية للتوازن بين قدرة المولد والمميز.