Pyramidal Patchification Flow for Visual Generation

إليك ملخص تقني مفصل لورقة البحث بعنوان "تدفق التجزئة الهرمي للتوليد البصري" (PPFlow).

1. بيان المشكلة

حققت نماذج محولات الانتشار (Diffusion Transformers - DiTs) والنماذج القائمة على التدفق (flow-based models) نتائج رائدة في التوليد البصري، لكنها تعاني من تكاليف حوسبة عالية أثناء عملية إزالة الضجيج.

• ميزانية الرموز الثابتة (Constant Token Budget): تستخدم نماذج DiT القياسية حجم تجزئة ثابتًا (على سبيل المثال $2 \times 2$) عبر جميع الخطوات الزمنية. يؤدي هذا إلى عدد ثابت من الرموز ($L$) طوال مسار التوليد، مما يؤدي إلى تعقيد حوسبي عالٍ ($O(L^2)$ لآلية الانتباه) حتى في الخطوات الزمنية المبكرة ذات الضجيج العالي حيث لا تكون التفاصيل الدقيقة ضرورية بعد.
• قيود طرق التسريع الحالية:
  • تقليل الوظائف (Function Reduction): الطرق مثل التقطير (distillation) أو نماذج الاتساق (consistency models) تقلل عدد الخطوات ولكنها غالبًا ما تتطلب تدريبًا معقدًا أو تضحي بالجودة.
  • الأساليب الهرمية/المتتالية (Pyramidal/Cascaded Approaches): طرق مثل التدفق الهرمي (Pyramidal Flow) تقلل أعداد الرموز عن طريق العمل على تمثيلات هرمية ذات دقة أقل في مراحل الضجيج العالي. ومع ذلك، يؤدي هذا إلى "قفزات في الدقة" بين المراحل، مما يكسر استمرارية المسار ويتطلب حيل "إعادة تشويش" (re-noising) معقدة للتعامل مع تغيرات الدقة أثناء الاستنتاج.

2. المنهجية: تدفق التجزئة الهرمي (PPFlow)

يقترح PPFlow مخططًا مبتكرًا لتقليل عدد الرموز في الخطوات الزمنية ذات الضجيج العالي دون تغيير الدقة المكانية للتمثيل الكامن (latent representation).

المفهوم الجوهري

بدلاً من تقليل عينة الصورة (تغيير الدقة)، يقوم PPFlow بتغيير حجم التجزئة (patch size) المستخدم في عملية التجزئة (Patchify) بناءً على مستوى الضجيج:

• الخطوات الزمنية ذات الضجيج العالي (المراحل المبكرة): استخدام تجزئات أكبر (على سبيل المثال $4 \times 4$). هذا يقلل عدد الرموز بشكل كبير مع الحفاظ على التمثيل الكامن بالدقة الكاملة.
• الخطوات الزمنية ذات الضجيج المنخفض (المراحل المتأخرة): استخدام تجزئات أصغر (على سبيل المثال $2 \times 2$، وهو الحجم القياسي لـ DiT) لالتقاط التفاصيل الدقيقة.

البنية والتنفيذ

1. التجزئة الهرمية (Pyramidal Patchification): يتم تقسيم مسار إزالة الضجيج إلى $K$ من المراحل (على سبيل المثال 2 أو 3). لكل مرحلة $s$ حجم تجزئة محدد $p_s \times p_s$.
2. كتل DiT المشتركة: تظل كتل المحول الأساسية (Self-Attention, MLP) دون تغيير وتتشارك الأوزان عبر جميع المراحل. يضمن هذا أن النموذج يتعلم مجال سرعة متسق.
3. الإسقاطات المتعلمة (Learned Projections):
   • التجزئة (Patchify): يتم تعلم مصفوفات إسقاط خطي منفصلة ($W_s$) لكل حجم تجزئة لخرائط التجزئة من $p_s \times p_s \times C$ إلى بُعد رمز ثابت $d$.
   • إلغاء التجزئة (Unpatchify): تُستخدم مصفوفات إسقاط خطي منفصلة لخرائط الرموز مرة أخرى إلى توقعات الفضاء الكامن.
4. الاستمرارية: نظرًا لأن دقة التمثيل الكامن ($H \times W$) تظل ثابتة طوال العملية، فإن النهج يلبي معادلة الاستمرارية. بخلاف Pyramidal Flow، فإنه لا يتطلب حيل إعادة التشويش أو التعامل مع قفزات الدقة.

استراتيجيات التدريب

• من الصفر (From Scratch): تدريب كتل DiT المشتركة والإسقاطات الخاصة بكل مرحلة في وقت واحد.
• من نموذج DiT مدرب مسبقًا: نسخ الأوزان من نموذج DiT قياسي مدرب مسبقًا (مثل SiT-XL/2).
  • التهيئة (Initialization): يتم تهيئة الإسقاطات للتجزئات الأكبر عن طريق متوسط أوزان التجزئات الأصغر؛ ويتم تهيئة إسقاطات Unpatchify عن طريق تكرار الأوزان.
  • الكفاءة: يتطلب فقط 8.9% إضافية من عمليات حساب الفاصلة العائمة (FLOPs) للتدريب لضبط النموذج، مما يجعله فعالًا للغاية في التكيف.

3. المساهمات الرئيسية

1. مخطط مبتكر لتقليل الرموز: تقديم طريقة لتقليل عدد الرموز ديناميكيًا في الخطوات الزمنية ذات الضجيج العالي عن طريق تغيير أحجام التجزئة مع الحفاظ على تمثيلات كامنة بدقة كاملة.
2. إزالة قفزات الدقة: بخلاف الأساليب الهرمية السابقة، يعمل PPFlow على تمثيلات كامنة بدقة كاملة، مما يضمن استمرارية المسار ويزيل الحاجة إلى آليات إعادة تشويش معقدة أثناء الاستنتاج.
3. كفاءة المعلمات: بنية DiT الأساسية مشتركة؛ يتم فقط إضافة طبقات إسقاط خطي خفيفة الوزن لمختلف أحجام التجزئة.
4. مرونة التدريب: إثبات الفعالية سواء عند التدريب من الصفر أو عند ضبط النماذج الضخمة المدربة مسبقةً (SiT, DiT, FLUX.1).

4. النتائج التجريبية

يقيم البحث PPFlow على مهام ImageNet (الشرطية للفئة) ومهام تحويل النص إلى صورة (FLUX.1).

التوليد الشرطي للفئة (ImageNet)

• التسريع: يحقق تسريعًا في الاستنتاج (تسريع إزالة الضجيج) بمقدار 1.60× إلى 2.02× مقارنة بنماذج SiT/DiT القياسية.
• الجودة: يحافظ على جودة توليد مماثلة أو أفضل.
  • من الصفر (SiT-B/2): يحقق PPF-B-3 قيمة FID تبلغ 4.43 (مقابل 4.46 للنموذج المرجعي) مع تسريع قدره 2.04×.
  • من نموذج مدرب مسبقًا (SiT-XL/2): يحقق PPF-XL-3 قيمة FID تبلغ 2.23 (مقابل 2.15 للنموذج المرجعي) مع تسريع قدره 2.02×، مع طلب 7.1% فقط من عمليات حساب الفاصلة العائمة الإضافية للتدريب.
• تقليل الـ FLOPs: يقلل عمليات حساب الفلوات (FLOPs) للاختبار بنسبة 37.8% (مرحلتين) و 50.6% (3 مراحل) لصور 256×256.

توليد النص إلى صورة (FLUX.1)

• طُبق على FLUX.1-dev عبر دقات 512، 1024، و 2048.
• يحقق تسريعًا بمقدار 1.61× إلى 1.86× مع جودة مماثلة في اختبارات مثل GenEval و DPG-Bench و T2I-CompBench.

دراسات الاستئصال (Ablation Studies)

• المقارنة مع Pyramidal Flow: يتفوق PPFlow بشكل كبير على Pyramidal Flow القياسي (الذي يعاني من الضبابية والتشوهات بسبب قفزات الدقة) وطرق Lumina-Video.
• اتساق التدريب: يدرب PPFlow كل نموذج بحجم تجزئة فقط على نطاق الخطوات الزمنية المقابل له، مما يضمن الاتساق بين التدريب والاستنتاج، على عكس الطرق التي تدرب جميع أحجام التجزئة على جميع الخطوات الزمنية.

5. الأهمية

• الكفاءة دون تنازل: يقدم PPFlow "وجبة مجانية" من حيث الكفاءة، حيث يسرع الجزء الأكثر استهلاكًا للموارد في عملية التوليد (خطوات الضجيج العالي المبكرة) دون التضحية بالتفاصيل عالية الدقة التي يتم التقاطها في الخطوات اللاحقة.
• البساية: الطريقة سهلة التنفيذ، وتتطلب فقط تعديلات في طبقات Patchify/Unpatchify مع إبقاء هيكل DiT الثقيل متطابقًا.
• القابلية للتوسع: ثبتت فعالية النهج بدءًا من النماذج الصغيرة (SiT-B) وصولًا إلى النماذج الضخمة لتحويل النص إلى صورة (FLUX.1) والدقات العالية (حتى 2048×2048).
• الأساس النظري: من خلال تجنب قفزات الدقة، يلتزم النهج بمعادلة الاستمرارية الخاصة بمطابقة التدفق (flow matching)، مما يوفر بديلًا أكثر نظافة من الناحية النظرية لطرق التوليد المتتالية أو الهرمية.

باختالاف، يعيد PPFlow التفكير في استراتيجية التجزئة في محولات الانتشار، مثبتًا أن تغيير حجم التجزئة التكيفي هو وسيلة فعالة للغاية لتسريع التوليد البصري مع الحفاظ على جودة الصور الرائدة.