ملخص تقني: FREPix

بيان المشكلة

بينما أصبحت نماذج الانتشار في الفضاء الكامن (latent-space diffusion models) هي النموذج السائد لتوليد الصور نظرًا لكفاءتها، إلا أنها تفرض عائقًا هيكليًا: جودة التوليد مقيدة تمامًا بدقة إعادة البناء للمشفرات التلقائية التباينية (VAEs) المستخدمة في الضغط. وقد أدى ذلك إلى تجديد الاهتمام بـ التوليد في فضاء البكسل (pixel-space generation)، حيث تعمل النماذج مباشرة على الصور الخام لتجنب عيوب التمثيل. ومع ذلك، فإن طرق فضاء البكسل الحالية تتعامل مع توليد الصور إلى حد كبير كعملية متجانسة التردد (frequency-homogeneous process)؛ فهي تنمذج الصورة بأكملها بحالة واحدة ومسار استكمال (interpolation path) مشترك، معتمدة ضمنيًا على الشبكة لاكتشاف الفصل بين الهياكل العالمية (التردد المنخفض) والتفاصيل الدقيقة (التردد العالي). يتجاهل هذا النهج الخصائص الإحصائية المتميزة، وتوزيعات الطاقة، وديناميكيات التعلم لكل من هذه المكونات الترددية، مما يفرض انحيازًا استقرائيًا (inductive bias) مقيدًا بشكل غير ضروري على عملية التوليد.

المنهجية: FREPix

يقترح المؤلفون FREPix (تدفق مطابقة الترددات غير المتجانسة)، وهو إطار عمل يقوم صراحةً بتفكيك توليد الصور في فضاء البكسل إلى مكونات منخفضة وعالية التردد طوال المسار بأكمله. تتكون المنهجية من أربعة ابتكارات رئيسية:

1. فضاء الحالة المفكك ترددياً والاستكمال غير المتجانس

بدلاً من معاملة الصورة $x_t$ كحالة متجانسة واحدة، يقوم FREPix بإعادة تمثيل الحالة باستخدام تحويل المويجات المنفصل (DWT) المتعامد، $W$. يتم تفكيك الصورة إلى حالة فرعية منخفضة التردد $l_t$ (الهيكل) وحالة فرعية عالية التردد $h_t$ (التفاصيل).
ومن الأهمية بمكان أن الإطار يخصص مسارات استكمال غير متجانسة لهذه الحالات الفرعية. فبدلاً من تطبيق جدول زمني واحد مشترك لجميع الترددات، يحدد FREPix جداول زمنية منفصلة ومتزايدة بصرامة، $g_l(t)$ و $g_h(t)$، للمكونات منخفضة وعالية التردد:
$$l_t = g_l(t) l + (1 - g_l(t)) \epsilon_l$$
$$h_t = g_h(t) h + (1 - g_h(t)) \epsilon_h$$
يسمح هذا لـديناميكيات النقل بأن تعكس الطبيعة غير المتماثلة لتكوين الصور، حيث يتم إنشاء الهيكل العالمي قبل صقل التفاصيل الدقيقة. وقد أثبت المؤلفون أن هذا الاستكمال غير المتجانس هو امتداد مبدئي لنموذج مطابقة التدفق (flow matching) القياسي، مما يحافظ على صحة معادلة الاستمرارية وقابلية التعلم.

2. النمذجة التوليدية المفككة عبر الفصل المعماري الصريح

لمنع عملية النقل المفككة من الانهيار والعودة إلى مشكلة تنبؤ موحدة، يستخدم FREPix بنية مفككة صراحةً. يتم تحليل هدف التوليد إلى وحدتين متخصصتين:

• متنبئ الهيكل ($f_\phi$): وهو محول انتشار (Diffusion Transformer - DiT) يأخذ الحالة الفرعية منخفضة التردد المشوشة $l_t$ ويتنبأ بالمكون منخفض التردد النظيف $\hat{l}$. تلتقط هذه الوحدة الاعتمادات طويلة المدى والدلالات العالمية.
• مُحسّن التفاصيل ($g_\phi$): وهو فك تشفير خفيف الوزن وخالٍ من آلية الانتباه (مقتبس من DeCo)، يأخذ الحالة الفرعية عالية التردد المشوشة $h_t$ والهيكل منخفض التردد المتنبأ به $\hat{l}$ كشرط للتنبؤ بالمكون عالي التردد النظيف $\hat{h}$.

يحول هذا التصميم عملية التوليد من "خشن إلى ناعم" (coarse-to-fine) من مجرد ميل معماري ضمني إلى مبدأ تصميم صريح، مما يفرض اعتمادًا شرطيًا حيث يتم توليد التفاصيل عالية التردد بناءً على الهيكل منخفض التردد الذي تم إنشاؤه.

3. هدف مطابقة التدفق المتوافق مع التردد

يتم مواءمة هدف التدريب مع التفكيك الهيكلي. يقوم الإطار بتحويل تنبؤ الشبكة للصورة النظيفة ($\hat{x}$) إلى حقل سرعة مستحث بناءً على مسار الاستكمال غير المتجانس. ثم يتم تعريف خسارة واعية بالتردد، حيث تُطبق أوزان تعتمد على الزمن $\lambda_l(t)$ و $\lambda_h(t)$ على أخطاء السرعة منخفضة وعالية التردد على التوالي:
$$\mathcal{L}_{FA} = \mathbb{E}_{t,x,\epsilon} \left[ \lambda_l(t) \| W_l(v_\theta - v_t) \|^2 + \lambda_h(t) \| W_h(v_\theta - v_t) \|^2 \right]$$
يسمح هذا للنموذج بإعادة موازنة صعوبة التحسين بمرور الوقت (على سبيل المثال، إعطاء الأولوية للهيكل منخفض التردد في وقت مبكر من المسار، وتحسين التردد العالي لاحقًا) دون تغيير حقل السرعة المستهدف.

4. الخسائر المساعدة

يجمع هدف التدريب النهائي بين خسارة مطابقة التدفق المتوافقة مع التردد وبين خسائر محاذاة التمثيل (REPA) وخسائر الإدراك (LPIPS) لضمان اتساق الميزات واستعادة الأنماط المحلية.

النتائج الرئيسية

تم تقييم FREPix على توليد الصور من فئة إلى صورة في ImageNet بدقة 256×256 و 512×512.

• الأداء: عند دقة 256×256، يحقق FREPix-XL (بـ 674 مليون معلمة) قيمة 1.91 FID و 295.6 IS بعد 320 حقبة تدريبية. وعند دقة 512×512، يصل إلى 2.38 FID و 334.7 IS. هذه النتائج تنافس النماذج الرائدة في فضاء البكسل (مثل DeCo و PixelDiT) وتقترب من أداء نماذج الفضاء الكامن، رغم عملها مباشرة على البكسلات.
• كفاءة التدريب: يُظهر النموذج أداءً قويًا في مراحل مبكرة من التدريب. فبعد 80 حقبة فقط، يحقق 2.29 FID، متفوقًا على النماذج المرجعية الأخرى في فضاء البكسل في مراحل مماثلة.
• كفاءة أخذ العينات: يتفوق FREPix في نظام العدد المنخفض لتقييمات الدالة (low-NFE). ففي ظل استخدام 25 خطوة من أخذ عينات Euler، يحقق 2.59 FID، وهو ما يتفوق بشكل ملحوظ على DeCo (3.30) و PixNerd (3.28).
• التكلفة الحسابية: يعمل FREPix-XL بقدرة 230 GFLOPs لكل تمريرة أمامية، وهي أقل من معظم طرق فضاء البكسل الحديثة (مثل PixelFlow التي تبلغ 5818 GFLOPs) وتنافس نماذج الفضاء الكامن (مثل DiT التي تبلغ 238 GFLOPs)، مما يظهر توازنًا محسّنًا بين الجودة والحوسبة.

الأهمية والادعاءات

يزعم البحث أن النمذجة الصريحة لعدم التجانس الترددي توفر انحيازًا استقرائيًا أقوى لتوليد فضاء البكسل من طرف إلى طرف. ومن خلال جعل الأدوار المتميزة لمكونات التردد المنخفض والعالي صريحة في فضاء الحالة، ومسار النقل، والبنية، والهدف، يحول FREPix عملية التوليد من "خشن إلى ناعم" من سلوك ناشئ إلى مبدأ تصميم صارم.

يؤكد المؤلفون أن هذا النهج:

1. يخفف من التشابك الترددي: من خلال تفكيك أهداف التنبؤ، يقلل النموذج من الأبعاد الفعالة والتعقيد الإحصائي الذي يجب على كل فرع تعلمه، كما تدعم ذلك حدود التعميم الخاصة بهم.
2. يحسن كفاءة أخذ العينات: تصميم النقل غير المتجانس مفيد بشكل خاص عند أخذ العينات بخطوات قليلة، مما يشير إلى أن مواءمة مسار الاستكمال مع الترتيب الطبيعي لاستعادة الترددات في الصور يسرع التقارب.
3. يقدم بديلًا قابلًا للتطبيق للفضاء الكامن: يثبت FREPix أن التوليد في فضاء البكسل يمكن أن يحقق جودة تنافسية دون العائق التمثيلي للمشفرات التلقائية (VAEs)، مع الحفاظ على كفاءة حسابية تضاهي طرق الفضاء الكامن.

يخلص البحث إلى أن عدم التجانس الترددي يعد منظورًا مفيدًا لتصميم النماذج التوليدية المستقبلية في فضاء البكسل، رغم اعترافه ببعض القيود المتعلقة بعائلة جداول الاستكمال المحددة وتفكيك المويجات الثابت المستخدم.