Normalizing Flows with Iterative Denoising

إليك ملخص تقني مفصل لورقة البحث بعنوان "Normalizing Flows with Iterative Denoising" (التدفقات الطبيعية مع إزالة الضجيج التكرارية) من قبل تشين وآخرون.

1. بيان المشكلة

تتناول الورقة البحثية القيود المفروضة على نماذج النمذجة التوليدية الحالية، مع التركيز بشكل خاص على التدفقات الطبيعية (Normalizing Flows - NFs) ومقارنتها بـ نماذج الانتشار (Diffusion Models) والنماذج الارتباطية الذاتية (Autoregressive - AR models).

• معضلة الضجيج في الـ NFs: بينما أظهرت نماذج NF الحديثة مثل TARFlow إمكانات واعدة، إلا أنها تعاني من مقايضة جوهرية تُعرف باسم "معضلة الضجيج".
  • ضجيج التدريب المنخفض: إذا كان الضجيج المحقون أثناء التدريب صغيراً جداً، فإن النموذج يولد صوراً ذات أنسجة محلية غنية ولكن ببنية عالمية ضعيفة. بالإضافة إلى ذلك، يصبح التدريب غير مستقر بسبب طبيعة الـ log-likelihood غير المحدودة بالقرب من "متشعب البيانات" (data manifold).
  • ضجيج التدريب العالي: إذا كان الضجيج كبيراً جداً، فإن النموذج يلتقط بنيات عالمية أفضل ولكنه ينتج صوراً ناعمة للغاية وضبابية مع عيوب مرئية عند عملية إزالة الضجيج الذاتية (وهي ظاهرة يتنبأ بها قانون تيدي - Tweedie's Lemma).
• محدودية الحلول الحالية: حاولت المحاولات السابقة للتخفيف من ذلك استخدام أنظمة ضجيج متوسطة مع نماذج VAE مساعدة أو تدريب منهجي (curriculum training)، لكنها غالباً ما فشلت في حل المقايضة بين التماسك الهيكلي والتفاصيل الدقيقة بشكل كامل.
• المقارنة مع الانتشار: تحقق نماذج الانتشار جودة عالية ولكنها تتطلب مئات الخطوات التكرارية عند الاستنتاج، مما يؤدي إلى تكلفة حوسبية عالية. توفر الـ NFs احتمالات دقيقة (exact likelihoods) وعمليات أخذ عينات أسرع، لكنها تاريخياً كانت متأخرة في دقة المحاكاة البصرية.

2. المنهجية: التدفق الارتباطي الذاتي التكراري (iTARFlow)

يقترح المؤلفون إطار عمل iTARFlow، وهو يجمع بين البنية الارتباطية الذاتية لـ TARFlow وإجراء إزالة ضجيج تكراري مستوحى من نماذج الانتشار، مع الحفاظ على هدف قائم على الاحتمالية (likelihood-based objective) كامل القابلية للاشتقاق والانتهاء (end-to-end).

البنية الأساسية

• العمود الفقري (Backbone): يستخدم تدفقاً ارتباطياً ذاتياً قائماً على المحولات (Transformer-based Autoregressive Flow) يتكون من كتل Transformer سببية متراكمة. يقوم بتحويل البيانات إلى توزيع سابق بسيط (Gaussian) عبر تحويل قابل للعكس.
• التدريب متعدد مستويات الضجيج: على عكس نماذج NF القياسية التي تُدرب على مستوى واحد من الضجيج، يتم تدريب iTARFlow عبر متصل من مستويات الضجيج $t \in [t_{min}, t_{max}]$.
  • يتعلم النموذج تعظيم الـ log-likelihood لـ $\log p_\theta(x_t, t)$ لقيم $t$ المتغيرة.
  • يتم تعريف المدخل كـ $x_t = x + t\epsilon$، حيث $\epsilon \sim \mathcal{N}(0, I)$.
  • يتم تطبيق معامل إعادة وزن يعتمد على الضجيج $\gamma_t$ (يساوي $t$) على الخسارة.

مسار الاستنتاج (Inference Pipeline)

تنقسم عملية أخذ العينات إلى مرحلتين متمايزتين:

1. التوليد الارتباطي الذاتي (الخشن/الأولي):
   • يقوم النموذج بتوليد صورة مشوشة $x_{t_{max}}$ بنظام "رقعة برقعة" (patch-by-patch) بطريقة ارتباطية ذاتية، تماماً مثل TARFlow القياسي.
   • تستفيد هذه المرحلة من التماسك العالمي الذي تم تعلمه من مستويات الضجيج العالية.
   • يتم تطبيق التوجيه الخالي من التصنيف (Classifier-Free Guidance - CFG) فقط خلال هذه المرحلة للتحكم في التوليد.
2. إزالة الضجيج التكرارية (التحسين):
   • بمجرد توليد العينة المشوشة، يقوم النموذج بعملية إزالة ضجيج متوازية وتكرارية لتحسين الصورة من $t_{max}$ نزولاً إلى $t_{min}$.
   • تتبع عملية إزالة الضجيج معادلة تفاضلية عادية احتمالية (probabilistic ODE): $dx_t = -t \nabla_x \log p_\theta(x_t, t) dt$.
   • يتم حساب دالة الدرجة (score function) $\nabla_x \log p_\theta(x_t, t)$ مباشرة عبر الاشتقاق التلقائي لمعلمات الاحتمالية المتعلمة.
   • هذه الخطوة قابلة للتوازي بالكامل (على عكس التوليد الارتباطي الذاتي)، مما يجعلها فعالة حوسبياً.

3. المساهمات الرئيسية

• تحديد معضلة الضجيج: تميزت الورقة بشكل منهجي المقايضة بين مستويات الضجيج في تدريب NF، موضحة أن الضجيج العالي يساعد في البنية العالمية بينما يساعد الضجيج المنخفض في التفاصيل (texture)، لكن لا يكفي أي منهما بمفرده.
• iTARFlow: إطار عمل مبتكر يدرب نماذج NF عبر مستويات متعددة من الضجيج ويستخدم تقدير درجة (score estimation) تكراري مستحث من الاحتمالية لإزالة الضجيج. يسمح هذا للنموذج بتوليد بنيات متماسكة عالمياً أولاً ثم تحسين التفاصيل لاحقاً.
• سد فجوة الأداء: قللت الطريقة بشكل كبير من فجوة الأداء بين التدفقات الطبيعية (NF) ونماذج الانتشار/النماذج الارتباطية الذاتية الحديثة.
• التوافق الهجين: على عكس متغيرات NF السابقة التي واجهت صعوبة في التكامل مع دعائم الانتشار، أثبتت الورقة أن دالات الدرجة الخاصة بـ iTARFlow متوافقة مع مزيلات الضجيج من نوع DiT (Diffusion Transformer)، مما يشير إلى مسار نحو أطر عمل هجينة موحدة.

4. النتائج التجريبية

قيم المؤلفون iTARFlow على مجموعة بيانات ImageNet بدقات 64، 128، و256 بكسل، باستخدام مسافة فريدشيهت للإنتروبيا (Fréchet Inception Distance - FID) كمقياس أساسي.

• ImageNet-64:
  • حقق iTARFlow-B (بـ 770 مليون معلمة) قيمة FID بلغت 1.68، متفوقاً على TARFlow (2.66) ومقترباً من أداء أفضل نماذج الانتشار (مثل EDM-SDE الذي حقق 1.55)، رغم استخدامه لنموذج مختلف جذرياً.
  • حقق ذلك بعدد معلمات أقل بكثير من العديد من نماذج الانتشار المرجعية.
• ImageNet-128:
  • حقق iTARFlow-L قيمة FID بلغت 2.44، متفوقاً على TARFlow (5.03) ومنافساً لنماذج الانتشار مثل Simple Diff (1.94) و RIN (2.75).
• ImageNet-256:
  • حقق iTARFlow-XL قيمة FID بلغت 3.32، متفوقاً على TARFlow (5.56) و STARFlow (4.69).
  • تفوق على نماذج NF الارتباطية الذاتية الحديثة (مثل FARMER-Patch8 الذي حقق 3.60).
• الكفاءة:
  • تتطلب عملية إزالة الضجيج التكرارية خطوات قليلة جداً (5 خطوات لجودة بصرية عالية، و10 خطوات لـ FID أمثل)، مما يجعل الاستنتاج أسرع بكثير من نماذج الانتشار التي تتطلب 50-100 خطوة.
  • يكتمل التدريب في عدد دورات (epochs) أقل (600) مقارنة بـ DiT (1400).

5. الأهمية والقيود

الأهمية:

• إحياء التدفقات الطبيعية (Normalizing Flows): تثبت هذه الورقة أن الـ NFs يمكن أن تحقق جودة بصرية تنافس نماذج الانتشار مع الاحتفاظ بمزايا الاحتمالات الدقيقة والقابلية للتوسع الارتباطية الذاتية.
• رؤية نظرية: تقدم منظوراً جديداً حول كيفية التعامل مع الضجيج في النماذج القائمة على الاحتمالية، بالانتقال من حقن الضجيج عند نقطة واحدة إلى نهج المتصل (continuum approach).
• القابلية للتوسع: من خلال الاستفادة من معماريات Transformer والبنى الارتباطية الذاتية، تقدم الورقة بديلاً واعداً لنماذج الانتشار التي قد تتوسع بشكل أكثر قابلية للتنبؤ.

القيود:

• العيوب (Artifacts): حددت الورقة نمطين محددين للفشل: "الخلفيات المنهارة" (خلفيات سوداء تماماً) و"الضبابية منخفضة التردد" (خاصة في أول رمز/token ارتباطي ذاتي). ويُعزى ذلك إلى مشاكل في مقياس CFG ونقص سياق التكييف (conditioning context) للرمز الأول.
• التكلفة الحوسبية: رغم أن الاستنتاج سريع، إلا أن خطوة إزالة الضجيج التكرارية تتطلب اشتقاقاً تلقائياً عبر الشبكة بأكملها في كل خطوة، مما يؤدي إلى استهلاك عالٍ لذاكرة وحدة معالجة الرسومات (GPU).
• ضبط المعلمات الفائقة (Hyperparameter Tuning): لا يوجد حالياً توجيه نظري لاختيار المستوى الأمثل للضجيج الأقصى ($t_{max}$)، مما يتطلب تجارب استبعاد (ablation) عملية.

في الختام، يمثل iTARFlow تقدماً كبيراً في أبحاث التدفقات الطبيعية، حيث نجح في دمج إزالة الضجيج التكرارية للتغلب على القيود التاريخية في الدقة البصرية، وترسيخ الـ NFs كبديل عالي الأداء وقابل للتطبيق أمام نماذج الانتشار.