JLT: Clean-Latent Prediction in Latent Diffusion Transformers

ملخص تقني: JLT: التنبؤ بالكمون النظيف في محولات الانتشار الكمونية

بيان المشكلة

تعمل نماذج الانتشار لتقليل الضجيج (Denoising diffusion models) تقليديًا عبر عكس عملية الفساد، لكن الهدف المحدد الذي تتدرب الشبكة العصبية على التنبؤ به يختلف باختلاف البنى المعمارية. تشمل الأهداف الشائعة الضجيج ($\epsilon$)، أو السرعة ($v = x - \epsilon$)، أو البيانات النظيفة ($x$). وبينما يمكن تحويل هذه الأهداف جبريًا عند زمن فساد ثابت، تشير الأبحاث الحديثة (مثل JiT) إلى أن اختيار هدف التنبؤ يغير بشكل كبير من صعوبة مشكلة الانحدار (regression) في ظل سعة شبكة محدودة وبيانات محدودة. وتحديدًا، يسمح التنبؤ بالبيانات النظيفة للنموذج بالتركيز على التباينات الهيكلية ذات الأبعاد المنخفضة بدلاً من إعادة بناء الضجيج المحيط غير الموجود على المتشعب (off-manifold noise).

السؤال المركزي الذي تعالجه هذه الورقة هو ما إذا كانت ميزة "التنبؤ النظيف" هذه تستمر عندما يعمل النموذج في فضاء كموني مضغوط بدلاً من فضاء البكسل الخام. في الانتشار الكموني (Latent Diffusion)، يكون المشفّر التلقائي التبايني (VAE) قد أزال بالفعل الكثير من تباين البكسل الخام. يبحث المؤلفون فيما إذا كانت الخصائص الهندسية لهدف التنبؤ ($x$ مقابل $v$) تظل عاملًا حاسمًا حتى عندما يكون فضاء التمثيل ثابتًا ومضغوطًا.

المنهجية

يقدم المؤلفون JLT (Joint Latent Transformer)، وهو إطار تجريبي مضبوط مصمم لعزل تأثير هدف التنبؤ داخل فضاء كموني ثابت.

1. البنية والإعداد:

   • العمود الفقري (Backbone): محول بمقياس أساسي (Base-scale Transformer) يحتوي على 130 مليون معلمة، و12 كتلة، وبُعد خفي 768، و12 رأس انتباه، مما يحاكي تكوين JiT-B/16.
   • التمثيل: يعمل النموذج على أكواد FLUX.2 VAE المجمدة. يضمن هذا أن فضاء التمثيل متطابق عبر جميع المتغيرات المقارنة.
   • التدريب: تم تدريب النماذج لمدة 250 ألف خطوة (200 حقبة) على مجموعة بيانات ImageNet 256 $\times$ 256.
   • المتغيرات المضبوطة: تلتزم الدراسة بضبط التمثيل، ومقياس البنية، وإعدادات المحسن (optimizer)، وحجم الدفعة، وبروتوكولات أخذ العينات بشكل صارم.

2. المقارنة التجريبية:
   يقارن المؤلفون بين متغيرين رئيسيين تحت نفس الإعدادات:

   • JLT (التنبؤ بالكمون النظيف): يتم الإشراف على الشبكة مباشرة للتنبؤ بمتجه الكمون النظيف $x$.
   • DiT (التنبؤ بالسرعة): خط أساس مطابق حيث يتم الإشراف على الشبكة للتنبؤ بمتجه السرعة $v = x - \epsilon$.
   • المتغيرات: تُجرى التجارب عند حجمين لقطع الشبكة (patch sizes) لـ VAE، يُرمز لهما بـ /1 و /2 (على سبيل المثال، JLT-B/1 مقابل DiT-B/1).

3. التحليل النظري:
   تقدم الورقة تحليلًا غاوسيًا محليًا لتفسير الفجوة التجريبية. بافتراض تقريب خطي-غاوسي محلي لتوزيع بيانات الكمون ($x \sim \mathcal{N}(0, \Sigma)$) وضجيج مستقل ($\epsilon \sim \mathcal{N}(0, I)$):

   • بنية التباين (Covariance Structure): تباين هدف السرعة هو $Cov(y_v) = \Sigma + I$، بينما تباين الهدف النظيف هو $Cov(y_x) = \Sigma$. وهذا يعني أن التنبؤ بالسرعة يضيف أرضية متجانسة (isotropic unit floor) لكل اتجاه. وفي الاتجاهات التي يكون فيها تباين البيانات النظيفة منخفضًا (مدعومة بشكل ضعيف من المتشعب)، يجبر التنبؤ بالسرعة النموذج على تعلم هدف ذي تباين وحدة، مما يؤدي فعليًا إلى تضخيم الضجيج في تلك الاتجاهات.
   • الغموض الشرطي (Conditional Ambiguity): يوضح التحليل أن تباين بقايا باييس (Bayes residual variance) للتنبؤ بالسرعة يتم قياسه بمعامل $1/(1-t)^2$ بالنسبة للتنبؤ النظيف. ومع اقتراب القيمة الذاتية $\lambda_i$ لتباين البيانات من الصفر، يميل معامل التنبؤ النظيف إلى 0 (مما يخمد الاتجاه)، بينما يميل معامل السرعة إلى $-1/(1-t)$ (مما يضخم الاتجاه).

النتائج الرئيسية

تظهر التجارب على ImageNet 256 $\times$ 256 فجوة ثابتة وكبيرة لصالح التنبؤ بالكمون النظيف:

• الأداء الكمي:
  • يحقق JLT-B/1 (النظيف) قيمة FID-50K قدرها 2.50 (مع توجيه خالي من التصنيف)، مقارنة بـ 6.56 لـ DiT-B/1 (السرعة) المطابق.
  • يحقق JLT-B/2 (النظيف) قيمة FID-50K قدرها 14.81، مقارنة بـ 28.71 لـ DiT-B/2.
  • يظهر مقياس Inception Score (IS) أيضًا تحسنًا كبيرًا (على سبيل المثال، 232.51 مقابل 132.12 للمتغيرات من نوع /1).
• ديناميكيات التدريب: تشير منحنيات التدريب إلى أن نماذج الكمون النظيف تدخل نظام FID المنخفض في وقت مبكر (حوالي 100 ألف خطوة) وتحافظ على هامش واضح فوق نماذج السرعة طوال فترة التدريب.
• المتانة: تظل الميزة قائمة عبر مختلف مستويات تجزئة الرموز (/1 و /2)، مما يشير إلى أن الفائدة ليست ناتجة عن حجم قطع معين.

الأهمية والادعاءات

تدعي الورقة أن اختيار هدف التنبؤ في الانتشار الكموني هو خيار نمذجة هندسي وليس مجرد بارامتر جبري.

1. الهندسة المستهدفة مقابل الضغط: تفند النتائج الفكرة القائلة بأن ضغط الكمون وحده هو ما يفسر كفاءة الانتشار الكموني. الفجوة في الأداء موجودة داخل نفس الفضاء الكموني الثابت، مما يثبت أن "هندسة الهدف" (توزيع الإشارة الخاضعة للإشراف) هي عامل متميز عن "هندسة التمثيل" (مشفّر VAE).
2. آلية التحسين: يجادل المؤلفون بأن التنبؤ النظيف يتفوق لأنه يخمد اتجاهات الكمون ذات التباين المنخفض (والتي غالبًا ما تكون ضجيجًا أو سمات ضعيفة المدعومة من المتشعب)، بينما يقوم التنبؤ بالسرعة بتضخيم هذه الاتجاهات من خلال وراثة أرضية تباين متجانسة.
3. نطاق الادعاءات: يتسم المؤلفون بالتواضع بشأن ادعاءاتهم النظرية؛ فهم لا يؤكدون أن التنبؤ النظيف هو الأمثل عالميًا لجميع المشفّرات، أو جداول الضجيض، أو أدوات أخذ العينات. بدلاً من ذلك، يقدمون آلية غاوسية محلية تتوافق مع الفجوة التجريبية المرصودة. تُقدم الدراسة كعملية استبعاد مضبوطة لعزل تأثير الهدف، وليس كاقتراح لبنية عمود فقري جديدة أو بديل عالمي لجميع أهداف الانتشار.

ختامًا، تثبت الورقة أنه حتى في الفضاءات الكمونية المضغوطة، يوفر التنبؤ المباشر بحالة الكمون النظيفة ميزة هندسية على التنبؤ بالسرعة، مما يؤدي إلى جودة توليد أعلى بكثير على ImageNet.