Purrception: Variational Flow Matching for Vector-Quantized Image Generation

إليك ملخص تقني مفصل لورقة البحث بعنوان "Purrception: Variational Flow Matching for Vector-Quantized Image Generation."

1. بيان المشكلة

تعالج الورقة توتراً جوهرياً في نمذجة توليد الصور باستخدام التكميم المتجهي (Vector-Quantized - VQ). تمثل الكمونات (latents) في VQ الصور كشبكات من الفهارس المنفصلة (من كتاب رموز/codebook) المرتبطة بمتجهات تمثيل مستمرة. عادةً ما تفرض النماذج التوليدية الحالية مقايضة بين طرفين متطرفين وهذين الطرفين يمثلان حالات قصور:

• الطرق المستمرة (مثل Latent Diffusion و Flow Matching): تعمل في فضاء التضمين المستمر ($\mathbb{R}^D$). وبينما تحافظ هذه الطرق على السلاسة الهندسية وتسمح بنقل فعال، إلا أنها تتجاهل البنية الفئوية المنفصلة. فهي لا تستطيع التعبير عن عدم اليقين عبر رموز متعددة محتملة، وتفتقر إلى الـ (logits) الفئوية اللازمة لضبط مقياس درجة الحرارة (temperature scaling)، ويجب عليها في النهاية تحويل المتجهات إلى قيم منفصلة، مما قد يؤدي إلى فقدان الدقة الهيكلية.
• الطرق المنفصلة (مثل VQ-Diffusion و Discrete Flow Matching): تعمل مباشرة على الفهارس المنفصلة. وبينما تحترم الطبيعة الفئوية للبيانات، إلا أنها تتخلص من العلاقات الهندسية بين التضمينات. تصبح التنبؤات عبارة عن "قفزات" منفصلة بين رموز غير مترابطة، مما يجعل الاستيفاء (interpolation)، ونمذجة عدم اليقين، والتوليد المتحكم به عبر درجة الحرارة أمراً مستحيلاً أو غير فعال.

التحدي الجوهري هو إنشاء نموذج توليدي يستفيد من الهندسة السلسة للتضمينات المستمرة وفي الوقت نفسه يستخدم الإشراف الفئوي الصريح على فهارس كتاب الرموز.

2. المنهجية: Purrception

يقترح المؤلفون Purrception، وهو تكييف مبتكر لـ النموذج المتغير لمطابقة التدفق (Variational Flow Matching - VFM) المصمم خصيصاً لـ VQ latents.

المفهوم الجوهري

يعيد Purrception صياغة مشكلة مطابقة التدفق كمسألة استدلال متغيّر (variational inference). بدلاً من استهداف ريجريشن (regression) لحقل السرعة بشكل مباشر، يتعلم النموذج توزيعاً خلفياً فئوياً (categorical posterior distribution) فوق فهارس كتاب الرموز بناءً على نقطة الاستيفاء الحالية في الفضاء المستمر.

المكونات الرئيسية

1. التوزيع الخلفي الفئوي للفهارس:
   بناءً على الكمون المشوش $z_t$ عند الزمن $t$، يتنبأ النموذج بتوزيع احتمالي $\pi_t^\theta(z_t)$ عبر $K$ من متجهات كتاب الرموز $\{e_k\}$. هذا التوزيع هو توزيع فئوي (categorical):
   $$q_t^\theta(c | z_t) = \text{Cat}(c | \pi_t^\theta(z_t))$$
   حيث يمثل $c$ فهرس الرمز المنفصل.

2. حقل السرعة المستمر:
   يتم حساب حقل السرعة $v_t^\theta(z_t)$ كمتوسط للسرعة الشرطية (الاستيفاء الخطي نحو النهاية) الموزون بالتوزيع الخلفي الفئوي المتعلم:
   $$v_t^\theta(z_t) = \sum_{k=1}^K \pi_{t,k}^\theta(z_t) \left( \frac{e_k - z_t}{1-t} \right) = \frac{\mu_t(z_t) - z_t}{1-t}$$
   هنا، $\mu_t(z_t)$ هو المركز الثقلي (barycenter) -أي المتوسط الموزون- لمتجهات كتاب الرموز بناءً على الاحتمالات المتوقعة. يضمن هذا أن عدم اليقين عبر رموز متعددة محتملة يترجم إلى نقل سلس وواعٍ هندسياً بدلاً من القفزات المنفصلة.

3. هدف التدريب:
   يختزل هدف التدريب إلى تقليل خسارة الإنتروبيا المتقاطعة (Cross-Entropy loss) بين التوزيع الخلفي الفئوي المتوقع وفهارس الرموز الحقيقية للصورة المستهدفة. يوفر هذا إشرافاً فئوياً مباشراً بينما تظل ديناميكيات النقل مستمرة.

4. ضبط درجة الحرارة ($\tau$):
   يخرج النموذج قيم (logits) يتم تحويلها إلى احتمالات عبر دالة (softmax) باستخدام معامل درجة الحرارة $\tau$:
   $$\pi_{t,k}^\theta(z_t) = \frac{\exp(\tilde{\pi}_{t,k}^\theta(z_t)/\tau)}{\sum_i \exp(\tilde{\pi}_{t,i}^\theta(z_t)/\tau)}$$

   • $\tau$ منخفضة: تجعل التوزيع حاداً، مما يفرض الالتزام المبكر برمز واحد (دقة أعلى، تنوع أقل).
   • $\tau$ مرتفعة: تجعل التوزيع مسطحاً، مما ينشر الاحتمالية عبر الرموز المجاورة (تفاصيل/تنوع أكثر، دقة أقل محتملة).
     يسمح هذا بـ التحكم أثناء الاستدلال في المقايضة بين حدة الصورة وتنوعها، وهي ميزة غائبة في النماذج الأساسية المستمرة أو المنفصلة البحتة.

3. المساهمات الرئيسية

• الصيغة الهجينة: يعد Purrception أول طريقة تنجح في الجمع بين ديناميكيات النقل المستمرة والإشراف الفئوي في فضاءات VQ latents، مما يحل معضلة "الهندسة مقابل الانفصال".
• تكميم عدم اليقين: من خلال الحفاظ على توزيع احتمالي للرموز، يمكن للنموذج التعبير عن عدم اليقين عبر الفهارس المحتملة، وترجمة ذلك إلى حركة سلسة في فضاء التضمين.
• التوليد المتحكم به عبر درجة الحرارة: يقدم آلية مبدئية للتحكم في جودة التوليد وتنوعه أثناء الاستدلال عبر ضبط درجة حرارة الـ softmax، وهو أمر فريد لهذا النهج الهجين.
• الكفاءة: يثبت أن تعلم البنية المنفصلة عبر الإشراف الفئوي يسرع التقارب مقارنة بالطرق المستمرة البحتة.

4. النتائج التجريبية

تم تقييم الطريقة على ImageNet-1k (256×256) باستخدام هياكل DiT-L/2 و DiT-XL/2، ومقارنتها بـ CFM و DFM وطرق الانتشار ذاتية التراجع (autoregressive) والنماذج المقنعة (masked generative) المختلفة.

• سرعة التقارب: يتقارب Purrception بشكل أسرع بكثير من النماذج المرجعية.
  • باستخدام DiT-L/2، يضاهي أداء CFM/DFM في عدد دورات أقل بمقدار 1.65 إلى 3 مرات.
  • باستخدام DiT-XL/2، هو أسرع بـ 2.3 مرة من CFM و 3.5 مرة من DFM.
• جودة العينات (FID):
  • يحقق قيمة FID تنافسية تبلغ 3.88 (باستخدام tokenizer من نوع LlamaGen).
  • يتفوق على جميع نماذج الانتشار المنفصلة والنماذج المولدة المقنعة.
  • يتفوق على معظم طرق التراجع الذاتي (autoregressive) مع استخدام عدد أقل من المعلمات أو الاستفادة من فك تشفير أسرع.
  • رغم أنه يتأخر قليلاً عن نماذج الانتشار المستمرة رفيعة المستوى (مثل SiT-XL/2 بـ FID ~2.06)، إلا أن الفجوة تُعزى إلى استخدام محسنات VQ (مقابل VAEs عالية الجودة) وجداول تدريب أقصر.
• دراسة تأثير درجة الحرارة (Ablation): تظهر التجارب وجود علاقة على شكل حرف U بين درجة الحرارة ($\tau$) و FID. تحقق درجة الحرارة المثلى $\tau \approx 0.8\text{--}0.9$ أفضل توازن، مما يؤكد أن ضبط درجة الحرارة هو أداة فعالة لتحسين جودة العينات دون الحاجة لإعادة التدريب.

5. الأهمية

يمثل Purrception خطوة مهمة للأمام في النمذجة التوليدية من خلال سد الفجوة بين النماذج المستمرة والمنفصلة.

• الأثر النظري: يثبت أن "مطابقة التدفق المتغير" (Variational Flow Matching) يمكن تكييفها بفعالية مع المساحات الهجينة (المنفصلة-المستمرة)، مما يوفر إطاراً موحداً يستفيد من المزايا الهندسية للتدفقات المستمرة والمزايا الهيكلية للإشراف المنفصل.
• الأثر العملي: يقدم الطريقة بديلاً أكثر كفاءة في التدريب لمولدات VQ الموجودة، مما يقلل التكاليف الحسابية. كما أن القدرة على التحكم في التوليد عبر درجة الحرارة تضيف بُعداً جديداً من المرونة للممارسين.
• الاتجاهات المستقبلية: تقترح الورقة توسيع هذا المنظور الهجين ليشمل وسائط أخرى (الصوت، الفيديو، ثلاثي الأبعاد) واستكشاف التدريب المشترك للمشفّر التلقائي (autoencoder) ونموذج التدفق لتقليص الفجوة في الأداء مع نماذج الانتشار المستمرة رفيعة المستوى.

باختصار، ينجح Purrception في تحقيق معادلة "الحصول على كل شيء" عبر تعلم ماذا يختار (عبر الإشراف الفئوي) و إلى أين يذهب (عبر النقل المستمر)، مما ينتج عنه تدريب أسرع وتوليد صور عالي الجودة وقابل للتحكم.