ملخص تقني: "برولوغ" (Prologue) - التوليد البصري ذاتي الانحدار يحتاج إلى مقدمة

1. بيان المشكلة

عادةً ما يتبع التوليد البصري ذاتي الانحدار (Autoregressive - AR) مساراً يتكون من مرحلتين: أولاً، يتعلم المرمز (tokenizer) (مشفر-فك تشفير) إعادة بناء الصور إلى رموز منفصلة (discrete tokens)؛ ثانياً، يتعلم نموذج AR التنبؤ بهذه الرموز بالتتابع. يعاني هذا النهج من فجوة جوهرية بين إعادة البناء والتوليد (reconstruction–generation gap).

تكمن المشكلة الأساسية في صياغة الحد الأدنى للاحتمال (ELBO). في التدريب القياسي ذي المرحلتين، يتم تحسين المرمز حصرياً من أجل إعادة البناء (تقليل السلب اللوغاريتمي للاحتمالية للبيانات)، بينما يحاول نموذج AR مطابقة التوزيع القبلي (prior distribution) لهذه الرموز. ولأن المتغيرات الكامنة للمرمز ($z_v$) ثابتة بواسطة هدف إعادة البناء، يجب على نموذج AR ملاءمة التوزيع الهامشي المعقد غالباً لـ $q(z_v)$. وتواجه المحاولات الحالية لسد هذه الفجوة عبر التدريب المشترك للمرمز ونموذج AR (عن طريق تمرير تدرجات خسارة AR إلى المرمز) معضلة "جبهة باريتو" (Pareto front): حيث يؤدي زيادة وزن خسارة AR ($\lambda$) إلى تحسين التوليد ولكن على حساب جودة إعادة البناء، بينما يؤدي تقليل $\lambda$ إلى إضعاف إشارة التوليد. علاوة على تو ذلك، فإن تطبيق تدرجات AR مباشرة على الرموز البصرية ثنائية الأبعاد يمكن أن يخل بالموضعية المكانية المتأصلة فيها، وهي أمر بالغ الأهمية لإعادة بناء عالية الجودة.

2. المنهجية: برولوغ (Prologue)

يقترح المؤلفون Prologue، وهو إطار عمل يعمل على فصل أهداف إعادة البناء والتوليد عن طريق تقديم مجموعة منفصلة من المتغيرات الكامنة.

البنية الأساسية

بدلاً من تعديل الرموز البصرية ($z_v$) لتلبية كلا الهدفين، يقوم Prologue بتوليد مجموعة صغيرة من رموز المقدمة ($z_p$) التي تُسبق بها تسلسل الرموز البصرية.

• المشفر المشترك: يعالج مشفر Transformer ثنائي الاتجاه كلاً من استعلامات المقدمة القابلة للتعلم ($q_1, \dots, q_K$) وتضمينات رقع الصور (image patch embeddings) في آن واحد.
• التكميم المزدوج (Dual Quantization):
  • الرموز البصرية ($z_v$): يتم تكميمها عبر مكمم بصري قياسي. هذه الرموز مخصصة حصرياً لعملية إعادة البناء (عبر فك التشفير) ولا تتلقى تدرجات AR مباشرة.
  • رموز المقدمة ($z_p$): يتم تكميمها عبر كتاب رموز (codebook) أصغر ومنفصل. هذه الرموز مخصصة حصرياً لعملية التوليد (عبر نموذج AR) ولا تشارك في إعادة بناء الصورة.
• هدف التدريب: إجمالي الخسارة هو مجموع موزون:
  $$\mathcal{L} = \mathcal{L}_{\text{recon}}(x, \hat{x}) + \lambda \cdot \mathcal{L}_{\text{AR}}(z_p, z_v)$$
  ومن المهم ملاحظة أن تدرجات خسارة الإنتروبيا المتقاطعة (CE) لـ AR يتم توجيهها فقط إلى رموز المقدمة (باستخدام تقنية تسمى Prob-STE للتفاضل المنفصل)، مما يترك تمثيل الرموز البصرية سليماً.

الأساس النظري (منظور ELBO)

من منظور ELBO، ينقل Prologue مهمة مطابقة التوزيع القبلي لـ AR.

• AR القياسي: يجب على النموذج ملاءمة التوزيع الهامشي $q(z_v)$.
• Prologue AR: يقوم النموذج بملاءمة التوزيع الشرطي $q(z_v | z_p)$.
  بما أن $H(z_v | z_p) \leq H(z_v)$، فإن نمذجة التوزيع الشرطي أسهل نظرياً، بشرط أن تحمل $z_p$ معلومات غير تافهة عن $z_v$. وقد أثبت المؤلفون أن مشهد التحسين يمنع طبيعياً حدوث انهيار لـ $z_p$ (أي تصبح غير معلومة) لأن $z_p$ المنهارة لا تقدم أي تقليل في خسارة AR مقارنة بالخط المرجعي. وبالتالي، تُجبر $z_p$ على ترميز ملخص مضغوط وصديق لـ AR للصورة.

تفاصيل التنفيذ

• Prob-STE: هو متغير من نوع "المقدر المباشر" (straight-through estimator) يحسب التعيينات الناعمة للتكميم المنفصل لرموز المقدمة، مما يسمح بتدفق التدرجات عائداً إلى المشفر.
• إسقاط الرموز البصرية (Visual Token Dropout): أثناء التدريب، يتم إسقاط الرموز البصرية في مدخلات AR عشوائياً (احتمالية $p_{drop}=0.5$) لإجبار نموذج AR على الاعتماد على رموز المقدمة للتنبؤ، مما يقوي إشارة التدرج لـ $z_p$.
• Prologue-Post: نسخة حيث يكون المرمز البصري مجمداً (مدرب مسبقاً)، ويتم تدريب مرمز المقدمة ونموذج AR فقط. يتيح ذلك ترقية المرمزات الموجودة دون إعادة تدريب مسار إعادة البناء.

3. المساهمات الرئيسية

1. التصميم المنفصل: اقتراح متغير كامن منفصل ($z_p$) للتوليد يكون معزولاً هيكلياً عن متغير إعادة البناء ($z_v$). هذا يحل مقايضة إعادة البناء والتوليد، مما يسمح بتحسين AR دون تدهور دقة إعادة بناء الصورة.
2. التبرير النظري: صياغة الطريقة عبر ELBO، وإثبات أن التكييف مع رموز المقدمة يقلل من فجوة البيانات والنموذج عبر تحويل مشكلة مطابقة الهامشي إلى مشكلة شرطية.
3. الدلالات الناشئة: اكتشاف أن رموز المقدمة، المدفوعة بتدرجات AR فقط، تطور تلقائياً بنية دلالية. حقق الاختبار الخطي (Linear probing) على 16 رمز مقدمة دقة 35.88% (Top-1) على تصنيف ImageNet، وهو ما يتفوق بشكل كبير على أول 16 رمزاً في المرمز القياسي (23.71%).
4. القدرة على العمل المباشر (Plug-and-Play): تقديم Prologue-Post، الذي يتيح تحسين جودة التوليد للمرمزات الموجودة والمجمدة ببساطة عبر إضافة مكون مقدمة خفيف الوزن.

4. النتائج التجريبية

أُجريت التجارب على ImageNet 256×256.

• جودة التوليد:
  • Prologue-Base: يقلل من FID التوليدي (gFID) بدون توجيه خالي من التصنيف (CFG) من 21.01 (الأساس ثنائي الأبعاد) إلى 10.75 (انخفاض بنسبة 48.8%). ومع استخدام CFG، ينخفض gFID من 5.02 إلى 4.11.
  • Prologue-Large: يحقق gFID تنافسي قدره 1.46 و rFID قدره 0.99، مما يضاهي نماذج الانتشار (diffusion) ونماذج التنبؤ المقنع (masked prediction) المتطورة دون استخدام إشراف دلالي مساعد (مثل محاذاة DINO/SigLIP) أو تجميع أكواد معقد.
• جودة إعادة البناء:
  • تظل إعادة البناء دون تغيير تقريباً. بالنسبة لـ Prologue-Base، تغير rFID قليلاً من 2.15 إلى 2.24، وظل PSNR مستقراً (~20.64).
  • يحافظ Prologue-Post على نفس rFID للأساس المجمد (2.15) مع تحسين gFID بنسبة 22.7%.
• القابلية للتوسع: يتوسع الأسلوب بفعالية مع كل من حجم المرمز (Base إلى Large) وحجم نموذج AR (Base إلى XL)، مما يظهر مكاسب متسقة في جودة التوليد.
• تحليل الانتباه: تكشف خرائط الانتباه أن الرموز البصرية تحافظ على موضعيتها المكانية الطبيعية ثنائية الأبعاد (تتجه نحو الجيران)، بينما يتعلم نموذج AR الانتباه بقوة لمقدمة الـ prologue للحصول على السياق العالمي، مستخدماً $z_p$ بفعالية لتوجيه التنبؤ بـ $z_v$.

5. الأهمية والادعاءات

يزعم البحث أن Prologue يقدم اتجاهاً جديداً للتوليد البصري ذاتي الاندرار من خلال معالجة فجوة إعادة البناء والتوليد عبر فصل التمثيل بدلاً من التعديل.

• كفاءة التحسين: من خلال فصل الأهداف، يسمح Prologue لنموذج AR بتحسين توزيع البيانات الحقيقي (عبر التوزيع القبلي الشرطي) دون المساس بقدرة إعادة البناء للمرمز البصري.
• البساية: تحقق الطريقة نتائج متطورة دون الاعتماد على خسائر مساعدة معقدة (محاذاة دلالية، مطابقة تدفق) أو حيل تدريب استدلالية غالباً ما تتطلبها المرمزات ذاتية الانحدار الأخرى.
• القابلية للتعميم: يُنظر إلى مبدأ تقديم تمثيل توليدي منفصل متعلم مع الحفاظ على التمثيل الأصلي سليماً كاستراتيجية قابلة للتعميم لأي نظام يعاني من فجوة إعادة البناء والتوليد.

يظل المؤلفون متواضعين، مشيرين إلى القيود مثل التحقق فقط على ImageNet 256×256 والحاجة إلى مزيد من الاستكشاف في الدقات الأعلى ومجموعات البيانات المختلفة. كما يقرون بأن العمل الحالي يركز على خسارة الإنتروبيا المتقاطعة (Cross-Entropy)، تاركين أهداف مطابقة التوزيع الأخرى كعمل مستقبلي.