Frequency Autoregressive Image Generation with Continuous Tokens

إليك ملخص تقني مفصل لورقة البحث بعنوان "توليد الصور عبر التراجع الذاتي الترددي باستخدام الرموز المستمرة" (FAR).

1. بيان المشكلة

تعتمد نماذج توليد الصور الحالية القائمة على التراجع الذاتي (AR) بشكل كبير على محاكاة نجاح النماذج اللغوية الكبيرة (LLMs) من خلال تبني نموذج ثنائي المراحل:

1. التقطيع (Discretization): استخدام التكميم المتجهي (VQ) لتحويل بيانات الصور المستمرة إلى مفردات محدودة ومتقطعة.
2. توقع التسلسل (Sequence Prediction): تسطيح الصورة ثنائية الأبعاد (2D) إلى تسلسل أحادي البعد (1D) (عادةً بترتيب المسح الأفقي/الرأسي - raster-scan) وتوقع "الرمز التالي".

حدد المؤلفون عيبين جوهريين في وراثة هذا النموذج مباشرة للصور بسبب الفجوة النمطية (modality gap) بين النصوص والصور:

• تنسيق المقطع (Tokenizer Format): الصور بطبيعتها مستمرة، بينما النصوص متقطعة. يؤدي التقطيع عبر (VQ) إلى فقدان كبير في المعلومات ويحد من سقف الأداء.
• اتجاه الانحدار (Regression Direction): النصوص سببية ومتسلسلة (1D). أما الصور فهي غير سببية وغير متسلسلة، وتمتلك محلية مكانية (spatial locality) قوية (2D). إن ترتيب المسح الأفقي أو الترتيب العشوائي للرموز ينتهك المتطلبات السببية لنماذج التراجع الذاتي (AR) ويعطل الأولويات المكانية المتأصلة في بيانات الصور.

الأساليب الحالية التي تحاول جسر هذه الفجوة (مثل VAR و MaskGIT) تعتمد غالباً على رموز متقطعة أو بنيات معقدة متعددة المقاييس تعاني مع البيانات المستمرة أو تتطلب خطوات استنتاج مفرطة.

2. المنهجية: نموذج FAR

يقترح المؤلفون التراجع الذاتي الترددي (Frequency Autoregressive - FAR)، وهو نموذج يستفيد من الاعتماد الطيفي (spectral dependency) كاتجاه للانحدار ويستخدم رموزاً مستمرة.

أ. المفهوم الجوهري: الاعتماد الطيفي

بدلاً من توقع الرموز بالترتيب المكاني (من اليسار إلى اليمين، ومن الأعلى إلى الأسفل)، يتنبأ FAR بالصور عبر مستويات التردد المتزايدة.

• مكونات التردد المنخفض تلتقط الهيكل العام، السطوع، والأشكال.
• مكونات التردد العالي تلتقط الحواف، الأنسجة، والتفاصيل الدقيقة.
• السببية (Causality): تعتمد التفاصيل عالية التردد طبيعياً على إنشاء الهياكل منخفضة التردد. هذا التسلسل الهرمي يلبي المتطلبات السببية لنماذج التراجع الذاتي مع الحفاظ على المحلية المكانية ثنائية الأبعاد للصورة.

ب. البنية والعملية

1. المقطع المستمر (Continuous Tokenizer): يستخدم النموذج مقطعاً مستمراً (بناءً على مبادئ VAE) بدلاً من VQ، مما يقلل من فقدان المعلومات.
2. توقع التردد التالي:
   • يتم تفكيك الصورة $x$ إلى $F$ من مستويات التردد باستخدام المرشحات الطيفية (تحويل فورييه).
   • يقوم النموذج بعملية توليد تراجعية ذاتية من المستوى $i$ إلى $i+1$.
   • في كل خطوة، يتنبأ النموذج بتوزيع مستوى التردد التالي مشروطاً بمستويات التردد المنخفضة السابقة.
   • ضمن مستوى التردد الواحد، يستخدم النموذج الانتباه ثنائي الاتجاه (bidirectional attention) لتوقع جميع الرموز في آن واحد، مما يحافظ على المحلية المكانية.
3. خسارة الانتشار (Diffusion Loss) للرموز المستمرة:
   • للتعامل مع الرموز المستمرة، يستخدم المؤلفون نموذج انتشار (diffusion model) كدالة خسارة وعينة (sampler).
   • يتنبأ محول (Transformer) التراجع الذاتي بمتجه $z$ لكل رمز، والذي يشترط شبكة MLP صغيرة (مقدر الضجيج) لإزالة الضجيج من توزيع الرمز الحقيقي.

ج. الابتكارات التقنية الرئيسية

لجعل FAR فعالاً وقابلاً للتدريب، قدم المؤلفون عدة تقنيات محددة:

• تبسيط نمذجة التوزيع: بدلاً من نمذجة التوزيع الشرطي المعقد $p(x_{i+1} | x_i)$، يبسط النموذج المهمة عن طريق نمذجة توزيع الصورة الكامل $p(x | x_i)$ مباشرة ثم ترشيح المخرجات للحصول على مستوى التردد التالي. هذا يقلل من صعوبة التحسين لشبكة MLP الصغيرة.
• خسارة التدريب المدركة للتردد: تمتلك مستويات التردد المختلفة صعوبات تحسين متفاوتة (الترددات العالية أسهل في التوقع). قدم المؤلفون استراتيجية لوزن الخسارة تعتمد على منحنى جيبي لتعيين أوزان أعلى لمستويات التردد العالية، مما يضمن التعلم المتوازن.
• آلية القناع (Mask Mechanism): لتقليل تكاليف التدريب وتحسين التنوع، يقوم النموذج بقناع عشوائي لمجموعة فرعية من رموز المدخلات في مستويات التردد المنخفضة (حيث تكون المعلومات شحيحة)، مما يجبر النموذج على تعلم تمثيلات قوية.
• أخذ عينات الانتشار المدرك للتردد: أثناء الاستنتاج، يتم تخصيص خطوات أقل من أخذ عينات الانتشار لمستويات التردد المنخفضة (التي يسهل توليدها)، مما يسرع عملية الاستنتاج بشكل كبير.

3. المساهمات الرئيسية

1. نموذج FAR: يقترح إطار عمل جديد للتراجع الذاتي يعتمد على الاعتماد الطيفي (توقع التردد التالي) بدلاً من توقع الرموز المكانية أو العشوائية، مما يتوافق بشكل أفضل مع أولويات بيانات الصور.
2. دمج الرموز المستمرة: يدمج بنجاح المقاطع المستمرة مع توليد التراجع الذاتي، ويحل تحديات التحسين من خلال تبسيط التوزيع واستراتيجيات وزن الخسارة المدركة للتردد.
3. الكفاءة: يحقق توليد عالي الجودة مع تقليل خطوات الاستنتاج بشكل جذري (تعقيد خطي $O(n)$ بالنسبة لعدد الرموز، بدلاً من $O(n^2)$ في نماذج المسح الأفقي التقليدية).
4. القابلية للتوسع: يثبت أن الطريقة تتوسع بفعالية مع حجم النموذج وهي قابلة للتطبيق في كل من التوليد المشروط بالفئة (class-conditional) والتوليد من النص إلى الصورة.

4. النتائج التجريبية

قيم المؤلفون FAR على ImageNet (توليد مشروط بالفئة) و JourneyDB/MS-COCO (توليد من نص إلى صورة).

• التوليد المشروط بالفئة (ImageNet 256x256):

  • الأداء: يحقق FAR-H (791 مليون معلمة) قيمة FID تبلغ 3.21 وقيمة IS تبلغ 300.6.
  • الكفاءة: يحقق هذه النتيات في 10 خطوات استنتاج فقط، بينما تتطلب نماذج التراجع الذاتي عالية الأداء (مثل LlamaGen أو VAR) مئات الخطوات أو عدداً أكبر بكثير من المعلمات.
  • المقارنة: يتفوق على نماذج التراجع الذاتي القائمة على الرموز المتقطعة (VQGAN, LlamaGen) في مقاييس الجودة البصرية (IS, Precision) وينافس نماذج الانتشار الحديثة، رغم استخدامه حجماً أصغر بكثير من النماذج وخطوات أقل.

• التوليد من النص إلى الصورة:

  • يحقق FAR نتائج تنافسية في اختبارات MS-COCO و GenEval.
  • يستخدم بيانات تدريب أقل بكثير (7.8 مليون زوج مقابل المليارات لـ DALL-E 3/SD3)، وأيام GPU أقل، و 10 خطوات استنتاج فقط.
  • تظهر النتائج البصرية هياكل متماسكة وتفاصيل دقيقة، حتى مع المطالبات (prompts) المعقدة.

• دراسات الاستئصال (Ablation Studies):

  • إزالة آلية القناع تقلل من تنوع التوليد (FID أعلى).
  • إزالة وزن الخسية المدرك للتردد يؤدي إلى تدهور الأداء في التفاصيل عالية التردد.
  • المحاولات لدمج نموذج VAR مع الرموز المستمرة أدت إلى أداء ضعيف بسبب تراكم الخطأ وصعوبات نمذجة التوزيع، مما يؤكد ضرورة نهج FAR.

5. الأهمية والأثر

• جسر الفجوة النمطية: يوفر FAR إطار عمل أكثر طبيعية لتوليد الصور من خلال احترام الطبيعة المستمرة والمكانية للصور، مبتعداً عن "تحويل الصور إلى نصوص" عبر VQ.
• الكفاءة: من خلال تقليل خطوات الاستنتاج إلى عدد مستويات التردد (مثلاً 10 خطوات) بدلاً من عدد الرموز، يقدم FAR بديلاً عالي الكفاءة لكل من نماذج الانتشار (التي تتطلب خطوات عينات كثيرة) ونماذج التراجع الذاتي التقليدية (التي تتطلب خطوات تراجع ذاتي كثيرة).
• مسار الذكاء الاصطناുതി العام (AGI): تساهم هذه الورقة في توحيد الرؤية واللغة تحت إطار عمل تراجع ذاتي واحد، مما يثبت أن نماذج التراجع الذاتي يمكن أن تضاهي نماذج الانتشار في الجودة مع تقديم مزايا السرعة والتحكم التي يوفرها التراجع الذاتي.

باختأصار، يعيد FAR التفكير في توليد الصور عبر التراجع الذاتي من خلال نقل اتجاه الانحدار من الرموز المكانية إلى الترددات الطيفية واستخدام التمثيلات المستمرة، مما ينتج عنه نموذج توليد عالي الكفاءة، قابل للتوسع، وعالي الجودة.