VibeToken: Scaling 1D Image Tokenizers and Autoregressive Models for Dynamic Resolution Generations

إليك ملخص تقني مفصل لورقة البحث بعنوان: "VibeToken: توسيع نطاق أجهزة ترميز الصور أحادية البعد (1D) والنماذج التوليدية ذاتية الانحدار (Autoregressive) للإنتاجات ذات الدقة الديناميكية."

1. بيان المشكلة

أظهرت نماذج توليد الصور ذاتية الانمودج (AR) (مثل LlamaGen) أداءً تنافسياً، لكنها تواجه عوائق كبيرة أمام الاعتماد في الإنتاج مقارنة بنماذج الانتشار (Diffusion models). تكمن العقبة الرئيسية في قابلية التوسع فيما يتعلق بالدقة ونسب العرض إلى الارتفاع:

• انفجار عدد الرموز (Tokens): تُنتج أجهزة الترميز ثنائية الأبعاد التقليدية (مثل VQGAN) تسلسلات من الرموز تنمو خطياً مع دقة الصورة. بالنسبة لصورة بدقة 1024×1044، ينتج عن ذلك آلاف الرموز (على سبيل المثال، 4,096 رمزاً).
• التكلفة الحسابية التربيعية: تعتمد نماذج AR على آلية الانتباه الذاتي (Self-attention)، والتي تمتلك تعقيداً من رتبة $O(T^2)$ حيث $T$ هو طول التسلسل. مع زيادة الدقة، تنمو عمليات الحوسبة (FLOPs) أثناء الاستنتاج بشكل تربيعي، مما يجعل توليد الدقة العالية مكلفاً حسابياً بشكل باهظ.
• الجمود: معظم نماذج AR يتم تدريبها على دقات ثابتة (مثل 256×256)، وتواجه صعوبة في التعميم على نسب عرض إلى ارتفاع مختلفة أو دقات أعلى دون إعادة تدريب أو استخدام مسارات معقدة لزيادة الدقة (Super-resolution).
• هيمنة نماذج الانتشار: تتعامل نماذج الانتشار بشكل طبيعي مع الدقات المختلفة، مما جعل نماذج AR تتخلف عنها في حالات الاستخدام المرنة والجاهزة للإنتاج.

2. المنهجية

يقترح المؤلفون حلاً يتكون من جزأين: VibeToken (جهاز ترميز مبتكر) و VibeToken-Gen (مولد ذاتي الانحدار).

أ. VibeToken: جهاز ترميز أحادي البعد (1D) مستقل عن الدقة

VibeToken هو جهاز ترميز صور يعتمد على Transformer أحادي البعد، مصمم لترميز الصور من أي دقة إلى عدد ثابت من الرموز يمكن للمستخدم التحكم فيه (مثلاً 32–256)، مما يفك الارتباط بين عدد الرموز والدقة المكانية.

الابتكارات الهيكلية الرئيسية تشمل:

1. تضمينات المواقع الشبكية الديناميكية (Dynamic Grid Positional Embeddings): بدلاً من تضمينات المواقع المطلقة الثابتة، يستخدم VibeToken شبكة متعلمة من التضمينات التي يتم تغيير حجمها تفاضلياً (عبر الاستيفاء الخطي/ثنائي التكعيب - bilinear/bicubic interpolation) لتناسب شبكة الرقع (Patch grid) المدخلة ($T_H \times T_W$). وهذا يسمح للنموذج بالتعامل مع نسب العرض إلى الارتفاع المختلفة دون تدهور في الجودة.
2. تضمينات الرقع التكيفية (Adaptive Patch Embeddings): مستوحى من FlexiViT، يدعم النموذج أحجام رقع متغيرة ($k$) أثناء التدريب والاستنتاج. يقوم عامل تغيير حجم الأوزان برسم خرائط أوزان الإسقاط الأساسية إلى حجم الرقعة الحالي، مما يسمح للنموذج بالتكيف مع الدقات المختلفة دون الحاجة لإعادة المعلمات (Reparameterization).
3. دقة فك الترميز التكيفية (Adaptive Decoder Resolution): يتنبأ فك الترميز بالبكسلات بدقة ثابتة (4 أضعاف حجم الرقعة) ويستخدم طبقة خفض عينات تلافيفية ثنائية الأبعاد قابلة للتعلم للوصول إلى الدقة المستهدفة. وهذا يتيح زيادة الدقة الأصلية (Native Super-resolution) دون الحاجة لوحدة منفصلة لزيادة الدقة.
4. ترميز بطول ديناميكي (Dynamic-Length Tokenization): يتم تدريب النموذج باستخدام عينات موحدة من أطوال الكوامن (Latent lengths) $L \in [32, 256]$. ينتج المشفر بالضبط $L$ من الرموز، ويستهلك فك الترميز بالضبط $L$ من الرموز، مما يلغي الحاجة إلى الحشو (Padding) أو قيود الطول الثابت.
5. التكميم (Quantization): يستخدم التكميم متعدد المتجهات (Multi-Vector Quantization - MVQ) مع 8 كتب أكواد (Codebooks) لتحقيق حجم مفردات يبلغ 32,768، موازناً بين الضغط وجودة إعادة البناء.

ب. VibeToken-Gen: مولد ذاتي الانحدار (AR) فعال

V-VibeToken-Gen هو نموذج AR مشروط بالفئة (Class-conditioned) (مبني على بنية LlamaGen) يعمل على تسلسلات الرموز القصيرة والمستقلة عن الدقة التي ينتجها VibeToken.

• ميزانية حوسبة ثابتة: بما أن طول تسلسل الرموز $L$ ثابت (مثلاً 64 رمزاً) بغض النظر عن دقة المخرج، فإن عمليات الحوسسة (FLOPs) أثناء الاستنتاج تظل ثابتة.
• الاشتراط (Conditioning): يشترط النموذج على الدقة المستهدفة $(H, W)$ ونسبة العرض إلى الارتفاع جنباً إلى جنب مع تسمية الفئة لمنع عيوب التمدد الهندسي.
• التدريب: تم تدريبه على مجموعة بيانات ImageNet-1k بدقات مختلطة (من 256×256 إلى 512×512) ونسب عرض إلى ارتفاع مختلفة، باستخدام ميزانية رموز مقاربة للنماذج ذات الدقة الثابتة.

3. المساهمات الرئيسية

1. ترميز مستقل عن الدقة: أول جهاز ترميز Transformer أحادي البعد يدعم أصلاً الدقات ونسب العرض إلى الارتفاع المختلفة مع الحفاظ على ميزانية رموز قصيرة وديناميكية (32–256 رمزاً).
2. كفاءة الحوسبة: يفصل بين تكلفة استنتاج نماذج AR وبين دقة الصورة. يحافظ VibeToken-Gen على 179 GFLOPs ثابتة لأي دقة، بينما تصل النماذج المرجعية مثل LlamaGen إلى ~11 TFLOPs لصور بدقة 1024×1024 (تحقيق زيادة في الكفاءة بمقدار 63.4 ضعفاً).
3. زيادة الدقة الأصلية (Native Super-Resolution): تدعم البنية توليد صور عالية الدقة من مدخلات منخفضة الدقة (أو أهداف اختيارية) دون وحدات خارجية لزيادة الدقة.
4. أداء يضاهي أحدث التقنيات (SOTA): يحقق جودة إعادة بناء (rFID) وتوليد (gFID) تنافسية مقارنة بأجهزة الترميز ثنائية الأبعاد ونماذج الانتشار، رغم استخدام عدد أقل بكثير من الرموز.

4. النتائج التجريبية

تقيم الورقة VibeToken و VibeToken-Gen على مجموعتي بيانات ImageNet-1k و FFHQ عبر دقات متنوعة (256×256 إلى 1024×1024) ونسب عرض إلى ارتفاع مختلفة.

• جودة إعادة البناء:
  • يحقق VibeToken-LL قيمة 0.40 rFID عند دقة 256×256 و 2.40 rFID عند دقة 1024×1024.
  • يتفوق على أجهزة الترميز أحادية البعد الأخرى (مثل TiTok و One-D-Piece) في التعميم على الدقة، ويطابق أو يتجاوز أجهزة الترميز ثنائية الأبعاد (مثل IBQ و MAGViT) في كفاءة الضغط.
• جودة التوليد:
  • يقوم VibeToken-Gen (XXL) بتخليق صور بدقة 1024×1024 باستخدام 64 رمزاً فقط وبقيمة 3.94 gFID.
  • المقارنة:
    • مقابل الانتشار (NiT): يعد VibeToken-Gen أسرع بـ 2.35 مرة (0.46 ثانية مقابل 1.08 ثانية) ويحقق جودة أفضل (3.94 gFID مقابل 5.87 gFID) عند دقة 1024×1024.
    • مقابل المرجع (LlamaGen): يتطلب LlamaGen حوالي 11 TFLOPs لصور 1024×1024، بينما يستخدم VibeToken-Gen ثابت 179 GFLOPs.
• الكفاءة:
  • انخفض عدد الرموز من ~4,096 (في أجهزة الترميز ثنائية الأبعاد) إلى 64 رمزاً لصور 1024×1024.
  • سرعة الاستنتاج هي أقل من ثانية واحدة (0.46 ثانية) لتوليد الدقة العالية، مقارنة بـ 32+ ثانية للنماذج المرجعية ذاتية الانحدار عند نفس الدقات.

5. الأهمية

يقلص هذا العمل الفجوة بين النماذج ذاتية الانحدار (AR) ونماذج الانتشار (Diffusion) من حيث المرونة والكفاءة.

• الجدوى الإنتاجية: من خلال تمكين نماذج AR من التعامل مع دقات مختلفة بتكلفة حوسبة ثابتة، يجعل VibeToken نماذج AR قابلة للاستخدام في التطبيقات الواقعية حيث تختلف أبعاد المدخلات والمخرجات (مثل تطبيقات الهاتف المحمول، وتنسيقات الشاشات المتنوعة).
• القابلية للتوسع: يثبت أن نماذج AR يمكن أن تتوسع إلى دقات عالية دون الانفجار التربيعي في الحوسبة، مما يتحدى الفكرة القائلة بأن نماذج الانتشار هي المسار الوحيد للذكاء الاصطناو التوليدي عالي الدقة.
• الاتجاه المستقبلي: يفتح هذا النهج الباب لنماذج متعددة الوسائط موحدة (نص، صورة، فيديو) يمكنها العمل تحت ميزانية حوسبة ثابتة ومتحكم بها من قبل المستخدم، بغض النظر عن التعقيد المكاني للمحتوى المولد.

باختصار، يحل VibeToken مشكلة "توسع الدقة" في التوليد ذاتي الانحدار عبر نقل عبء التكيف مع الدقة من النموذج المولد إلى جهاز ترميز مرن ومستقل عن الدقة، مما ينتج نظاماً أسرع، وأرخص، وأكثر مرونة من البدائل الحالية الأكثر تطوراً.