🤖 AI

BitDance: Scaling Autoregressive Generative Models with Binary Tokens

تُعد BitDance مولداً للصور ذاتي الانحدار وقابلاً للتوسع، حيث يتنبأ برموز ثنائية عالية الإنتروبيا باستخدام رأس انتشار ثنائي وطريقة فك تشفير انتشار "الرقعة التالية" المبتكرة، محققاً درجات FID رائدة في ImageNet مع تقليل عدد المعلمات ووقت الاستدلال بشكل كبير مقارنة بالنماذج الحالية.

المؤلفون الأصليون: Yuang Ai, Jiaming Han, Shaobin Zhuang, Weijia Mao, Xuefeng Hu, Ziyan Yang, Zhenheng Yang, Yali Wang, Huaibo Huang, Xiangyu Yue, Hao Chen

نُشر 2026-03-16

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Yuang Ai, Jiaming Han, Shaobin Zhuang, Weijia Mao, Xuefeng Hu, Ziyan Yang, Zhenheng Yang, Yali Wang, Huaibo Huang, Xiangyu Yue, Hao Chen

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت رسم لوحة فنية، ولكن بدلاً من إعطائه لوحة ألوان كاملة تحتوي على ملايين الألوان، أنت تجبره على استخدام بكسلات باللونين الأبيض والأسود فقط. هذا هو التحدي الذي تواجهه العديد من نماذج توليد الصور الحالية التي تستخدم النماذج "التكرارية" (Autoregressive models) (وهي النماذج التي تبني الصور قطعة قطعة، مثل الجملة).

تقدم ورقة بحثية تسمى BitDance طريقة جديدة لتعليم هذا الروبوت الرسم. إنها تحل ثلاث مشكلات رئيسية: قاموس الروبوت صغير جداً، ويصاب بالارتباك عند محاولة تخمين القطعة التالية، ويرسم ببطء شديد.

إليك تفصيل كيفية عمل BitDance، باستخدام تشبيهات بسيطة:

1. المشكلة: "المفردات الضئيلة" مقابل "القاموس الضخم"

تقوم معظم نماذج الصور بالذكاء الاصطعي بتقسيم الصورة إلى قطع صغيرة تسمى رموز (tokens).

الطريقة القديمة (المنفصلة - Discrete): تخيل قاموساً يحتوي على 10,000 كلمة فقط. لوصف مشهد معقد، يتعين على الذكاء الاصطناعي إعادة استخدام هذه الكلمات مراراً وتكراراً، مما يؤدي إلى تفاصيل ضبابية أو غريبة.
الطريقة القديمة (المستمرة - Continuous): تخيل قاموساً يحتوي على كلمات لا نهائية، لكنها جميعاً مختلطة ببعضها البعض. سيضيع الذكاء الاصطناعي وهو يحاول العثور على الكلمة الصحيحة، وتتراكم الأخطاء مثل لعبة "الهاتف المكسور" حيث تصل الرسالة مشوهة في النهاية.

حل BitDance:
ينشئ BitDance قاموساً ثنائياً (Binary Dictionary). بدلاً من اختيار كلمة واحدة من قائمة، فإنه يبني كلمة من 256 مفتاحاً صغيراً (bits)، حيث يكون كل مفتاح إما يعمل (1) أو لا يعمل (0).

التشبيه: فكر في مفتاح الإضاءة. مفتاح واحد بسيط (تشغيل/إيقاف). ولكن إذا كان لديك 256 مفتاحاً في صف واحد، فإن عدد التشكيلات الممكنة هو $2^{256}$ . هذا رقم ضخم جداً لدرجة أنه يشبه محاولة عد كل حبة رمل على جميع الشواطئ في العالم، مضروبة في نفسها مليار مرة.
النتيجة: يمنح هذا الذكاء الاصطناعي قاموساً ضخماً لوصف الصور بتفاصيل مذهلة، وهو أفضل بكثير من قواميس الـ "10,000 كلمة" القديمة، لكنه يحافظ على بساطة الهيكل (مجرد تشغيل/إيقاف) حتى لا يرتبك الذكاء الاصطناعي.

2. المشكلة: عقبة "لعبة التخمين"

إذا كان لديك قاموس يحتوي على $2^{256}$ ، فكيف يختار الذكاء الاصطناعي التشكيلة الصحيحة؟

الطريقة القديمة: الأمر يشبه سؤال الذكاء الاصطناعي لتخمين رقم اليانصيب حيث الرقم الفائز هو رمز مكون من 256 رقماً. إذا حاول تخمين الرمز بالكامل دفعة واحدة، فسيحتاج إلى عقل بحجم كوكب. وإذا خمن بت-بعد-بت (مفتاح تلو الآخر)، فغالباً ما يخطئ في فهم العلاقة بين المفاتيح، مما ينتج عنه صورة فوضوية.

حل BitDance: "رأس الانتشار الثنائي" (Binary Diffusion Head)
بدلاً من تخمين الرمز النهائي مباشرة، يستخدم BitDance عملية الانتشار (Diffusion) (وهي نفس التقنية المستخدمة في DALL-E 3 أو Midjourney) ولكنها معدلة لهذه المفاتيح (تشغيل/إيقاف).

التشبيه: تخيل أنك تحاول العثور على شخص معين في غرفة مزدحمة وضبابية.
- الطريقة القديمة: تصرخ قائلاً: "هل هو الشخص الذي يرتدي قبعة حمراء؟" (تخمين فهرس محدد). من الصعب إصابة الهدف.
- طريقة BitDance: تبدأ بغرفة مليئة بالضباب (ضجيج عشوائي). ثم تقوم بتبديد الضباب ببطء، خطوة بخطوة. مع كل خطوة، يصبح الشخص أكثر وضوحاً حتى تتمكن من رؤية بوضوح أنه يرتدي قبعة حمراء.
لماذا ينجح هذا: تسمح طريقة "تبديد الضباب" هذه للذكاء الاصطناعي بالنظر إلى جميع المفاتيح الـ 256 معاً وفهم كيفية ارتباطها ببعضها البعض، مما يضمن أن تكون الصورة النهائية حادة ومتماسكة.

3. المشكلة: حد السرعة لـ "التلوين بالأرقام"

عادة ما ترسم النماذج التكرارية بكسلاً واحداً (أو رمزاً واحداً) في كل مرة، من اليسار إلى اليمين، ومن الأعلى إلى الأسفل.

التشبيه: تخيل رسم شبكة 100×100. يجب عليك ملء المربع رقم 1، ثم 2، ثم 3... وصولاً إلى المربع رقم 10,000. إذا رسمت مربعاً واحداً في الثانية، فسيستغرق الأمر قرابة 3 ساعات لإنهاء صورة واحدة. هذا هو السبب في أن الصور عالية الدقة تستغرق وقتاً طويلاً للتوليد.

حل BitDance: "انتشار الرقعة التالية" (Next-Patch Diffusion)
أدرك BitDance أن البكسلات المتجاورة مرتبطة ببعضها البعض عادةً (رقعة سماء زرقاء بجانب رقعة سماء زرقاء أخرى).

التشبيه: بدلاً من رسم مربع واحد في كل مرة، يقوم BitDance برسم رقعة كاملة 4×4 (16 مربعاً) في وقت واحد.
السحر: نظرًا لأنه يستخدم طريقة "تبديد الضباب" المذكورة أعلاه، يمكنه التنبؤ بجميع المربعات الـ 16 في تلك الرقعة في وقت واحد، مدركاً كيف تتناسب مع بعضها البعض.
النتيجة: الأمر يشبه الانتقال من بناء جدار لبنة لبنة إلى وضع قسم كامل من الجدار دفعة واحدة. هذا يجعل الذكاء الاصطناعي أسرع بـ 8.7 مرة من النماذج السابقة وأسرع بـ 30 مرة للصور عالية الدقة.

النتائج الكلية الكبرى

الجودة: في اختبار ImageNet القياسي، حقق BitDance درجة (FID قدرها 1.24) وهي الأفضل على الإطلاق لهذا النوع من النماذج، متفوقاً على نماذج أكبر منه بخمس مرات.
الكفاءة: يولد صوراً عالية الجودة باستخدام 260 مليون معلمة فقط (عقل صغير)، بينما يتفوق على نماذج تمتلك 1.4 مليار معلمة (عقل ضخم).
تحويل النص إلى صورة: عندما تطلب منه "رسم قطة ترتدي قبعة"، فإنه يفعل ذلك بسرعة ودقة، حتى في الدقات العالية (1024×1024)، متفوقاً على العديد من النماذج التجارية المغلقة والمكلفة.

الملخص

BitDance يشبه ترقية روبوت رسام من فنان بطيء ومشتت ذهنياً بكلمات محدودة إلى فنان فائق السرعة والدقة.

يستخدم قاموس "تشغيل/إيقاف" ضخم لالتقاط التفاصيل الدقيقة.
يستخدم تقنية "تبديد الضباب" لتخمين التفاصيل الصحيحة دون أن يضيع.
يرسم في رقع (قطع) بدلاً من نقطة واحدة في كل مرة، مما يجعله سريعاً للغاية.

إنه يثبت أنك لا تحتاج إلى نموذج ضخم وبطيء لصنع فن عظيم؛ بل تحتاج فقط إلى الطريقة الصحيحة لتنظيم "بتات" (bits) المعلومات.

إليك ملخص تقني مفصل لورقة البحث بعنوان "BitDance: Scaling Autoregressive Generative Models with Binary Tokens" (بيت دانس: توسيع نطاق النماذج التوليدية ذاتية الانحدار باستخدام الرموز الثنائية).

1. بيان المشكلة

حققت النماذج ذاتية الانظمة (AR) نجاحاً ملحوظاً في نمذجة اللغة، لكنها تواجه تحديات مستمرة عند تطبيقها على التوليد البصري:

مقايضة تصميم الرموز (Token Design Trade-off): تعاني النماذج ذاتية الانحدار المتقطعة الحالية (التي تستخدم التكميم المتجهي - VQ) من صعوبة في توسيع حجم المفردات دون المعاناة من انهيار كتاب الرموز (codebook collapse) أو أخطاء إعادة البناء. وفي المق المقابل، توفر النماذج ذاتية الانحدار المستمرة (التي تستخدم VAEs) دقة عالية في إعادة البناء، لكنها تعاني من تراكم حاد للأخطاء أثناء توليد التسلسلات الطويلة بسبب الفضاءات الكامنة غير المقيدة.
عنق زجاجة أخذ العينات (Sampling Bottleneck): إن توسيع حجم المفردات (على سبيل المثال، إلى $2^{256}$ حالة) يؤدي إلى انفجار أسي في المعلمات لرؤوس التصنيف القياسية. ويعد التنبؤ بمؤشر رمز واحد من مثل هذا الفضاء الهائل أمراً مستعصياً حاسوبياً.
كفاءة الاستدلال (Inference Efficiency): تقوم النماذج ذاتية الانحدار القياسية بتوليد الرموز بالتتابع (واحداً تلو الآخر)، مما يخلق عنق زجاجة كبير في الاستدلال، خاصة للصور عالية الدقة. وبينما توجد طرق متوازية ذاتية الانحدار، إلا أنها غالباً ما تفشل في نمذجة التوزيع المشترك للرموز التي يتم توليدها في وقت واحد، مما يؤدي إلى عيوب هيكلية.

2. المنهجية

تعالج BitDance هذه التحديات من خلال ثلاثة مكونات أساسية:

أ. مكمم الرموز الثنائية ذو المفردات الكبيرة (Large-Vocabulary Binary Tokenizer)

التكميم الثنائي (Binary Quantization): بدلاً من التكميم المتجهي القياسي، تستخدم BitDance التكميم الخالي من البحث (Lookup-Free Quantization - LFQ) مع كتاب رموز ثنائي $\{-1, 1\}^d$ .
توسيع الإنتروبيا (Entropy Scaling): تم توسيع حجم المفردات ليصل إلى $2^{256}$ (من خلال استخدام رموز مكونة من 256 بت). تسمح هذه الإنتروبيا الضخمة للتمثيل المتقطع بمطابقة دقة إعادة البناء الخاصة بـ VAEs المستمرة، مع الحفاظ على فوائد التنظيم التي توفرها المتقطعات.
التدريب القائم على المجموعات (Group-wise Training): للتعامل مع التكلفة الحسابية لفقدان الإنتروبيا لمثل هذه المفردات الضخمة، استخدم المؤلفون استراتيجية LFQ القائمة على المجموعات، حيث يتم تقسيم القنوات لموازنة الكفاءة ودقة التحسين.

ب. رأس الانتشار الثنائي (Binary Diffusion Head)

التحدي: لا تستطيع رؤوس التصنيف القياسية التعامل مع $2^{256}$ فئة. كما أن افتراضات الاستقلال لكل بت (التنبؤ بكل بت على حدة) تؤدي إلى تدهور الجودة بسبب تجاهل الارتباطات بين البتات.
الحل: تستبدل BitDance رأس التصنيف بـ رأس انتشار ثنائي (Binary Diffusion Head).
- التضمين المستمر (Continuous Embedding): تُعامل الرموز الثنائية كأركان لمكعب فائق (hypercube) في فضاء مستمر.
- هدف الانتشار (Diffusion Objective): يستخدم النموذج صيغة "التدفق المصحح" (Rectified Flow) للتنبؤ بسرعة الرمز من حالة صاخبة إلى الحالة الثنائية النظيفة.
- النمذجة المشتركة (Joint Modeling): على عكس مصنفات البتات، يقوم هذا الرأس بنمذجة التوزيع المشترك لجميع البتات في آن واحد، مما يلتقط الارتباطات المعقدة دون نمو أسي في المعلمات.
- الثنائية (Binarization): أثناء الاستدلال، يتم إسقاط المخرج المستمر مرة أخرى إلى المكعب الفائق الثنائي عبر دالة الإشارة الصلبة ( $\text{sign}(x)$ ).

ج. انتشار الرقعة التالية (Next-Patch Diffusion)

**التنبؤ المتوازي (Parallel Prediction): වශයෙන් تنتقل BitDance من "الرمز التالي" إلى التنبؤ بـ "الرقعة التالية" (next-patch)، حيث تتنبأ برقعة بمقاس $p \times p$ من الرموز بالتوازي.
نمذجة التوزيع المشترك: من الأهمية بمكان أن BitDance توسع رأس الانتشار الثنائي للتنبؤ بالرقعة بأكملها بشكل مشترك. هذا يسد الفجوة بين التدريب (التنبؤ بمجموعة) والاستدلال (أخذ عينة من المجموعة)، مما يتجنب أخطاء "افتراض الاستقلال" الموجودة في طرق التوازي الأخرى (مثل MaskGIT أو VAR).
البنية (Architecture): تستخدم قناع انتباه سببي (causal attention mask) على مستوى الكتل، حيث تكون الرموز داخل نفس الرقعة مرئية لبعضها البعض، مما يسمح للنموذذ بالتقاط التبعيات المكانية داخل الرقعة.

3. المساهمات الرئيسية

تكميم ثنائي قابل للتوسع: تثبت أن توسيع إنتروبيا الرموز إلى $2^{256}$ عبر التكميم الثنائي يحقق جودة إعادة بناء تضاهي VAEs المستمرة، متفوقة على المكممات المتقطعة التقليدية.
رأس الانتشار الثنائي: تقدم آلية أخذ عينات مبتكرة تحل مشكلة انفجار المعلمات للمفردات الضخمة عن طريق نمذجة التوزيع المشترك للرموز الثنائية في الفضاء المستمر باستخدام الانتشار.
انتشار الرقعة التالية: تقترح نموذج فك تشفير متوازٍ يمكنه نمذجة التوزيع المشترك لرقعات متعددة الرموز بدقة، مما يسرع عملية الاستدلال بشكل كبير دون التضحية بالجودة.
أداء الحالة الراهنة (SOTA): تحقق نتائج رائدة في كل من التوليد المشروط بالفئة وتوليد الصور من النصوص بكفاءة عالية.

4. النتائج التجريبية

التوليد المشروط بالفئة (ImageNet 256×256)

الجودة: يحقق نموذج BitDance بمليار معلمة FID قدره 1.24، متفوقاً على النماذج ذاتية الانحدار السابقة (مثل xAR-H و SphereAR) ومنافساً لأفضل نماذج الانتشار.
الكفاءة: يتفوق نموذج BitDance بـ 260 مليون معلمة (باستخدام تنبؤ 16-رمز متوازي) على نموذج RandAR-XXL (بـ 1.4 مليار معلمة) في مقياس FID مع تحقيق تسريع بمقدار 8.7 ضعفاً.

توليد الصور من النصوص

المعايير (Benchmarks): يضع BitDance (بـ 14 مليار معلمة) معايير جديدة (SOTA) بين النماذج ذاتية الانحدار في:
- GenEval: 0.86
- DPG-Bench: 88.28
- OneIG-EN/ZH: 0.532 / 0.512
كفاءة البيانات: يحقق هذه النتائج باستخدام بيانات تدريب أقل بكثير (أقل من 450 مليون زوج صورة-نص) مقارنة بمجموعات البيانات الضخمة المستخدمة في النماذج التجارية.
السرعة: عند توليد صور بدقة 1024×1024، تحقق Bitance تسريعاً بمقدار 30 ضعفاً مقارنة بنماذج التنبؤ بالرمز التالي القياسية (مثل NextStep-1 و Emu3.5).

دراسات الاستبعاد (Ablation Studies)

نوع الرمز: تفوقت المكممات الثنائية بشكل كبير على VAEs المستمرة في بيئات AR، مما يؤكد أن القيود المتقطعة تخفف من تراكم الأخطاء.
رأس أخذ العينات: رأس الانتشار الثنائي أمر ضروري؛ حيث فشلت رؤوس تصنيف الرموز بسبب نفاذ الذاكرة (OOM)، وأدى تصنيف البتات المنفرد إلى جودة ضعيفة.
التوازي: يعد انتشار الرقعة التالية مع الأقنعة القائمة على الكتل أمراً حاسماً للحفاظ على التماسك الهيكلي في التوليد المتوازي.

5. الأهمية

تحول في النموذج (Paradigm Shift): تتحدى BitDance الفكرة القائلة بأن النماذج ذاتية الانحدار يجب أن تعتمد على مفردات متقطعة صغيرة أو تعاني من تراكم الأخطاء. إنها تثبت أن التمثيلات المتقطعة عالية الإنتروبيا المقترنة بـ أخذ عينات قائم على الانتشار يمكن أن تحقق أفضل ما في العالمين: استقرار النماذج المتقطعة ودقة النماذج المستمرة.
الكفاءة: من خلال تمكين التوليد المتوازي عالي الدقة، تجعل BitDance توليد الصور ذاتي الانحدار قابلاً للتطبيق للتطبيقات عالية الدقة والآنية، مما يغلق فجوة السرعة مع نماذج الانتشار مع الحفاظ على البساطة الهيكلية لـ AR.
أساس للذكاء الاصطناعي متعدد الوسائط: إن قدرة إطار العمل على التوسع إلى 14 مليار معلمة والتعامل مع مهام معقدة مثل تحويل النص إلى صورة تشير إلى مسار واعد لنماذج التأسيس الموحدة متعددة الوسائط.

باختصار، تعيد BitDance تعريف مجال تصميم النماذج ذاتية الانحدار البصرية من خلال الاستفادة من الرموز الثنائية، وأخذ العينات القائم على الانتشار، والتوازي على مستوى الرقعة لتحقيق جودة وكفاءة غير مسبوقة.