ملخص تقني لـ BitLM: إطلاق العنان لتوليد اللغة متعدد الرموز عبر الانتشار الثنائي المستمر

بيان المشكلة

تعمل النماذج اللغوية الكبيرة (LLMs) الحالية تحت نموذج "الرمز التالي" (next-token)، حيث تولد النصوص رمزاً واحداً في كل مرة عبر دالة "softmax" على مستوى المفردات. وبينما حقق هذا النهج التتابعي (Autoregressive - AR) نجاحاً كبيراً، إلا أنه يفرض اختناقاً تسلسلياً جوهرياً عند الاستنتاج. إن اللغة الطبيعية مهيكلة بطبيعتها في وحدات متعددة الرموز (عبارات، n-grams)، ومع ذلك فإن الواجهة القياسية تجبر النموذج على اتخاذ قرارات فئوية ذرية واحداً تلو الآخر.

إن المحاولات الحالية للتخفيف من هذا الاختناق، مثل "فك التشفير بالمضاربة" (speculative decoding) أو "فك التشفير المتوازي بكتل" (blockwise parallel decoding)، غالباً ما تترك واجهة "softmax" الخاصة بالمفردات قائمة كما هي، حيث تعامل التوازي كتحسين خارجي بدلاً من كونه خاصية أصيلة. وفي المقابل، فإن نماذج الانتشار (diffusion models) غير التتابعية أو الصرفة قد تضحي بالبنية السببية الضرورية لنمذجة اللغة الفعالة. وتفترض الورقة أن "softmax" الخاصة بالمفردات هي خيار واجهة تاريخي وليس متطلباً أساسياً، وأن تغيير هندسة فضاء المخرجات يمكن أن يمكّن من تدريب مسبق أكثر كفاءة واستنتاج أسرع دون المساس بالاعتمادات السببية.

المنهجية: BitLM

يقترح BitLM بنية مبتكرة تستبدل "softmax" التقليدية للمفردات بـ إزالة تشويش مشروطة في فضاء ثنائي ثابت الطول. يجمع النموذج بين عمود فقري لنماذج اللغة الكبيرة (LLM) سببي، ورأس انتشار (diffusion head) خفيف الوزن لتحقيق رموز متعددة بالتوازي داخل الكتلة.

1. واجهة الرموز الثنائية

بدلاً من التنبؤ بمعرفات الرموز (token IDs) مباشرة، يقوم BitLM برسم كل رمز $y_i$ من مفردات بحجم $V$ إلى كود ثنائي ثابت الطول $B = \lceil \log_2 V \rceil$.

• الرسم (Mapping): يتم تحويل معرفات الرموز إلى متجهات ثنائية $\{-1, 1\}^B$ (على غرار "البتات التناظرية" - Analog Bits)، حيث $0 \to -1$ و $1 \to 1$.
• التضمين (Embedding): يتم رفع هذه الأكواد الثنائية من البعد $B$ إلى البعد الخفي $d$ للعمود الفقري عبر MLP لكل موضع، مما يحل محل تضمينات الرموز القياسية.

2. التفكك السببي للكتل (Block-Causal Factorization)

يولد النموذج النصوص في كتل بحجم $m$. ويستخدم قناع انتباه سببي للكتل:

• يمكن للرموز داخل نفس الكتلة الانتباه لبعضها البعض (مما يسمح بالتحقق المشترك).
• يمكن للرموز في الكتلة $n$ الانتباه فقط للرموز في الكتل من $1$إلى$n-1$ (للحفاظ على الاعتمادات السببية عبر الكتل).
• يسمح هذا للنموذج بتغيير درجة التوازي ($m$) مع الحفاظ على التحيز الاستقرائي السببي للنماذج التتابعية القياسية.

3. رأس الانتشار المشروط

لكل كتلة مستهدفة $n$، يعامل النموذج عملية التوليد كمسألة إزالة تشويش مشروطة بالحالات الخفية للكتلة السابقة ($n-1$):

• عملية التشويش (Noise Process): يتم تلويث كتلة ثنائية نظيفة $A_0$ بضجيج غاوسي عبر الاستيفاء الخطي لإنشاء حالة مشوشة $A_t$ عند الخطوة الزمنية $t \in [0, 1]$.
• إزالة التشويش (Denoising): يتنبأ رأس انتشار خفيف الوزن بالكتلة النظيفة $\hat{A}_0$ بناءً على المدخل المشوش $A_t$، والخطوة الزمنية $t$، والشرط السياقي $C_{n-1}$ (الحالات الخفية من العمود الفقري).
• هدف التدريب: يتم تدريب النموذج لتقليل خسارة $L_2$ بين الكتلة النظيفة المتوقعة والكتلة النظية الحقيقية (تنبؤ $x_0$).
• الاستنتاج (Inference): تتم عملية التوليد عن طريق تهيئة كتلة بضجيج غاوسي ثم إزالة التشويش بشكل تكراري عبر $K$ من الخطوات. أخيراً، يقوم إسقاط الإشارة الصلب ($\text{sign}(\cdot)$) برسم المخرجات المستمرة مرة أخرى إلى الفضاء الزائد (hypercube) الثنائي، والذي يتم فك تشفيره لاحقاً إلى معرفات الرموز.

4. تفاصيل البنية

• العمود الفقري (Backbone): يتبع بنية Qwen-3 (ترانسفورمر سببي).
• رأس الانتشار (Diffusion Head): يتبع بنية BitDance (خفيفة الوزن، تستخدم التطبيع الطبقي التكيفي - Adaptive Layer Normalization - للاشتراط).
• التدريب: تم التدريب المسبق على FineWeb (350 مليار رمز) والضبط الدقيق على XSum.

المساهمات الرئيسية

1. صياغة الكود الثنائي: يقدم إطار عمل لنمذجة اللغة يستبدل التنبؤ بمستوى المفردات بإزالة التشويش في فضاء ثنائي مدمج، مما يعيد صياغة توليد الرموز كالتزام تكراري بدلاً من اختيار فئوي.
2. التوازي السببي للكتل الأصيل: يقترح بنية تمكن طبيعياً من التوليد المشترك لرموز متعددة داخل الكتل مع الحفاظ على الاعتمادات السببية عبر الكتل. وخلافاً لفك التشفير بالمضاربة، فإن هذا التوازي هو نتيجة أصيلة لواجهة التوليد، وليس مجرد حيلة فك تشفير لاحقة.
3. المنظور الهندسي: يعزز وجهة النظر القائلة بأن هندسة فضاء المخرات الرمزية (المخطط البسيط مقابل الفضاء الزائد الثنائي) تغير جذرياً نظام فك التشفير، مما يشير إلى أن "softmax" ذات المفردات الكبيرة ليست هي النهاية الوحيدة الممكنة لنمذجة اللغة.

النتائج التجريبية

قيم المؤلفون BitLM بأحجام نماذج تتراوح من 0.6 مليار إلى 8 مليارات معلمة.

• القابلية للتوسع (Scalability): تنخفض خسارة التدريب المسبق على FineWeb باستمرار مع زيادة حجم النموذج، مما يثبت أن واجهة الانتشار الثنائية تتوسع بفعالية.
• إعدادات الاستنتاج: تم تحقيق الأداء الأمثل في مهمة تلخيص XSum باستخدام 15 خطوة لإزالة التشويش ومقياس توجيه خالي من التصنيف (classifier-free guidance scale) قدره 9.0.
• أداء XSum:
  • بعد الضبط الدقيق، حقق نموذج BitLM بحجم 8 مليار معلمة مع رأس انتشار درجات ROUGE-1/2/L بلغت 26.05 / 6.44 / 20.12.
  • يتفوق هذا الأداء على خط الأساس Lead-3 وعلى نموذج BitLM المدرب مسبقاً، مما يشير إلى أن النموذج يتعلم خرائط تلخيص غير بديهية.
  • ومع ذلك، تظل هذه النتائج دون نماذج المؤشر والمولد (pointer-generator) القوية (مثل PTGEN+COV). وصف المؤلفون هذه النتائج بأنها "واعدة ولكن أولية"، مشيرين إلى أن الصياغة الثنائية لم يتم تحسينها بالكامل بعد للمهام التي تتطلب تحقيقاً معجمياً دقيقاً للغاية.

الأهمية والادعاءات

تدعي الورقة أن BitLM تثبت أن نموذج "الرمز الواحد في كل مرة" هو خيار واجهة وليس متطلباً أساسياً. ومن خلال فصل الاستدلال السببي (الذي يعالجه العمود الفقري لـ LLM) عن التحقيق الرمزي (الذي يعالجه رأس الانتشار)، يفتح BitLM بُعداً تصميمياً جديداً: هندسة فضاء المخرات الرمزية.

لا يدعي المؤلفون أن BitLM تتفوق حالياً على جميع النماذج القائمة على "softmax" في جميع المقاييس. بدلاً من ذلك، يجادلون بأن:

1. تغيير هندسة المخرات يتيح توليداً متوازياً أصيلاً دون التضحية بالبنية السببية.
2. واجهة الانتشار الثنائية هي بديل قابل للتطبيق لتوليد النصوص في المهام اللاحقة، كما يتضح من نجاح التدريب المسبق والضبط الدقيق.
3. يفتح هذا النهج آفاقاً لأبحاث مستقبلية في الأكواد الثنائية المتعلمة، وأحجام الكتل التكيفية، والبنى الهجينة التي تجمع بين كفاءة التوليد المتوازي وجودة نمذجة اللغة العالية.

يُقدم العمل كخطوة نحو معماريات الجيل القادم، مما يوحي بأن "softmax" ذات المفردات الكبيرة هي أثر تاريخي يمكن استبداله لفتح آفاق الكفاءة والقدرة التعبيرية.