💬 NLP

MoBiQuant: Mixture-of-Bits Quantization for Token-Adaptive Elastic LLMs

تقدم هذه الورقة MoBiQuant، وهو إطار عمل جديد للكمّ من نوع "خليط البتات" (Mixture-of-Bits) يعالج تحديات النشر المرن للنماذج اللغوية الكبيرة (LLMs) عبر ضبط دقة الأوزان ديناميكيًا بناءً على الحساسية على مستوى الرمز (token-level sensitivity) وموجه مدرك للرموز (token-aware router)، مما يتيح تبديل الدقة بسلاسة أثناء وقت التشغيل دون الحاجة إلى معايرة متكررة مع مطابقة أداء الكمّ بعد التدريب الخاص بكل دقة بت محددة.

المؤلفون الأصليون: Dongwei Wang, Jinhee Kim, Seokho Han, Denis Gudovskiy, Yohei Nakata, Tomoyuki Okuno, KhayTze Peong, Kang Eun Jeon, Jong Hwan Ko, Yiran Chen, Huanrui Yang

نُشر 2026-02-25

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Dongwei Wang, Jinhee Kim, Seokho Han, Denis Gudovskiy, Yohei Nakata, Tomoyuki Okuno, KhayTze Peong, Kang Eun Jeon, Jong Hwan Ko, Yiran Chen, Huanrui Yang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مكتبة ضخمة وذكية للغاية (نموذج لغوي كبير، أو LLM) يمكنها الإجابة على أي سؤال، أو كتابة كود برمجي، أو سرد القصص. لكن هناك عقبة: هذه المكتبة ضخمة جدًا لدرجة أنها تشغل مستودعًا بأكمله لتخزينها، وقراءة كتاب واحد تتطلب شاحنة ضخمة ومكلفة لتوصيله.

تخيل الآن أنك تريد أخذ هذه المكتبة معك. أحيانًا تكون في مكتب كبير مع شاحنة قوية (خادم سحابي). وأحيانًا أخرى تكون في حافلة صغيرة (هاتف أو كمبيوتر محمول) بمساحة ووقود محدودين.

المشكلة: البدلة "التي تناسب الجميع"
في الوقت الحالي، لجعل هذه المكتبات الضخمة تتناسب مع الأجهزة الأصغر، نستخدم تقنية تسمى التكميم (Quantization). فكر في هذا كعملية تصغير للكتب. بدلًا من طباعة كل كلمة بدقة عالية (32-bit floating point)، نقوم بطباعتها باللون الأبيض والأسود، أو حتى برسومات بسيطة (3-bit أو 4-bit integers). هذا يجعل الكتب صغيرة وسهلة الحمل.

ومع ذلك، هناك عيب رئيسي في الطريقة التي نتبعها اليوم:

البدلة الصلبة: إذا صغرت المكتبة لتناسب بدلة "4-bit"، فستكون مثالية. ولكن إذا احتجت فجأة إلى التبديل إلى بدلة "3-bit" لأن حافلتك أصبحت أصغر، فإن البدلة "4-bit" لن تتقلص فحسب؛ بل ستنهار. ستصبح الكلمات مشوهة، ويضيع المعنى.
مشكلة "القيم المتطرفة" (Outliers): في هذه المكتبات الضخمة، هناك بعض الكلمات النادرة والمهمة (مثل "quantum" أو "neutrino"). عندما نصغر الكتب، غالبًا ما تتعرض هذه الكلمات النادرة للتشويه بشكل أكبر. اكتشفت الورقة البحثية شيئًا مفاجئًا: مدى تشوه الكلمات يعتمد كليًا على مدى تصغيرك للكتاب. الكلمة التي قد تبدو جيدة في كتاب "4-bit" قد تصبح فوضى في كتاب "3-bit"، بينما الكلمة التي كانت جيدة في "3-bit" قد تتعطل في "4-bit". وهذا ما يسمى بـ "هجرة القيم المتطرفة" (Outlier Migration).

بسبب هذا، يتعين عليك عادةً إعادة تدريب أو إعادة معايرة المكتبة في كل مرة تريد فيها تغيير حجم البدلة. لا يمكنك التبديل بين الأحجام أثناء التشغيل.

الحل: MoBiQuant (خزانة الملابس "المتنوعة")
ابتكر مؤلفو هذه الورقة البحثية، MoBiQuant، طريقة جديدة ومذهلة لتعبئة هذه المكتبات. بدلًا من إجبار المكتبة بأكملها على الحجم في مقاس واحد، أنشأوا نظام "مزيج من البتات" (Mixture-of-Bits).

إليك كيف يعمل، باستخدام تشبيه بسيط:

1. أوزان "دمى الماتريوشكا" (MoBiSlice)

تخيل أن كل وزن في الذكاء الاصطناعي ليس مجرد رقم واحد، بل هو مجموعة من دمى الماتريوشكا (الدمى الروسية المتداخلة).

الدمية الأكبر هي القاعدة (Base) (الجزء الأكثر أهمًا، مثل الفكرة الرئيسية للجملة).
داخلها توجد دمية المتبقي (Residual) (تفصيل إضافي صغير).
داخل تلك، توجد دمية متبقي أخرى (تفصيل أدق).

في الطريقة القديمة، كان عليك رمي الدمى الداخلية لجعل الكتاب أصغر. في MoBiQuant، أنت تحتفظ بجميع الدمى في نفس الصندوق.

إذا كان لديك شاحنة كبيرة (قدرة عالية)، تفتح الصندوق وتستخدم جميع الدمى (دقة عالية).
إذا كان لديك حقيبة ظهر صغيرة (قدرة منخفضة)، تأخذ فقط الدمى العلوية وتترك الباقي خلفك (دقة منخفضة).
السحر: نظرًا لأن الدمى متداخلة بشكل مثالي، يمكنك التبديل بين 2 أو 3 أو 4 أو 6 بت فورًا دون أن تنهار المكتبة. لا حاجة لإعادة المعايرة!

2. "الأمين الذكي للمكتبة" (MoBiRoute)

الآن، إليك الجزء العبقري حقًا. أدركت الورقة البحثية أن ليست كل الكلمات في الجملة تحتاج إلى نفس القدر من التفاصيل.

الكلمات الشائعة مثل "the" أو "is" أو "and" بسيطة، ولا تحتاج إلى الدمى الداخلية. هي تكتفي بالقاعدة فقط.
الكلمات النادرة والمعقدة مثل "photosynthesis" أو "algorithm" صعبة، وهي تحتاج إلى جميع الدمى الداخلية ليتم فهمها بشكل صحيح.

يقدم MoBiQuant أمين مكتبة ذكيًا (موجه/Router) ينظر إلى كل كلمة (Token) أثناء معالجتها.

يسأل أمين المكتبة: "هل هذه الكلمة صعبة؟"
إذا كانت الإجابة نعم: "افتح الصندوق واستخدم 4 أو 6 بت لهذه الكلمة!"
إذا كانت الإجابة لا: "استخدم فقط الطبقة الأساسية (2 بت) لهذه الكلمة."

يحدث هذا ديناميكيًا لكل كلمة في الجملة. بعض الكلمات تحصل على "معاملة كبار الشخصيات" (VIP treatment) (دقة عالية)، بينما تحصل كلمات أخرى على "معاملة الاقتصاد" (low precision). تظل الدقة المتوسطة منخفضة بما يكفي لتناسب هاتفك، لكن الأجزاء المهمة تظل حادة وواضحة.

لماذا يعد هذا تغييرًا لقواعد اللعبة؟

المرونة (Elasticity): يمكنك تشغيل نفس نموذج الذكاء الاصطناعي على كمبيوتر خارق اليوم وعلى ساعة ذكية غدًا. النموذج ببساطة "يقلص" نفسه أثناء التشغيل عبر تحديد عدد الدمى التي سيفتحها لكل كلمة.
لا إعادة تدريب: لست بحاجة لإعادة تعليم الذكاء الاصطناك كيفية التحدث في كل مرة تغير فيها الجهاز. إنه يتكيف فورًا.
السرعة: نظرًا لأن النظام مصمم لجلب "الدمى" التي يحتاجها بالفعل فقط، فإنه يعمل بشكل أسرع ويستهلك ذاكرة أقل. أظهر المؤلفون أنه يمكن أن يكون أسرع بمقدار 2.7 مرة على وحدات معالجة الرسومات (GPUs) الحديثة.

الخلا الخلاصة

MoBiQuant يشبه منح مكتبة ضخمة وثقيلة خزانة ملابس سحرية. بدلًا من الاضطرار لشراء مكتبة أصغر لكل سيارة تقودها، أنت فقط تجهز الملابس المناسبة للرحلة. إذا كان الطريق وعرًا (طاقة منخفضة)، فستحمل أمتعة خفيفة. وإذا كان الطريق سلسًا (طاقة عالية)، فستحمل الزي الكامل. والأفضل من ذلك؟ الملابس مصممة بحيث تتناسب مع بعضها البعض تمامًا مهما كان العدد الذي تأخذه.

هذا يجعل الذكاء الاصطناعي القوي متاحًا للجميع، في كل مكان، بغضًا عن قيود أجهزتهم.

إليك ملخص تقني مفصل لورقة البحث بعنوان "MoBiQuant: Mixture-of-Bits Quantization for Token-Adaptive Elastic LLMs".

1. بيان المشكلة

تواجه النماذج اللغوية الكبيرة (LLMs) تحديات كبيرة في النشر على الأجهزة السحابية وأجهزة الحافة (edge devices) بسبب بصمتها الذاكرية الضخمة والمتطلبات الحسابية العالية. وبينما يعد تكميم ما بعد التدريب (Post-Training Quantization - PTQ) حلاً قياسياً لضغط النماذج، تعاني الأساليب الحالية من قصورين حرجين:

الجمود الاستاتيكي (Static Rigidity): معظم أساليب PTQ تعمل على تحسين النموذج لعرض بت (bit-width) واحد وثابت (مثل 4 بت). وهي تفتقر إلى "المرونة"، مما يعني أنها لا تستطيع التبديل بسلاسة بين دقات مختلفة أثناء التشغيل للتكيف مع موارد متغيرة (مثل مستويات البطارية أو أحمال الطلبات) دون إعادة تحميل نسخ مختلفة من النموذج.
هجرة القيم المتطرفة وضعف التعميم (Outlier Migration & Poor Generalization): غالباً ما تفشل أساليب "أي دقة" (any-precision) الحالية عندما تختلف دقة الاستدلال عن دقة المعايرة. حدد المؤلفون ظاهرة تسمى "هجرة القيم المتطرفة" (Outlier Migration): حيث تتغير مجموعة الرموز (tokens) التي تسبب أخطاء تكميم عالية بناءً على عرض البتات. فالرمز الذي يعتبر قيمة متطرفة عند 4 بت قد يتم التعامل معه جيداً عند 3 بت، بينما الرمز العادي عند 4 بت قد يصبح قيمة متطرفة عند 3 بت. معاملات المعايرة الاستاتيكية تفرط في الملاءمة (overfit) لتوزيع القيم المتطرفة الخاص بدقة معينة، مما يؤدي إلى تدهور حاد في الأداء عند التبديل بين الدقات.

2. المنهجية: MoBiQuant

يقترح المؤلفون MoBiQuant، وهو إطار عمل مبتكر يتيح الاستدلال المرن المتكيف مع الرموز (token-adaptive elastic inference). بدلاً من تخصيص عرض بت عالمي للنموذج بأكل، يقوم MoBiQuant بضبط الدقة ديناميكياً لكل رمز (token) على حد الله بناءً على حساسيتة للتكميم.

يتكون إطار العمل من مكونين أساسيين:

أ. MoBiSlice: التكميم المتبقي التكراري المتعدد في واحد (Many-in-One Recursive Residual Quantization)

لدعم دقات متعددة دون تكرار في الذاكرة، يقوم MoBiQuant بتفكيك الأوزان إلى هيكل هرمي:

التفكيك التكراري (Recursive Decomposition): يتم تقسيم الأوزان إلى شريحة بتات الأكثر أهمية (MSB) الأساسية، وشرائح بتات متبقية (residual bit slices) متتالية.
العملية: تقوم الشريحة الأولى ( $W_1$ ) بتكميم الوزن الأصلي. ثم تقوم الشرائح اللاحقة ( $W_2, W_3, \dots$ ) بتكميم البواقي ( $R_e = R_{e-1} - W_{e-1}$ ) بشكل تكراري.
المرونة (Elasticity): يتم إعادة بناء الوزن عند أي دقة مستهدفة $b$ عن طريق جمع عدد محدد من هذه الشرائح. على سبيل المثال، وزن 6 بت هو مجموع شريحة 2 بت الأساسية بالإضافة إلى شريحتين متبقيتين من فئة 2 بت. هذا يسمح لنسخة واحدة من النموذج بدعم 2 بت، 4 بت، 6 بت، إلخ، دون الحاجة لتخزين نماذج منفصلة.

ب. MoBiRoute: التوجيه المدرك للرموز (Token-Aware Routing)

يقوم موجه (router) خفيف الوزن وقابل للتعلم بتحديد عدد شرائح البتات المتبقية التي يجب تفعيلها لكل رمز:

آلية التوجيه: يأخذ الموجه تضمينات الرموز (token embeddings) كمدخلات ويخرج مصفوفة درجات تشير إلى الثقة في أن الرمز يتطلب شرائح بت محددة.
البوابة القابلة للتفاضل (Differentiable Gating): أثناء التدريب، تسمح دالة "سيجمويد" (sigmoid) ذات درجة حرارة متدرجة باتخاذ قرارات ناعمة. وعند الاستدلال، تتحول هذه العملية إلى قناع ثنائي (binary mask).
الضبط الديناميكي: يستخدم النظام عتبة قابلة للضبط ( $\delta$ ) على درجات الموجه. من خلال زيادة $\delta$ ، يتم تفعيل عدد أقل من الشرائح (دقة أقل)؛ ومن خلال تقليل $\delta$ ، يتم تفعيل المزيد من الشرائح (دقة أعلى). هذا يسمح للنموذج بالوفاء بميزانية متوسط عرض البت المستهدف ديناميكياً.
هدف التدريب: يتم تدريب الموجه باستخدام حد تنظيم مدرك للميزانية (budget-aware regularization) يجبره على استكشاف تركيبات الدقة المختلفة أثناء التدريب، مما يضمن تعلمه للتعميم عبر مختلف عروض البت المستهدفة بدلاً من الإفراط في الملاءمة لدقة واحدة.

3. المساهمات الرئيسية

تحديد هجرة القيم المتطرفة: أثبتت الورقة تجريبياً أن حساسية الرمز تعتمد على الدقة، مما يفسر سبب فشل المعايرة الاستاتيكية أثناء التبديل المرن.
بنية MoBiSlice: نظام تكميم تكراري "متعدد في واحد" يتيح إعادة بناء سلسة للأوزان ذات الدقة الأعلى من القواعد ذات الدقة الأقل، مما يلغي الهدر في الذاكرة أثناء تبديل الدقة.
التوجيه المتكيف مع الرموز: موجه مبتكر يخصص ديناميكياً عروض البت لكل رمز، مما يخفف من هجرة القيم المتطرفة عبر معالجة الرموز الحساسة بدقة أعلى والرموز القوية بدقة أقل.
تنفيذ نواة متخصصة (Specialized Kernel Implementation): صمم المؤلفون نوى CUDA مخصصة تتميز بـ التعبئة حسب ترتيب البتات (bit-major packing) والضرب المصفوفي الثنائي (BMMA). وهذا يتجنب عملية جلب الذاكرة بنظام "الكل أو لا شيء" للنوى القياسية، مما يتيح تسريعاً تناسبياً بناءً على عرض البت الفعلي المستخدم.

4. النتائج التجريبية

قيم المؤلفون MoBiQuant على نماذج LLaMA المختلفة (LLaMA-2-7B/13B, LLaMA-3-8B, LLaMA-3.2-1B/3B) باستخدام مجموعة بيانات WikiText2 ومهام الاستدلال المنطقي الشائع (zero-shot commonsense reasoning).

المرونة والتعميم: يتفوق MoBiQuant بشكل كبير على أساليب PTQ الحالية (مثل OmniQuant وGPTQ وAWQ) عند التبديل بين عروض البت غير المرئية. على سبيل المثال، يمكن لنموذج تمت معايرته عند 3 بت أن يستنتج عند 4 بت مع حد أدنى من الزيادة في الارتياب (perplexity)، بينما تعاني الأساليب الاستاتيكية من تدهور كبير.
تساوي الأداء: يضاهي MoBiQuant أو يتجاوز أداء أساليب PTQ الاستاتيكية الحديثة التي تمت معايرتها خصيصاً لـ 4 بت، حتى أثناء عمله في نطاق مرن يتراوح بين 3.0 و4.0 بت.
تخفيف القيم المتطرفة: تظهر التصورات أن MoBiQuant يقلل بشكل كبير من ظاهرة "هجرة القيم المتطرفة"، مما يؤدي إلى توزيع أخطاء ثابت عبر مختلف عروض البت.
الكفاءة: على وحدات معالجة الرسوميات NVIDIA A100، تحقق تنفيذات النواة المخصصة تسريعاً يصل إلى 2.7 ضعفاً مقارنة بأساس FP16، مع تدرج زمن الوصول خطياً مع طول التسلسل.

5. الأهمية

يمثل MoBiQuant تحولاً جذرياً في نشر النماذج اللغوية الكبيرة:

المرونة الحقيقية: إنه يتجاوز التبديل الخشن للدقة على مستوى الطبقة أو النموذج بأكل إلى التكيف الدقيق على مستوى الرمز، مما يسمح للأنظمة بالمقايضة بين الدقة والسرعة ديناميكياً دون إعادة تحميل النماذج.
النشر العملي: من خلال حل فجوة التعميم في الاستدلال متعدد الدقات، فإنه يمكّن النماذج اللغوية الكبيرة من العمل بكفاءة على أجهزة الحافة ذات الموارد المتذبذبة مع الحفاظ على دقة عالية.
كفاءة الأجهزة: يضمن تصميم النواة المتخصصة تحقيق الفوائد النظرية للدقة المختلطة في أداء الأجهزة الفعلي، والتغلب على اختناقات عرض نطاق الذاكرة المرتبطة بأنماط الوصول غير المنتظمة.

باختاً، يوفر MoBiQuant حلاً قوياً وفعالاً ومرناً لنشر النماذج اللغوية الكبيرة في البيئات الديناميكية، مما يسد بفعالية الفجوة بين المرونة النظرية لتكميم الدقة المختلطة وقيود النشر العملي.