🤖 machine learning

BPDQ: Bit-Plane Decomposition Quantization on a Variable Grid for Large Language Models

تقترح الورقة البحثية طريقة "تكميم تفكيك مستويات البت" (BPDQ)، وهي طريقة مبتكرة تستخدم شبكات تكميم متغيرة وتحسينًا من الدرجة الثانية لتحسين دقة النماذج اللغوية الكبيرة بشكل كبير عند عرض نطاق بتات منخفض للغاية (2-3 بت)، مما يتيح النشر الفعال لنموذج بحجم 72 مليار معلمة على وحدة معالجة رسومات استهلاكية واحدة.

المؤلفون الأصليون: Junyu Chen, Jungang Li, Jing Xiong, Wenjie Wang, Qingyao Yang, He Xiao, Zhen Li, Taiqiang Wu, Mengzhao Chen, Zhen Peng, Chaofan Tao, Long Shi, Hongxia Yang, Ngai Wong

نُشر 2026-05-18

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Junyu Chen, Jungang Li, Jing Xiong, Wenjie Wang, Qingyao Yang, He Xiao, Zhen Li, Taiqiang Wu, Mengzhao Chen, Zhen Peng, Chaofan Tao, Long Shi, Hongxia Yang, Ngai Wong

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مكتبة ضخمة من المعرفة، شديدة التفصيل، تريد حملها في جيبك (نموذج لغوي كبير). المشكلة هي أن المكتبة ثقيلة وضخمة للغاية لدرجة أنها لن تتسع في حقيبة ظهرك، وهاتفك لا يستطيع قراءة الكتب بالسرعة الكافية.

لحل هذه المشكلة، يستخدم العلماء عملية الكمية (Quantization). فكر في الأمر كترجمة كتب المكتبة المعقدة وعالية الدقة إلى نسخة مبسطة ومنخفضة الدقة لتشغل مساحة أقل. عادةً، يحاولون تقليص الكتب إلى 4 بت (مثل تحويل فيلم بدقة 4K إلى قرص DVD قياسي). هذا يعمل بشكل جيد. ولكن عندما يحاولون تقليصها أكثر حتى تصل إلى 2 بت (مثل تحويل ذلك الفيلم إلى صورة GIF صغيرة وباهتة)، تنهار القصة؛ حيث يضيع المعنى وتصبح المكتبة عديمة الفائدة.

المشكلة: فخ "قطاعة العجين"

يوضح البحث أن الطرق الحالية لتقليص هذه النماذج إلى 2 بت تستخدم شبكة ثابتة (Fixed Grid).

تخيل أنك تحاول تعبئة مجموعة من الصخور غريبة الشكل (بيانات النموذج) داخل صندوق.

الطريقة القديمة (الشبكة الثابتة): لديك قطاعة عجين صلبة. بغض النظر عن شكل الصخرة، فأنت تجبرها على التناسب مع واحدة من أربع فتحات معدة مسبقاً: 0، أو 1، أو 2، أو 3. إذا كانت الصخرة تحتاج أن تكون "2.5" لتناسب المكان تماماً، فإن الطريقة القديمة تجبرها أن تكون "2" أو "3"، مما يخلق فجوة أو صدعاً. ولأن شكل "قطاعة العجين" هو نفسه لكل مجموعة من الصخور، يفقد النموذج الكثير من التفاصيل عندما تصبح هذه الـ "بتات" صغيرة جداً.

الحل: BPDQ (نهج "القالب المخصص")

يقترح المؤلفون طريقة جديدة تسمى كمية تفكيك مستويات البت (Bit-Plane Decomposition Quantization - BPDQ).

بدلاً من استخدام قطاعة عجين واحدة صلبة للجميع، تقوم BPDQ ببناء قالب مخصص لكل مجموعة من الصخور.

كيف تعمل: تقوم بتفكيك البيانات إلى "مستويات بت" (مثل طبقات الكعكة) وتستخدم معاملات مرنة (مقابض قابلة للضبط) لتشكيل القالب.
النتيجة: بدلاً من أن تُجبر على القيم الصارمة 0، أو 1، أو 2، أو 3، يمكن للبيانات الآن أن تتناسب مع مجموعة مرنة من القيم مثل 0، أو 1.2، أو 3.5، أو 4.1، اعتماداً على ما تحتاجه تلك المجموعة المحددة من الصخور.

يسمي البحث هذه الطريقة "الشبكة المتغيرة" (Variable Grid). فهي تكسر القاعدة التي تنص على أن جميع المجموعات يجب أن تبدو كنسخة مكبرة من نفس القالب. وهذا يمنح النموذج قدر أكبر بكثير من الحرية لإيجاد الملاءمة المثالية، مما يقلل من "الصدوع" (الأخطاء) في البيانات.

سحر "الرتبة الثانية"

للتأكد من أن هذه القوالب المخصصة مثالية، تستخدم الطريقة ما يسمى الهندسة المستحثة من الهيسيان (Hessian-induced geometry).

التشبيه: تخيل أنك تحاول موازنة كومة من الأطباق. الطريقة البسيطة تنظر فقط إلى الأطباق وتخمن أين تضعها. أما BPDQ، فتستخدم "توازناً ذكياً" يفهم وزن واهتزاز الكومة بأكملها. هي لا تكتفي بإصلاح طبق واحد فحسب، بل تعدل الكومة بأكملها لضمان أن إصلاح جزء واحد لن يؤدي إلى سقوط جزء آخر. هذه المعلومات من "الرتبة الثانية" تسمح للنموذج بتصحيح أخطائه أثناء تقليص البيانات.

النتائج: احتواء العملاق في هاتف صغير

اختبر المؤلفون هذه الطريقة على نموذج ضخم يسمى Qwen2.5-72B (الذي يتطلب عادةً حاسوباً فائق القدرة لتشغيله).

الإنجاز: باستخدام BPDQ، تمكنوا من تقليص هذا النموذج العملاق إلى 2 بت وتشغيله على بطاقة رسوميات واحدة للمستهلكين (RTX 3090، التي قد تجدها في جهاز كمبيوتر للألعاب عالي الأداء).
الأداء: حتى عند هذا الضغط الشديد، حافظ النموذج على 83.85% من ذكائه الأصلي في المسائل الرياضية (GSM8K).
المقارنة: فشلت الطرق الأخرى عند 2 بت فشلاً ذريعاً، حيث انخفضت دقتها إلى ما يقرب من 0% في نفس المسائل الرياضية. كان الأمر أشبه بمحاولة قراءة كتاب مكتوب بلغة لا تعرفها، بينما حافظت BPDQ على بقاء اللغة مقروءة.

لماذا يهم هذا؟

يزعم البحث أن السبب الرئيسي لفشل الطرق السابقة عند 2 بت لم يكن خطأً في الرياضيات، بل لأن "قطاعة العجين" (الشبكة الثابتة) كانت صلبة للغاية. من خلال الانتقال إلى شبكة متغيرة تتكيف مع البيانات، تفتح BPDQ القدرة على تشغيل نماذج ذكاء اصطناعي ضخمة وذكية على أجهزة أصغر وأرخص بكثير دون فقدان "القدرة الذهنية" اللازمة للمهام المعقدة مثل الرياضيات أو الاستنتاج.

باخت-القول: تتوقف BPDQ عن محاولة إدخال أوتاد مربعة في ثقوب مستديرة عبر جعل الثقوب مرنة، مما يسمح لنماذج الذكاء الاصطناعي العملاقة بالاستقرار في مساحات صغيرة جداً.

ملخص تقني: تكميم تفكيك مستويات البت على شبكة متغيرة للنماذج اللغوية الكبيرة

بيان المشكلة

غالباً ما يكون استنتاج النماذج اللغوية الكبيرة (LLM) مقيداً بحجم الذاكرة وعرض النطاق الترددي، لا سيما في البيئات محدودة الموارد. وبينما يحافظ التكميم بعد التدريب (PTQ) بفعالية على الدقة العالية عند دقة 4 بت، إلا أن الأداء يتدهور بشكل كبير عند الدفع نحو 2-3 بت. تعتمد طرق PTQ القائمة على التحسين، مثل GPTQ، على تقليل التفاوت في المخرجات (على سبيل المثال، $\|WX - \hat{W}X\|_F$ ) تحت هندسة مستحثة بواسطة مصفوفة هسيان (Hessian). ومع ذلك، فإن هذه الطرق تفرض شبكة تكميم ثابتة الشكل (مثل الفترات المنتظمة الثابتة مثل UINT2 أو قوالب غير منتظمة ثابتة) لكل مجموعة أوزان.

يحدد المؤلفون أن ثبات الشكل هذا هو العائق الأساسي في الأنظمة ذات البتات المنخفضة. فالشبكة الثابتة تقيد مجموعة الحلول الممكنة لمستويات التكميم لتكون نسخة مُدرجة من قالب واحد (على سبيل المثال، $s \cdot \{0, 1, 2, 3\}$ ). هذا الجمود يمنع المُحسِّن من إيجاد أقرب نقطة إسقاط في الهندسة المستحثة بواسطة هسيان عندما لا يتوافق توزيع الأوزان مع التباعد النسبي للقالب الثابت، مما يؤدي إلى فقدان تمثيلي شديد وانهيار النموذج عند دقة 2 بت.

المنهجية: تكميم تفكيك مستويات البت (BPDQ)

لمعالجة جمود الشبكات الثابتة، يقترح البحث تكميم تفكيك مستويات البت (BPDQ). يقوم BPDQ ببناء شبكة تكميم متغيرة لكل مجموعة، مما يوسع نظرياً مجموعة الحلول الممكنة لتقليل الخطأ.

1. صياغة الشبكة المتغيرة

بدلاً من القالب الثابت، يمثل BPDQ الأوزان المكممة $\hat{W}$ باستخدام مستويات البت ومعاملات قياسية:
$\hat{W} = \text{REP}(C_0) + \sum_{i=1}^{k} \text{REP}(C_i) \odot B_i$
حيث:

$B_i \in \{0, 1\}^{d_{out} \times d_{in}}$ هي أكثر $k$ مستويات بت (bit-planes) أهمية المستمدة من الأوزان الأصلية.
$C_i$ هي معاملات قياسية لكل مجموعة (بما في ذلك الانحياز $C_0$ ).
$\text{REP}(\cdot)$ تقوم بتوسيع المعاملات عبر بُعد المدخلات.
$\odot$ ترمز للضرب العنصري.

تسمح هذه الصياغة بتغيير التباعد النسبي لمستويات التكميم عبر المجموعات بناءً على المعاملات المتعلمة $C_i$ ، مما يكسر قيد ثبات الشكل.

2. إطار التحسين

يعمل BPDQ ضمن الهندسة المستحثة بواسطة هسيان لضمان التوافق مع هدف إعادة بناء المخرجات. تتضمن العملية ما يلي:

التهيئة: يتم اختيار مستويات البت عبر تفكيك مستويات البت (BPD) للأوزان (الاحتفاظ بأكثر $k$ مستويات أهمية). يتم ضبط المعاملات القياسية باستخدام حل المربعات الصغرى الموزونة مغلق الصيغة تحت مقياس هسيان المحلي.
التحسين التكراري: تقوم الخوارزمية بالتناوب بين:
1. تحديث مستويات البت: بالنسبة للمعاملات الثابتة، يتم تحديث مستويات البت عموداً بعمود عبر التعداد الدقيق لتقليل خطأ إعادة البناء المحلي.
2. إعادة ضبط المعاملات: مع تحديث مستويات البت، يتم إعادة تحسين المعاملات القياسية عبر طريقة المربعات الصغرى مغلقة الصيغة.
تصحيح الفرق (Delta Correction): للحفاظ على الاتساق مع حالة انتشار الخطأ (وهو أمر بالغ الأهمية للتكميم المتسلسل)، يتم تطبيق تصحيح الفرق بعد إعادة ضبط المعاملات. يعمل هذا على تعديل أخطاء الانتشار المتراكمة لمراعاة التغيير في كتلة الوزن المكممة، مما يضمن التزام جميع التكرارات بنفس هدف التحسين.

المساهمات الرئيسية

الرؤية: يحدد البحث أن ثبات الشكل في شبكات التكميم الثابتة هو القيد الرئيسي الذي يحد من PTQ القائم على التحسين في الأنظمة ذات البتات المنخفضة. وقد أثبت أن الفشل عند 2 بت ليس بسبب هدف التحسين نفسه، بل بسبب جمود مجموعة الحلول الممكنة.
المنهجية: يوسع BPDQ نطاق PTQ القائم على التحسين ليشمل الشبكات المتغيرة. من خلال تفكيك الأوزان إلى مستويات بت وتوفيق معاملات قياسية مستقلة لكل مجموعة، فإنه يوسع مجموعة الحلول الممكنة من منحنى أحادي البعد (قالب مُدرج) إلى هندسة متعددة الأبعاد. يثبت التحليل النظري أن BPDQ يحتوي بشكل صارم على مجموعة الحلول الممكنة للشبكات المنتظمة القياسية ويمكنه تحقيق خطأ تكميم أقل تماماً لمتجهات أوزان معينة.
الأداء: تظهر التجارب المكثفة أن BPDQ يحقق دقة عالية في أنظمة 2-بت و3-بت حيث تعاني الطرق المتطورة (مثل GPTQ وAWQ) من تدهور كارثي.

النتائج التجريبية

قام المؤلفون بتقييم BPDQ على عائلة نماذج Qwen-3/2.5 (0.6B–72B) وMinistral-3 (3B, 8B) عبر اختبارات نمذجة اللغة، والاستدلال، والسياق الطويل.

نظام 2-بت: في نموذج Qwen2.5-72B، يعاني GPTQ وAWQ عند 2 بت من انخفاض حاد في الأداء (على سبيل المثال، تنخفض دقة GSM8K إلى أقل من 41% أو 0%). في المقابل، يحافظ BPDQ على دقة عالية، محققاً دقة 83.85% في GSM8K (مقارنة بـ 90.83% عند 16 بت) باستخدام بطاقة RTX 3090 واحدة (22.69 جيجابايت من ذاكرة الفيديو VRAM).
مهام الاستدلال: يتفوق BPDQ بشكل كبير على GPTQ وAWQ في اختبارات الاستدلال (GSM8K, MATH500) عند 2 و3 بت. على سبيل المثال، في Qwen2.5-72B (W2-G64)، يحقق BPDQ نسبة 87.72% في GSM8K، بينما يحقق GPTQ 63.46% فقط.
كفاءة النظام: بينما يتطلب BPDQ حوالي 3 أضعاف وقت التكميم الخاص بـ GPTQ بسبب التحسين التكراري، إلا أنه أسرع بكثير من طرق التكميم الشعاعي (Vector Quantization) مثل VPTQ (التي تسبب عبئاً قدره ~40 ضعفاً). أما بالنسبة للاستنتاج، فيستخدم BPDQ نواة جدول بحث (LUT) لمستويات البت، مما يسمح بفك تشفير منخفض الكمون يضاهي أو يتفوق على GPTQ في أنظمة 2/3 بت.
الحفاظ على القيم المتطرفة: يؤكد تحليل التنشيط أن BPDQ يحافظ بطبيعته على القيم المتطرفة الحرجة (الميزات ذات شدة التنشيط العالية) التي غالباً ما يتم كبتها بواسطة طرق الشبكة الثابتة، وهو ما يرتبط بالتحسن الملحوظ في الأداء.

الأهمية والادعاءات

يزعم البحث أن BPDQ يقدم اتجاهاً واعداً لـ الضغط الشديد للنماذج من خلال تخفيف جمود شبكات التكميم مع الحفاظ على تنسيق صديق للأجهزة. ومن خلال توسيع مجموعة الحلول الممكنة نظرياً، يُمكّن BPDQ من نشر نماذج ضخمة (مثل 72 مليار معلمة) على أجهزة استهلاكية مع حد أدنى من فقدان الدقة. ويضع المؤلفون BPDQ كحل صارم يربط عملية التكميم بهدف التحسين المستحث بواسطة هسيان، متجاوزين قيود النهجيات السابقة ذات الشكل الثابت دون تكبد التكاليف الباهظة للتكميم الشعاعي أو أعباء التدريب الخاصة بـ (Quantization-Aware Training - QAT).

ويشير العمل إلى أن التطبيقات المستقبلية للأجهزة (FPGA/ASIC) يمكن أن تستفيد من الطبيعة الثنائية لمستويات البت، كما أن الأساس الموحد لـ BPDQ يدعم طبيعياً تقديم خدمات بدقة مختلطة دون الحاجة إلى أنواع بيانات متنوعة للأجهزة.