💬 NLP

NeUQI: Near-Optimal Uniform Quantization Parameter Initialization for Low-Bit LLMs

تقترح الورقة البحثية NeUQI، وهي طريقة تعمل على تحسين التكميم الموحد منخفض البت للنماذج اللغوية الكبيرة من خلال اشتقاق معاملات تهيئة شبه مثالية عبر عملية تحسين مبسطة تعتمد على المقياس فقط، مما يؤدي إلى التفوق على التقنيات الحالية وحتى أساليب التقطير كثيفة الاستهلاك للموارد.

المؤلفون الأصليون: Li Lin, Xinyu Hu, Xiaojun Wan

نُشر 2026-06-01

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Li Lin, Xinyu Hu, Xiaojun Wan

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مكتبة ضخمة وشديدة التفصيل من المعرفة (نموذج لغوي كبير، أو LLM). هذه المكتبة كبيرة جدًا لدرجة أنها تتطلب مستودعًا عملاقًا ومكلفًا (خادم عالي الأداء) لتخزينها، وفريقًا من العمال الأقوياء (وحدات معالجة رسومية قوية) لقراءتها. ومع ذلك، فإن معظم الناس يريدون فقط حمل بضعة كتب مفضلة في حقيبة ظهرهم (كمبيوتر محمول أو هاتف) لقراءتها أثناء التنقل.

المشكلة هي أن الكتب مكتوبة بلغة ثقيلة ومعقدة للغاية (أرقام عالية الدقة مثل bfloat16). لكي تتمكن من وضعها في حقيبة الظهر، تحتاج إلى ترجمتها إلى لغة أبسط وأخف (أعداد صحيحة منخفضة البت مثل 2 بت أو 3 بت). تسمى هذه العملية التكميم (Quantization).

الطريقة القديمة: طريقة "المسطرة والمسطرة"

لفترة طويلة، كانت الطريقة القياسية لترجمة هذه الكتب هي استخدام طريقة تسمى Min-Max (الحد الأدنى والحد الأقصى).

فكر في "Min-Max" كاستخدام مسطرة صلبة لقياس غرفة. تنظر إلى أقصر نقطة في الغرفة وأطول نقطة، وتقول: "حسنًا، يجب أن تمتد مسطرتنا بالضبط من أقصر جدار إلى أطول جدار".

العيب: هذا النهج صلب للغاية. فهو يجبر المسطرة على أن تتحدد فقط من خلال القيم المتطرفة (أقصر وأطول النقاط). إذا كان في الغرفة نتوء غريب أو فجوة صغيرة عند الحافة، فستتشوه مسطرتك لتستوعبها، مما يترك بقية الغرفة مقاسة بشكل سيئ.
القيد: علاوة على ذلك، أصرت هذه الطريقة القديمة على أن "نقطة الصفر" (حيث تبدأ مسطرتك في العد) يجب أن تكون عددًا صحيحًا، مثل 1 أو 2 أو 3. لم يكن بإمكانها أن تكون 2.5. كان هذا يشبه القول بأنه لا يمكنك القياس إلا بالبوصات الكاملة، وليس بنصف البوصة أبدًا، مما يحد من دفتك.

الطريقة الجديدة: NeUQI

أدرك مؤلفو هذه الورقة البحثية، لي لين وزملاؤه، أن مسطرة "Min-Max" الصلبة هذه كانت تعيقنا، خاصة عند محاولة تقليص حجم المكتبة إلى حجم صغير جدًا مثل 2 بت أو 3 بت. لقد اقترحوا طريقة جديدة تسمى NeUQI (تهيئة بارامترات التكميم الموحد القريبة من المثالية).

إليك كيف يعمل NeUQI، باستخدام تشبيه إبداعي:

1. "شريط القياس المرن" مقابل "المسطرة الصلبة"
بدلاً من ترك الجدارين المتطرفين يحددان المسطرة بأكملها، ينظر NeUQI إلى شكل الغرفة بأكملها. يتساءل: "إذا حركت نقطة البداية الخاصة بي (نقطة الصفر) قليلاً، فهل سيتحسن القياس الإجمالي؟"

الاختراق: أدرك NeUQI أنه لكل طول مسطرة محدد (مقياس/scale)، هناك "نقطة صفر" مثالية رياضيًا تقلل الأخطاء. إنه يحسب نقطة الصفر المثالية هذه بكفاءة، حتى لو كانت نقطة الصفر تلك رقمًا عشريًا (مثل 2.53) بدلاً من عدد صحيح.
النتيجة: من خلال السماح لنقطة الصفر بأن تكون رقمًا عشريًا دقيقًا، تصبح عملية "ترجمة" المكتبة أكثر دقة. الكتب تناسب حقيبة الظهر بشكل أفضل دون فقدان معناها.

2. "البحث من الخشن إلى الناعم" (Coarse-to-Fine)
إن العث1 من نقاط الصفر العشرية المثالية لكل كتاب على حده قد يستغرق وقتًا طويلاً للغاية. ولحل هذه المشكلة، يستخدم NeUQI استراتيجية بحث ذكية:

الخطوة 1 (الخشنة/Coarse): يقوم بمسح الغرفة بسرعة بشبكة واسعة للعث_د المنطقة العامة التي تبدأ فيها أفضل مسطرة.
الخطوة 2 (الناعمة/Fine): ثم يقوم بالتركيز (Zoom in) على تلك المنطقة المحددة للعثود على نقطة العشرية الدقيقة.
هذا يشبه العثور على مفتاح مفقود في حقل. أولاً، تسير في الحقل بأكمله لتجد البقعة الصحيحة من العشب. ثم تنزل على ركبتيك وتبحث في تلك البقعة المحددة بعناية. هذا يوفر وقتًا هائلًا.

ماذا وجدوا؟

اختبر المؤلفون NeUQI على نماذج ذكاء اصطناعي شهيرة مثل LLaMA و Qwen.

أداء أفضل: في تجاربهم، كانت النماذج المضغوطة باستخدام NeUQI أذكى بكثير من تلك التي استخدمت طريقة Min-Max القديمة. في بعض الحالات، كان النموذج ذو الـ 2 بت الذي يستخدم NeUQI يعمل بنفس كفاءة النموذج كامل الحجم غير المضغوط تقريبًا.
التفوق على العمالقة: حتى أنهم دمجوا NeUQI مع استراتيجية "التقطير خفيف الوزن" (طريقة لتعليم النموذج الصغير من خلال جعله يحاكي النموذج الكبير). ومن المثير للدهشة، تفوق هذا المزيج البسيط على طريقة أكثر تعقيدًا واستهلاكًا للموارد تسمى PV-tuning.
"النتيجة السحرية": في بعض السيناريوهات، كان النموذج المضغوط باستخدام NeUQI (الذي يشغل مساحة ذاكرة أقل) يجيب على الأسئلة بشكل أفضل من النموذج الأصلي غير المضغوط الذي يشغل مساحة ذاكرة أكبر.

الخلاصة

تجادل الورقة البحثية بأن الطريقة التي نبدأ بها عملية تقليص نماذج الذكاء الاصطناعي لا تقل أهمية عن تقنية التقليص نفسها. من خلال إصلاح "المسطرة" (بارامترات التهيئة) والسماح لنقاط بداية أكثر مرونة ودقة، يسمح NeUQI لنا بحزم أكبر عقول الذكاء الاصطنا_في العالم في مساحات أصغر بكثير دون أن تفقد ذكاءها. إنه تغيير بسيط في كيفية قياس البداية، ولكنه يؤدي إلى تحسن هائل في النتيجة النهائية.

ملخص تقني: NeUQI: تهيئة معاملات التكميم الموحد القريبة من المثالية لنماذج LLM ذات البتات المنخفضة

بيان المشكلة

تواجه النماذج اللغوية الكبيرة (LLMs) تحديات كبيرة في النشر على الأجهزة الاستهلاكية بسبب استهلاك الذاكرة العالي وتأخر الاستدلال (Inference Latency). يوفر التكميم بعد التدريب (Post-training quantization - PTQ)، وخاصة طرق التكميم الموحد (مثل تحويل الأوزان إلى int4/3/2)، حلاً عملياً. ومع ذلك، تعتمد معظم طرق التكميم الموحد ذات البتات المنخفضة الحالية بشكل كبير على صيغة الحد الأدنى والأقصى (Min-Max) التقليدية لتهيئة معاملات التكميم (المقياس $s$ ونقطة الصفر $z$ ).

يحدد المؤلفون عيبين حرجين متأصلين في صيغة Min-Max يعيقان الأداء في إعدادات البتات المنخفضة (2 بت و3 بت):

الاعتماد على القيم المتطرفة: يتم تحديد كل من $s$ و $z$ حصرياً بناءً على القيم الدنيا والقصوى لتوزيع الأوزان. وهذا يقيد خوارزمية التحسين، مما يجبر طرق البحث (مثل LeanQuant) على تعداد عوامل القياس المرتبطة بهذه القيم المتطرفة، مما يؤدي إلى مساحة بحث مكلفة حوسبياً تبلغ $T^2$ بدلاً من بحث أكثر كفاءة يبلغ $T$ .
قيد نقطة الصفر الصحيحة: تفرض صيغة Min-Max أن تكون نقطة الصفر $z$ عدداً صحيحاً غير سالب من فئة $k$ -bit. هذا يحد اصطناعياً من مساحة المعاملات، مما يمنع اكتشاف القيم غير الصحيحة المثلى التي يمكن أن تقلل خطأ التكميم، خاصة في سيناريوهات عرض البتات المنخفضة.

المنهجية: NeUQI

يقترح البحث NeUQI (تهيئة معاملات التكميم الموحد القريبة من المثالية)، وهي طريقة مصممة لتجاوز قيود صيغة Min-Max من خلال الاستغلال الصريح لبنية خسارة التكميم.

1. صياغة الخسارة والتقريب

تعتمد الطة تقليل خسارة التكميم لطبقة خطية، والتي تُعرف بأنها الخطأ التربيعي المتوقع بين الأوزان الأصلية والمكممة والموزون بـ مصفوفة هسيان التقريبية ( $H$ ). ولجعل عملية التحسين قابلة للتطبيق، تتبنى NeUQI تقريباً قطرياً لمصفوفة هسيان، مما يقلل الخسارة إلى مجموع حدود مستقلة لكل عنصر وزن:
$L(s, z) = \sum_i H_{i,i} (Q_{s,z}(w_i) - w_i)^2$

2. تحسين نقطة الصفر (المقياس الثابت)

بدلاً من تحسين $s$ و $z$ معاً، تقوم NeUQI بتثبيت المقياس $s$ واستخلاص نقطة الصفر المثلى $z$ تحليلياً.

البنية التربيعية المجزأة: تم تحديد دالة الخسارة $L(z)$ كدالة تربيعية مجزأة.
البحث الفعال: النهج البدائي لإيجاد الحد الأدنى العالمي سيكون $O(n \cdot 2^k)$ . تقدم NeUQI خوارزمية (الخوارزمية 1) تقوم بتحديث الدالة التربيعية بشكل تدريجي أثناء عبور نقاط التحول، مما يقلل التعقيد إلى $O(n \log n)$ بعد عملية الفرز.
استراتيجية من الخشن إلى الناعم: لتقليل العبء الحوسبي بشكل أكبر، تقوم NeUQI بتقريب دالة الخسارة لتحديد منطقة مرشحة لنقطة الصفر المثلى في زمن $O(n \log n)$ . ثم تقوم بإجراء بحث دقيق داخل جوار مقيد لهذه المنطقة المرشحة، مع الحفاظ على تعقيد $O(n \log n)$ .

3. تحسين المقياس

مع القدرة على حساب نقطة الصفر المثلى لأي $s$ معطى، تتقلص المشكلة إلى تحسين متغير واحد عبر المقياس $s$ .

مساحة البحث: مساحة البحث محصورة بالمقياس المستمد من صيغة Min-Max.
البحث من الخشن إلى الناعم: تستخدم NeUKI استراتيجية بحث على مرحلتين. أولاً، بحث خشن عبر $T_c$ من المرشحين ( $T_c = O(\sqrt{T})$ ) لتحديد منطقة واعدة. ثانياً، بحث دقيق عبر جوار الأمثل الخشن لتدقيق تقدير المقياس. هذا يقلل عدد حسابات نقطة الصفر من $O(T)$ إلى $O(\sqrt{T})$ .

4. تخفيف القيود

بشكل حاسم، تزيل NeUQI القيد الصحيح على نقطة الصفر، مما يسمح لـ $z$ بأخذ قيم عشرية (floating-point). هذا يوسع مساحة المعاملات، مما يمكّن النموذج من إيجاد تهيئة "قريبة من المثالية" تقلل خطأ التكميم بشكل أكثر فعالية من الطرق المقيدة بالأعداد الصحيحة.

المساهمات الرئيسية

تحديد عيوب Min-Max: حدد المؤلفون وحللوا رسمياً القيدين (الاعتماد على القيم المتطرفة ونقطة الصفر الصحيحة) لصيغة Min-Max القياسية، موضحين كيف يحدان من مرونة التحسين وكفاءة البحث.
خوارزمية NeUQI: اقتراح طريقة تهيئة جديدة تفصل بين تحسين المقياس ونقطة الصفر. من خلال اشتقاق نقطة الصفر المثلى لمقياس ثابت، تحول NeUQI عملية تحسين مشتركة معقدة إلى بحث بسيط بمتغير واحد قابل للتطبيق.
التفوق التجريبي: أظهرت التجارب المكثفة عبر عائلات LLaMA 2/3 و Qwen 2.5 أن NeUQI تتفوق باستمرار على طرق PTQ الحالية (GPTQ, GPTAQ, MagR, LeanQuant) في إعدادات البتات المنخفضة (2-بت و3-بت).
التآزر مع الضبط الدقيق: يوضح البحث أن NeUQI تعمل كتهيئة قوية للمهام اللاحقة. عند دمجها مع التقطير الخفيف (lightweight distillation)، فإنها تتفوق على الطرق كثيفة الموارد مثل PV-tuning. وعند استخدامها لتهيئة EfficientQAT، فإنها تحقق مكاسب إضافية في الأداء، مما يشير إلى أن التهيئة عالية الجودة أمر بالغ الأهمية حتى لمسارات الضبط الدقيق القوية.

النتائج التجريبية

الأداء: في التكميم عبر القنوات (channel-wise) بـ 2-بت، تقلل NeUQI بشكل كبير من الارتياب (perplexity) في C4 و WikiText2 وتحسن متوسط الدقة عبر خمسة اختبارات معيارية (ARC, HellaSwag, إلخ) مقارنة بالنماذج المرجعية. على سبيل المثال، في نموذج LLaMA 2 7B (2-بت)، تحقق NeUQI ارتفاعاً في الارتياب بمقدار 17.50 مقارنة بـ 2592 لـ GPTQ و 246 لـ GPTAQ.
المقارنة مع النماذج غير المكممة: في ظل استخدام ذاكرة مماثلة، غالباً ما تتفوق النماذج المهيأة بواسطة NeUQI بـ 3-بت على نظيراتها غير المكممة (BF16). على سبيل المثال، يحقق نموذج Qwen 2.5 72B بـ 3-بت باستخدام NeUQI ارتفاعاً أقل في الارتياب ودقة أعلى من نموذج 14B غير المكمم بـ 16-بت.
الكفاءة: تقلل التحسينات المقترحة (تقليل نقاط التحول والبحث من الخشن إلى النافع) من التكاليف الزمنية للتهيئة. وبينما تستغرق NeUQI وقتاً أطول من GPTQ (على سبيل المثال، ~30 دقيقة مقابل ~9 دقائق لـ LLaMA 2 7B في 2-بت)، إلا أنها تظل عملية وأسرع بكثير من الطرق التي تتطلب ضبطاً دقيقاً مكثفاً أو بحثاً ثقيلاً.
التوافق مع الأجهزة: يشير البحث إلى أن نقاط الصفر العشرية مدعومة من قبل مكتبات الاستدلال الحالية (مثل BitBLAS المدمجة في vLLM)، مما يضمن أن المكاسب النظرية تترجم إلى نشر عملي دون الحاجة لأجهزة متخصصة.

الأهمية والادعاءات

يدعي البحث أن تهيئة معاملات التكميم هي عامل حاسم، وغالباً ما يتم تجاهله في التكميم منخفض البت. يجادل المؤلفون بأن الظروف الأولية السيئة يصعب تصحيحها حتى مع الضبط الدقيق المكثف، بينما يمكن لنموذج مهيأ جيداً أن يحقق أداءً فائقاً بجهد أقل بكثير.

من خلال تجاوز صيغة Min-Max، توفر NeUQI نقطة بداية "قريبة من المثالية" تتيح:

تمكين النماذج منخفضة البت (2-بت/3-بت) من الاقتراب من أو تجاوز أداء النماذج ذات البتات الأعلى أو غير المكممة مع وجود بصمة ذاكرة مماثلة.
تقديم بديل خفيف الأوزان لطرق الضبط الدقيق الثقيلة (مثل PV-tuning) عند دمجها مع التقطير.
إثبات أن تخفيف قيد نقطة الصفر الصحيحة خطوة ضرورية لتعظيم إمكانات التكميم الموحد في نماذج LLM.

يشير العمل إلى أن الأبحاث المستقبلية يجب أن تركز على استراتيجيات الضبط الدقيق التي تعمل بما يتجاوز القيد الأول (صيغة Min-Max) لتعزيز أداء ما بعد التهيئة بشكل أكبر.