🤖 machine learning

ReRound: Reconstructive Rounding to Resolve Midpoint Ambiguity in Calibration-Free LLM Quantization

تُعد ReRound طريقةً للكمّ بعد التدريب خالية من المعايرة، تستفيد من نموذج انتشار شرطي لحل غموض تقريب المنتصف في أوزان النماذج اللغوية الكبيرة ذات البتات المنخفضة، وهي تتفوق باستمرار على التقنيات القياسية في الكمّ بـ 3 بت و4 بت مع الحفاظ على الكفاءة دون اتصال.

المؤلفون الأصليون: He-Yen Hsieh, H. T. Kung

نُشر 2026-08-12

📖 6 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: He-Yen Hsieh, H. T. Kung

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تقليص مكتبة ضخمة وشديدة التفصيل من المعرفة لتناسب حقيبة ظهر صغيرة محمولة. هذا هو عالم النماذج اللغوية الكبيرة (LLMs)، وهي الأدمغة الاصطناعية فائقة الذكاء التي يمكنها كتابة القصص، وحل المسائل الرياضية، والدردشة كالبشر. تتكون هذه الأدمغة من مليارات الأرقام الصغيرة التي تسمى "الأوزان"، ولجعل تشغيلها سريعًا وغير مكلف على الهواتف أو الحواسيب المحمولة العادية، يحاول العلماء ضغط هذه الأرقام في صناديق أصغر. تسمى هذه العملية "الكمّنة" (Quantization).

فكر في الأرقام الأصلية كاملة الحجم كصور عالية الدقة. ولتوفير المساحة، نريد تحويلها إلى فن بكسل (Pixel Art) منخفض الدقة. الطريقة القياسية للقيام بذلك تسمى "التقريب لأقرب قيمة" (Round-to-Nearest - RTN). الأمر يشبه النظر إلى رقم وسؤال نفسك: "هل هو أقرب إلى 1 أم إلى 2؟". إذا كان 1.4، نقربه للأسفل إلى 1. وإذا كان 1.6، نقربه للأعلى إلى 2. إنها قاعدة بسيطة وتلقائية. ولكن هناك نقطة شائكة: ماذا لو كان الرقم هو 1.5 تمامًا؟ أو قريب جدًا منها، مثل 1.48؟ عند هذه "نقطة المنتصف"، يكون القرار غامضًا. فالتقريب للأسفل أو للأعلى ينتج تقريبًا نفس القدر من الخطأ، لذا تختار القاعدة البسيطة أحدهما بشكل عشوائي. وفي مكتبة ضخمة تحتوي على مليارات الأرقام، يمكن لارتكاب آلاف التخمينات العشوائية الصغيرة هذه أن يؤدي بالخطأ إلى تشويه معنى الكتاب بأكمله، مما يجعل الذكاء الاصطناعي أقل ذكاءً.

هنا يأتي دور طريقة جديدة تسمى ReRound. فبدلاً من التخمين الأعمى عند نقاط المنتصف الصعبة، يعمل ReRound كالمحقق الذي ينظر إلى الحي المجاور من الأرقام ليعرف الخيار الأفضل. يستخدم نوعًا خاصًا من تدريب الذكاء الاصطناعي يسمى "نموذج الانتشار" (Diffusion Model) - وهو نفس التقنية المستخدمة لتوليد الصور من النصوص - لتعلم الأنماط الخفية لكيفية ترتيب الأرقام داخل عقل الذكاء الاصطناعي. عندما يرى رقمًا عالقًا عند نقطة منتصف، فإنه يسأل: "بناءً على رفقة هذا الرقم، هل يجب أن يُقرب للأسفل حقًا، أم أنه ينتمي للأعلى؟". ومن خلال استخدام هذه الأنماط المتعلمة لتوجيه عملية التقريب، يمكن لـ ReRound إصلاح أخطاء الطريقة القياسية دون الحاجة لإعادة تدريب الذكاء الاصطناعي بالكامل أو تغذيته بأمثلة جديدة. إنها طريقة ذكية لاستخراج دقة أكبر من حقيبة ظهر أصغر، مما يجعل الذكاء الاصطناعي القوي متاحًا للجميع دون الحاجة إلى حواسيب فائقة باهظة الثمن.

دليل المحقق لأداء أفضل للذكاء الاصطناعي

في عالم الذكاء الاصطناعي، غالبًا ما يصطدم البحث عن نماذج أصغر وأسرع بجدار: "مشكلة نقطة المنتصف". فعندما يحاول العلماء تقليص الأرقام الضخمة داخل الذكاء الاصطناعي (وهي عملية تسمى الكمّنة)، فإنهم عادة ما يستخدمون قاعدة بسيطة: إذا كان الرقم أقرب إلى الأرض، قربه للأسفل؛ وإذا كان أقرب إلى السقف، قربه للأعلى. ولكن ماذا يحدث عندما يكون الرقم في منتصف الغرفة تمامًا؟ إن قواعد التقريب القياسية تكتفي برمي عملة معدنية (اختيار عشوائي). وتجادل ورقة بحثية بعنوان ReRound: Reconstructive Rounding to Resolve Midpoint Ambiguity in Calibration-Free LLM Quantization بأن رمي العملة هذا هو فرصة ضائعة.

يقترح المؤلفان، هي-يين هسييه و إتش. تي. كونغ من جامعة هارفارد، استراتيجية جديدة تسمى ReRound. فبدلاً من تقريب الأرقام بالقرب من المنتصف بشكل أعمى، يستخدم ReRound "أولوية انتشار" (Diffusion Prior) - وهي تخمين متعلم لما كانت تبدو عليه الأرقام الأصلية المثالية قبل تقليصها. تخيل أن لديك صورة باهتة ومبكسلة لقطة. قد تخمن قاعدة التقريب القياسية لون بكسل ضبابي بناءً على جيرانه المباشرين فقط. ومع ذلك، يستخدم ReRound نموذج ذكاء اصطناعي مدرب (تحديدًا نموذج انتشار U-Net) لـ "تخيّل" أو إعادة بناء كيف يجب أن تبدو "رقعة" الصورة بأكملها، بناءً على الأنماط التي تعلمها من الصورة الأصلية عالية الجودة.

إليك كيف يحدث السحر، خطوة بخطوة:

مرحلة التدريب: قبل تقليص الذكاء الاصطناعي، يأخذ ReRound نظرة خاطفة على الأوزان كاملة الحجم وعالية الدقة للنموذج. يقوم بتقطيع هذه الأوزان إلى رقع صغيرة بحجم 64×64، ويدرب نموذج انتشار للتنبؤ بالرقعة الأصلية كاملة الحجم بمجرد النظر إلى نسخة منخفضة البت وضبابية منها. فكر في الأمر كتعليم محقق التعرف على ملمس نسيج معين بمجرد لمس عينة صغيرة وضبابية منه.
إعادة البناء: عندما يحين وقت تقليص النموذج، لا يقوم ReRound بمجرد تقريب الأرقام. بل يمرر الأوزان الضبابية منخفضة البت عبر "المحقق" المدرب (نموذج الانتشار) لتوليد نسخة "معاد بناؤها" من الأوزان. هذه ليست الوزن النهائي؛ بل هي دليل. الأمر يشبه قول المحقق: "أعلم أن هذا البكسل الضبابي قريب من نقطة منتصف، ولكن بناءً على نمط الرقعة بأكملها، يجب أن يكون أعلى قلي التواءً".
التقريب الذكي: يستخدم ReRound نصيحة هذا المحقق فقط عندما تكون القاعدة القياسية مرتبكة حقًا (بالقرب من نقطة المنتصف). إذا كان الرقم قريبًا بوضوح من الأرض أو السقف، فإنه يلتزم بالقاعدة القياسية. ولكن إذا كان الرقم متذبذبًا بالقرب من المنتصف، يتحقق ReRound من القيمة المعاد بناؤها. إذا اقترح إعادة البناء التقريب للاتجاه الآخر، ولم تكن "المسافة" من نقطة المنتصف كبيرة جدًا، يقوم ReRound بتغيير المفتاح.
فحص السلامة: للتأكد من أنه لا يغير الكثير من المفاتيح ويكسر النموذج، يقوم ReRound بإنشاء عدة نسخ مختلفة من النموذج المصغر، كل منها بـ "تسامح" مختلف قليلاً لكيفية ثقته في المحقق. ثم يختار الفائز من خلال النظر إلى "هيكل" المصفوفة (قيمها المفردة). فهو يختار النسخة التي تحافظ على أكبر قدر من الأنماكن الهيكلية المهمة للنموذج الأصلي كامل الحجم.

النتائج مبهرة، خاصة بالنسبة لنماذج الذكاء الاصطناዊ الصغيرة. تظهر الورقة أن ReRound يتفوق باستمرار على طريقة "التقريب لأقرب قيمة" القياسية عند ضغط النماذج بدقة 3-بت و 4-بت. على سبيل المثال، في نماذج مثل Gemma 2 2B و Gemma 3 1B، حسن ReRound الدقة بمقدار 0.1 إلى 1.3 نقطة عبر مهام لغوية متنوعة. وفي بعض الحالات، تفوق حتى على الطرق التي تتطلب "بيانات معايرة" (تغذية الذكاء الاصطناعي بآلاف الجمل المثال ليتعلم كيفية التقريب)، في حين أن ReRound لم يستخدم أي بيانات إضافية على الإطلاق. لقد عمل بالكامل "أوفلاين"، باستخدام أوزان النموذج نفسه فقط.

ويشير المؤلفون بحذر إلى أن هذه الطريقة ليست حلاً سحريًا لكل مشكلة. فالطريقة تعمل بشكل أفضل عندما تكون معاملات الكمّنة (مثل المقياس ونقطة الصفر) ثابتة بالفعل. كما أنها تتطلب تدريب نموذج انتشار منفصل لكل ذكاء اصطناعي محدد، وهو ما يستغرق بعض الوقت وقوة حوسبة مقدمة (حوالي 2 إلى 3 ساعات من التدريب وبضع ساعات من الاستدلال لكل نموذج). ومع ذلك، بمجرد الانتهاء من ذلك، تكون عملية تقليص النموذج سريعة، حيث تستغرق ثوانٍ أو دقائق فقط.

والأهم من ذلك، أن ReRound لا يغير كيفية تشغيل الذكاء الاصطناعي على هاتفك أو حاسوبك المحمول. إنه يغير فقط الأرقام الصحيحة النهائية المخزنة في الذاكرة. وهذا يعني أن الذكاء الاصطناعي يعمل بنفس السرعة كما كان من قبل، ولكن مع الحفاظ على قدر أكبر من "القدرات الذهنية". تشير الورقة إلى أن هذا النهج باستخدام "الأوزان المعاد بناؤها" كدليل للتقريب يمكن أن يكون معيارًا جديدًا لجعل الذكاء الاصطناعي أصغر وأذكى، مما يثبت أنه في بعض الأحيان، أفضل طريقة لاتخاذ قرار ليست بالنظر إلى الرقم بمعزل عن غيره، بل بسؤال "الجيران" عما يعتقدون.

ملخص تقني: ReRound – إعادة البناء التقريبي لحل غموض نقطة المنتصف في التكميم الخالي من المعايرة للنماذج اللغوية الكبيرة (LLM)

1. بيان المشكلة

يعمل التكميم بعد التدريب (PTQ) على تقليل بصمة التخزين والذاكرة للنماذج اللغوية الكبيرة (LLMs) عن طريق رسم خرائط للأوزان ذات الدقة الكاملة إلى أعداد صحيحة منخفضة البت. وتعد خطوة التعيين التقريبي النهائي خطوة حاسمة في هذه العملية، حيث يجب تعيين وزن ذو دقة عائمة (floating-point) مُكمّم إما إلى الرقم الصحيح الأدنى (floor) أو الأعلى (ceiling) المجاور له.

تعتمد مخططات التقريب إلى أقرب قيمة (RTN) القياسية قراراتها بناءً على المسافة القياسية فقط. وبينما يكون هذا الأمر غير غامض بالنسبة للأوزان القريبة من الحدود الصحيحة، إلا أنه يخلق غموضاً في نقطة المنتصف للأوزان القريبة من مركز فترات التكميم (على سبيل المثال، $r \approx 0.5$ ). في هذه المناطق، يكون الخطأ القياسي الناتج عن التقريب للأعلى أو للأسفل متماثلاً تقريباً. وبناءً على ذلك، غالباً ما تكون قرارات RTN في هذه المناطق الغامضة تعسفية، ومع ذلك، يمكن لمجموعة صغيرة من هذه القرارات أن تغير بشكل كبير نمط التقريب الإجمالي لطبقة خطية، مما قد يؤدي إلى تدهور دقة النموذج. تعالج الطرق الموجودة إما معلمات التكميم (المقاييس، ونقاط الصفر) أو تستخدم بيانات معايرة لتعلم تعيينات التقريب، ولكن القليل منها يعالج غموض خطوة التقريب نفسها دون الاعتماد على عينات التنشيط أو الملصقات النهائية (labels).

2. المنهجية: ReRound

إن ReRound هو إطار عمل خالٍ من المعايرة يعيد النظر في قرارات RTN الغامضة عند نقطة المنتصف باستخدام المعلومات المستخلصة مباشرة من أوزان النموذج اللغوي الكبير المدرب مسبقاً. تتكون الطريقة من ثلاث مراحل رئيسية:

أ. إعادة بناء الأوزان المشروط عبر الانتشار (Diffusion)

تقوم ReRound بتدريب نموذج انتشار شرطي (تحديداً U-Net) على مصفوفات أوزان النموذج اللغوي الكبير المدرب مسبقاً.

التدريب: يتعلم النموذج كيفية إعادة بناء رقع الأوزان ذات الدقة الكاملة ( $P$ ) مشروطة بنسخها الناتجة عن التقريب العشوائي (Stochastic Rounding - SR) منخفضة البت ( $P_{low}$ ). الهدف هو رقعة الدقة الكاملة المستمرة، بينما الشرط هو الملاحظة المُكممة.
الاستدلال: خلال مرحلة PTQ، يقوم النموذج بتوليد أوزان مستمرة معاد بناؤها ( $W_{rec}$ ) مشروطة بالأوزان المُكممة الحتمية (RTN) ( $P_{cond}$ ).
الغرض: لا يتم نشر هذه الأوزان المعاد بناؤها كمعلمات للنموذج. بدلاً من ذلك، تعمل كـ مُسبق معرفي متعلم (learned prior) يعكس توزيع الأوزان داخل نموذج LLM محدد، مما يوفر دليلاً لحل غموض التقريب.

ب. التقريب الموجه بإعادة البناء مع سماحية تعتمد على الموقع

تستخدم ReRound الأوزان المعاد بناؤها لاقتراح تعيينات تقريب بديلة (التحول من التقريب للأسفل إلى الأعلى أو العكس) فقط عندما يكون قرار RTN الأصلي غامضاً.

شرط الاقتراح: يتم اقتراح التغيير فقط إذا كان الوزن المعاد بناؤه ( $\tilde{w}_{rec}$ ) يُقرب إلى الرقم الصحيح المجاور الآخر ( $q_{alt}$ ) مقارنة بتعيين RTN الأصلي ( $q_{rtn}$ ).
السماحية المعتمدة على الموقع: لا يتم قبول جميع الاقتراحات. تستخدم ReRound مقياس سماحية $\tau_{pos}(r; \tau)$ $τ_{p os} (r; τ)$ بناءً على الموقع الكسري $r$ $r$ للوزن داخل فترة التكميم الخاصة به.
- بالقرب من نقطة المنتصف ( $r \approx 0.5$ )، تكون السماحية عالية، مما يسمح بالتغييرات الموجهة بإعادة البناء.
- بالقرب من الحدود الصحيحة، تنخفض السماحية أسياً، مما يحافظ على قرار RTN القياسي حيث يكون الفرق في الخطأ القياسي كبيراً.
- يتم قبول التغيير فقط إذا كان الانحراف بين الوزن المعاد بناؤه والوزن الأصلي يقع ضمن هذه السماحية المعتمدة على الموقع.
توليد المرشحين: من خلال مسح معامل السماحية $\tau$ ، تولد ReRound مجموعة من مصفوفات الأوزان الصحيحة المرشحة ( $Q_\tau$ )، حيث تمثل كل منها مجموعة مختلفة من مراجعات التقريب المقبولة.

ج. الاختيار الطيفي (Spectral Selection)

لاختيار المرشح الأمثل دون استخدام بيانات معايرة، تستخدم ReRound معياراً طيفياً يعتمد على الأوزان فقط.

يتم إلغاء تكميم كل مصفوفة مرشحة لتشكيل مصفوفة مستمرة $W_\tau$ .
تتم مقارنة القيم المفردة الرائدة (leading singular values) لـ $W_\tau$ مع تلك الخاصة بالمصفوفة الأصلية ذات الدقة الكاملة $W$ .
يتم اختيار المرشح الذي يمتلك أقل تباين طيفي (الأقرب في القيم المفردة المهيمنة) ليكون مصفوفة الأوزان المُكممة النهائية. يضمن هذا أن نمط التقريب المختار يحافظ على الأنماط الهيكلية المهيمنة للطبقة الأصلية.

3. المساهمات الرئيسية

إطار عمل ReRound: نهج جديد خالٍ من المعايرة يستخدم نموذج انتشار شرطي مدرب على أوزان النموذج نفسه لتوجيه قرارات التقريب الغامضة عند نقطة المنتصف.
السماحية المعتمدة على الموقع: مقياس يتحكم ديناميكياً في قبول التغييرات الموجهة بإعادة البناء، مع إعطاء الأولوية لمنطقة المنتصف والحفاظ على RTN بالقرب من الحدود.
معيار الاختيار الطيفي: طريقة لاختيار مصفوفة الأوزان الصحيحة المثلى بناءً على حفظ القيم المفردة، مما يلغي الحاجة إلى عينات التنشيط، أو معايرة النص، أو الملصقات النهائية.
التوافق: تعمل الطريقة بالكامل في وضع عدم الاتصال (offline)، وهي تعدل فقط التعيينات الصحيحة (دون تغيير المقاييس، أو نقاط الصفر، أو إجراءات الاستدلال)، ويمكنها تحسين التقريب أو المعلمات من طرق PTQ أخرى.

4. النتائج التجريبية

تقيم الورقة ReRound على مجموعة من النماذج اللغوية الصغيرة (مثل Gemma 2 2B، وGemma 3 1B، وQwen3 1.7B، وOLMo 2 1B) لتكميم الأوزان بـ 3 بت و4 بت.

مقابل النماذج المرجعية الخالية من المعايرة: تتفوق ReBind باستمرار على RTN القياسي (group-wise) وطرق أخرى خالية من المعايرة (مثل HQQ، وBNB FP4، وHadamard-transformed RTN). فهي تحقق أعلى متوسط دقة في تكميم 3 بت لجميع النماذج، وتطابق أو تتجاوز أفضل النتائج في تكميم 4 بت لمعظم النماذج.
مقابل النماذج المعتمدة على المعايرة: تتفوق ReRound على الطرق المعتمدة على المعايرة مثل GPTQ وAdaRound وSignRound في عدة نماذج (على سبيل المثال، حققت متوسط دقة 67.4% لنموذج Gemma 2 2B مقابل 67.0% لـ SignRound) دون استخدام أي بيانات معايرة.
دراسات الاستئصال (Ablation Studies): يؤدي إزالة أي مكون (التوجيه بإعادة البناء، أو السماحية المعتمدة على الموقع، أو الاختيار الطيفي) إلى انخفاض الدقة، مما يؤكد ضرورة وجود خط العمل الكامل.
القدرة على التعميم: تعمل ReRound على تحسين نماذج RTN المرجعية حتى عند تطبيقها على معلمات التكميم الناتجة عن طرق أخرى (مثل SINQ)، مما يثبت فائدتها كأداة صقل لاحقة (post-hoc refinement).
الكفاءة: لا تضيف الطريقة أي عبء أثناء الاستدلال منخفض البت. تتضمن التكلفة في وضع عدم الاتصال عملية تدريب نموذج انتشار واحد لكل نموذج وخطوة اختيار سريعة لـ PTQ (ثوانٍ لكل نموذج).

5. الأهمية والادعاءات

تضع الورقة ReRound كنموذج جديد لتكميم منخفض البت يستفيد من الأنماط الهيكلية في الأوزان المدربة مسبقاً كمُسبق معرفي فعال. تكمن أهميتها الأساسية في:

حل الغموض: تستهدف تحديداً مشكلة "غموض نقطة المنتصف"، وهي مشكلة معروفة في RTN القياسي، باستخدام مُسبقات معرفية متعلمة بدلاً من القواعد التجريبية.
كفاءة الخلو من المعايرة: تحقق دقة تضاهي أفضل الطرق في فئة الأساليب الخالية من المعايرة، وتنافس النهج المعتمد على المعايرة، مما يلغي الحاجة إلى مجموعات بيانات معايرة مكلفة.
الحفاظ على الاستدلال: من خلال تغيير التعيينات الصحيحة فقط مع إبقاء شبكة التكميم ومنطق الاستدلال متطابقين مع RTN، فإنها تضمن النشر السلس.

يشير المؤلفون إلى القيود، بما في ذلك الحاجة إلى نموذج انتشار منفصل لكل نموذج LLM (مما يضيف تكاليف غير متصلة خاصة بكل نموذج) والتركيز الحالي على النماذج اللغوية الصغيرة. ويقترحون أن العمل المستقبلي يمكن أن يستكشف نقل معارف الأوزان عبر النماذج وتحسين معلمات التكميم بشكل مشترك مع التقريب.