LFQ: Logit-aware Final-block Quantization for Boosting the Generation Quality of Low-Bit Quantized LLMs
تقدم هذه الورقة البحثية تقنية التكميم الواعي باللوجيت (LFQ) في الكتلة النهائية، وهي طريقة تكميم ما بعد التدريب تعمل على تحسين جودة توليد النماذج اللغوية الكبيرة ذات البتات المنخفضة من خلال تحسين كتلة "ترانسفورمر" النهائية لتقليل الإنتروبيا المتقاطعة بين اللوجيتات، مما يؤدي إلى تصحيح عدم توافق التوزيع الناتج عن النهج التقليدي القائم على الكتل.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
الصورة الكبيرة: تصغير عملاق دون كسرِهِ
تخيل أن النموذج اللغوي الكبير (LLM) عبارة عن مكتبة ضخمة وعالية التفاصيل من المعرفة. ولجعل هذه المكتبة تتسع في حقيبة ظهر صغيرة (مثل هاتف أو كمبيوتر عادي) حتى يمكن استخدامها بسهولة، يستخدم العلماء تقنية تسمى الكمّنة (Quantization).
فكر في "الكمّنة" مثل تقليل دقة صورة عالية الجودة. أنت تأخذ صورة بدقة 4K (النموذج كامل الدقة) وتصغرها لتصبح نسخة بدقة 1080p أو حتى 720p (النموذج منخفض البتات). هذا يوفر مساحة هائلة.
لفترة طويلة، كان العلماء بارعين في تصغير هذه النماذج بحيث تظل تفهم اللغة جيداً (مثل الإجابة على أسئلة عامة أو تلخيص النصوص). ومع ذلك، حددت الورقة البحثية مشكلة: عندما تحاول هذه النماذج "المصغرة" الكتابة أو التفكير عبر مسائل معقدة خطوة بخوة، تبدأ في ارتكاب الأخطاء. فهي تصاب بالارتباك، أو تفقد تسلسل أفكارها، أو تعطي إجابة خاطئة، رغم أنها تفهم السؤال تماماً.
المشكلة: النهاية "المغبشة"
اكتشف المؤلفون أن الطرق الحالية لتصغير هذه النماذج تشبه مصوراً يركز بشكل مثالي على منتصف الصورة ولكنه يترك الحواف باهتة أو مغبشة.
من الناحية التقنية، تحاول الطرق الحالية (المسماة Block-wise PTQ) جعل مخرجات كل طبقة من طبقات النموذج تبدو قريبة قدر الإمكان من الأصل باستخدام مسطرة بسيطة تسمى MSE (متوسط مربع الخطأ).
- التشبيه: تخيل أنك تحاول نسخ لوحة فنية. الطريقة الحالية تقيس الفرق في بكسلات الألوان بين نسختك والأصل. وهي تحاول جعل متوسط الألوان متطابقاً تماماً.
- العيب: حتى لو تطابقت الألوان المتوسطة، فإن معنى اللوحة قد يتغير. قد يؤدي تغيير طفيف في اللون إلى تحويل "وجه سعيد" إلى "وجه حزين" في عيني المشاهد، حتى لو كان الفرق في البكسلات ضئيلاً.
تجادل الورقة بأننا في الخطوة النهائية لتوليد النص، لا نحتاج فقط إلى تطابق "الألوان" (الأرقام)؛ بل نحتاج إلى أن يكون القرار (أي كلمة سيتم اختيارها تالياً) هو نفسه تماماً كما في النموذج العملاق الأصلي.
الحل: LFQ (الكمّنة الواعية باللوجيت للكتلة النهائية)
يقترح المؤلفون طريقة جديدة تسمى LFQ. وإليك كيف تعمل باستخدام تشبيه إبداعي:
تشبيه "الخطوة النهائية":
تخيل سباق تتابع يضم 100 عداء (طبقات النموذج).
- الطريقة السابقة: أخبر المدربون الـ 99 عداءً الأوائل بأن يركضوا بأقصى سرعة ممكنة لمطابقة سرعة الفريق الأصلي. وبالنسبة للعداء رقم 100 (الكتلة النهائية)، فقد أخبروه أيضاً بأن "يركض بسرعة" باستخدام نفس مقياس السرعة.
- النتي نتيجة ذلك: أنهى الفريق السباق، لكن العداء رقم 100 تعثر في النهاية، مما تسبب في سقوط العصا من الفريق (توليد كلمة خاطئة).
طريقة LFQ:
أدرك المؤلفون أن العداء رقم 100 مميز لأنه هو من يعبر خط النهاية ويقرر الفائز.
- التغيير: تحافظ LFQ على التدريب للعدائين الـ 99 الأوائل كما هو (باستخدام مقياس السرعة القياسي).
- الابتكار: بالنسبة للعداء الأخير فقط، يغير المدرب القواعد. بدلاً من مجرد مطابقة السرعة، يقول المدرب: "يجب عليك اتخاذ نفس القرار تماماً الذي اتخذه العداء الأخير للفريق الأصلي".
- الأداة: يستخدمون مقياساً أكثر تطوراً يسمى الإنتروبيا المتقاطعة (Cross-Entropy). بدلاً من مجرد التحقق مما إذا كانت الأرقام قريبة، يتحقق هذا المقياس مما إذا كان احتمال اختيار الكلمة الصحيحة هو نفسه كما في النموذج العملاق الأصلي. هذا يضمن أن النموذج لا "يخمن" فقط كلمة تبدو مشابهة، بل يختار الكلمة الصحيحة بنفس الثقة التي يمتلكها النموذج العملاق الأصلي.
لماذا يهم هذا الأمر؟
اختبرت الورقة هذا على عدة نماذج ذكاء اصطناי مشهورة (مثل Qwen و Llama) ووجدت أن:
- تفكير أفضل: عندما طُلب منها حل مسائل رياضية أو اتباع تعليمات معقدة، أدت النماذج "المصغرة" باستخدام LFQ أداءً قريباً جداً من النماذج العملاقة غير المضغوطة. لم تضل طريقها في سلاسل التفكير الطويلة.
- لا توجد مقايضة: لم تصبح النماذج أسوأ في المهام البسيطة (مثل فهم جملة). ظلت جيدة في تلك المهام، لكنها أصبحت أفضل بكثير في إنشاء النصوص.
- إصلاح بسيط: هذا ليس تغييراً جذرياً شاملاً. إنه يشبه استبدال دليل التعليمات للخطوة الأخيرة فقط من العملية. فهو يعمل مع أدوات التصغير الموجودة ولا يتطلب أجهزة جديدة باهظة الثمن.
ملخص في جملة واحدة
تقدم الورقة تعديلاً بسيطاً يضمن أن الخطوة النهائية لنموذج ذكاء اصطناعي مضغوط تتخذ نفس خيارات الكلمات تماماً مثل النموذج العملاق الأصلي، مما يعالج مشكلة "التعثر" التي تحدث عندما تحاول هذه النماذج الكتابة أو التفكير عبر مهام معقدة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.