Statistically-Lossless Quantization of Large Language Models
تقدم هذه الورقة الكمية غير المتماثلة إحصائياً (SLQ)، وهي طريقة تكميم على مستوى الطبقات تحقق دقة خالية من فقدان المهام عند أقل من 4 بت لكل معلمة، ودقة أمانة خالية من فقدان التوزيع عند 5-6 بت، مع تقديم تسريع في الاستنتاج بمعدل 1.7-3.7 ضعفاً مقارنة بـ FP16.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل عالم الذكاء الاصطناائي كأنه مكتبة ضخمة وصاخبة، حيث الكتب ليست مصنوعة من الورق، بل من الرياضيات البحتة. هذه "الكتب" هي النماذج اللغوية الكبيرة (LLMs)، وهي حواسيب فائقة الذكاء يمكنها كتابة القصص، وحل المعادلات، والدردشة مثل البشر. لكن هناك مشكلة: هذه المكتبات هائلة الحجم. لقراءة كتاب واحد، تحتاج إلى حاسوب خارق ضخم، ومكلف، ومستهلك للطاقة. معظم الناس لا يملكون واحداً من تلك الأجهزة في غرف معيشة بيوتهم. لذا، يحاول العلماء تصغير حجم هذه الكتب — جعلها أصغر وأخف وزناً حتى يمكن أن تتناسب مع الهواتف أو أجهزة الكمبيوتر المحمولة العادية. تسمى هذه العملية "الكمية" (Quantization). فكر في الأمر كأنك تأخذ صورة عالية الدقة وتضغطها لتصبح بحجم ملف أصغر. عادةً، عندما تصغر حجم ملف ما بشكل مبالغ فيه، تصبح الصورة ضبابية أو مشوشة (وهذا ما يسمى بالضغط "المفقود" أو lossy). أما إذا أردت أن تظل الصورة مثالية، فسيظل حجم الملف ضخماً (وهذا هو الضغط "غير المفقود" أو lossless). السؤال الكبير الذي يطرحه العلماء هو: هل يمكننا تصغير أدمغة الذكاء الاصطناعي هذه لدرجة تجعلها تتناسب مع هاتف، ولكن مع الحفاظ على ذكائها الكافي لاجتياز الاختبار، دون جعلها تتعثر في الكلام أو تهلوس؟
هذه الورقة البحثية، التي تحمل عنوان "الكمية غير المفقودة إحصائياً للنماذج اللغوية الكبيرة"، تغوص مباشرة في تلك المنطقة الوسطى الصعبة. يجادل المؤلفون، مايكل هيلسيج، وإلدار كورتيك، ودان أليستاره، بأننا لسنا مضطرين للاختيار بين نموذج صغير وضبابي، ونموذج ضخم ومثالي. بدلاً من ذلك، يقترحون طريقة جديدة لتصغير هذه النماذج تكون "غير مفقودة إحصائياً". إليكم الخدعة السحرية: لقد أدركوا أنه عندما يجيب البشر (أو حتى الذكاء الاصطناعي نفسه) على الأسئلة، هناك دائماً قدر ضئيل من العشوائية. إذا سألت نفس الذكاء الاصطناعي نفس السؤال مرتين، فقد يعطي إجابات مختلفة قليلاً، تماماً كما قد تجيب أنت على سؤال صديقك بشكل مختلف بناءً على مزاجك. وجد المؤلفون أنه إذا ظل النموذج المصغر ضمن نطاق "تقلبات المزاج" الطبيعية هذه، فسيكون ذلك كافياً. لقد ابتكروا طريقة تسمى SLQ (الكمية غير المفقودة إحصائياً) والتي تعمل مثل خياط ماهر. فبدلاً من قص كل جزء من دماغ الذكاء الاصطناعي إلى نفس الحجم الصغير، تقوم هذه الطة بقياس مدى حساسية كل جزء بدقة. بعض الأجزاء تحصل على مساحة ضئيلة جداً (تصل إلى 3.3 بت لكل معلمة/parameter)، بينما تحصل أجزاء أخرى على مساحة أكبر قليلاً.
تقدم الورقة البحثية عدداً قليلاً جداً من الاكتشافات التي تغير طريقة تفكيرنا في تصغير الذكاء الاصطناعي. أولاً، أثبتوا أن طريقة معينة لقياس "التصغير" أمر بالغ الأهمية. لقد قدموا مقياساً يسمى EAR (معدل القبول المتوقع)، وهو يشبه "درجة اتفاق الرموز/الكلمات". إذا اتفق الذكاء الاصطناعي الأصلي والذكاء الاصطناعي المصغر على 99 كلمة من أصل 100 كلمة كانا سيختارانها، فهذا يعتبر فوزاً. ووجدوا أنه لتحقيق هذا الاتفاق المثالي، يجب أن تكون حذراً بشأن كيفية تصغير الأرقام. لقد أظهروا رياضياً أن استخدام طريقة "متماثلة" للتصغير (التي تعامل الأرقام الموجبة والسالبة بنفس الطماثل) تخلق في الواقع المزيد من الضجيج والأخطاء مقارنة بالطريقة "غير المتماثلة" (التي تنقل المقياس ليتناسب مع البيانات تماماً). الأمر يشبه محاولة وضع حقيبة غير متوازنة في صندوق مربع؛ إذا حاولت إدخالها في المنتصف بالقوة، فلن تُغلق بشكل صحيح. عليك تحريك الحقيبة لتناسب شكل الصندوق.
النتائج مثيرة للإعجاب للغاية. باستخدام طريقة SLQ الخاصة بهم، تمكنوا من تصغير نماذج مثل Llama-3.3-70B و Qwen3 إلى متوسط 3.3 إلى 4.7 بت لكل معلمة مع الحفاظ على دقة "فقدان المهمة" (أي أنها لا تزال تجتاز نفس الاختبارات مثل النسخة الكبيرة). وإذا أرادوا أن يكونوا أكثر صرامة لضمان أن "مزاج" الذكاء الاصطناعي الداخلي (توزيعه الاحتمالي) يكاد يكون متطابقاً مع الأصلي، فقد احتاجوا إلى حوالي 5 إلى 6 بت. ولكن الجزء الأفضل؟ نظرًا لأن النماذج أصبحت أصغر بكثير، فهي تعمل بسرعة أكبر بكثير. اختبر المؤلفون ذلك على أجهزة حقيقية ووجدوا أن نماذجهم المصغرة كانت أسرع بمعدل 1.7 إلى 3.7 مرة من النسخ الأصلية كاملة الحجم، ويمكنها أيضاً التوافق مع عدد أقل من بطاقات الرسوميات. كما أظهروا أن الطرق القديمة، مثل GPTQ أو AWQ، غالباً ما تخطئ الهدف فيما يتعلق بهدف "عدم الفقد الإحصائي"، فإما تكون ضبابية جداً أو لا تضغط بما يكفي. باختصار، تشير هذه الورقة البحثية إلى أنه من خلال كوننا أكثر ذكاءً في تحديد أين و كيف نصغر الذكاء الاصطناعي، يمكننا جعل هذه الأدمغة العملاقة صغيرة، وسريعة، ولا تزال دقيقة للغاية، دون الحاجة إلى التضحية بجودة إجاباتها.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.