SLiM: One-shot Quantization and Sparsity with Low-rank Approximation for LLM Weight Compression
إن SLIM هو إطار عمل للضغط بلمسة واحدة للنماذج اللغوية الكبيرة، يدمج بشكل شامل التكميم الموحد الصديق للأجهزة، والتخلخل شبه المهيكل، وطريقة تقريب منخفضة الرتبة مبتكرة قائمة على البروز، لتحسين الدقة وسرعة الاستدلال بشكل كبير مع إلغاء الحاجة إلى إعادة التدريب المكلفة حاسوبياً.
تُعد النماذج اللغوية الكبيرة المحركات الكامنة وراء جيل جديد من الذكاء الاصطناعي، وهي قادرة على كتابة القصص، وحل المشكلات، وإجراء المحادثات بطلاقة ملحوظة. تُبنى هذه الأنظمة من مليارات الروابط الرياضية، أو ما يُعرف بالمعلمات (parameters)، التي تعمل معاً لمعالجة المعلومات. وبينما يسمح هذا النطاق الهائل لهذه النماذج بفهم الفروق الدقيقة والسياق، فإنه يفرض أيضاً عبئاً ثقيلاً: إذ تتطلب هذه النماذج كميات هائلة من ذاكرة الحاسوب وقوة المعالجة للتشغيل. وهذا يجعل من الصعب استخدامها على الأجهزة اليومية مثل الهواتف الذكية أو أجهزة الكمبيوتر المحمولة، مما يحصرها غالباً في مراكز بيانات متخصصة ومكلفة. لسنوات، حاول الباحثون تقليص حجم هذه النماذج لجعلها أكثر سهولة في الوصول إليها، لكن العملية كانت بمثابة مقايضة؛ فالتقنيات التي تضغط النماذج غالباً ما تؤدي إلى تدهور ذكائها، مما يفرض خياراً بين برنامج أصغر وأسرع، أو برنامج ذكي ودقيق.
طوّر فريق من الباحثين طريقة جديدة تسمى SLIM تهدف إلى كسر هذه المقايضة. يركز عملهم على تحدٍ محدد: كيفية ضغط نموذج لغوي كبير في خطوة واحدة، دون الحاجة إلى إعادة تدريب مكلفة، مع الحفاظ على أدائه ليكون مطابقاً تقريباً للنموذج الأصلي. دمج الباحثون ثلاث تقنيات ضغط متميزة — تقليل دقة الأرقام التي يستخدمها النموذج، وإزالة الروابط غير الضرورية، وإضافة تعديلات صغيرة ومرنة — لإنشاء عملية موحدة. والنتيجة هي نظام يمكنه تقليص حجم النموذج بشكل كبير مع الحفاظ على قدرته على الإجابة على الأسئلة وتوليد النصوص، بل وتحسينها في بعض الحالات.
كانت الصعوبة الجوهرية التي واجهها الباحثون هي أن ضغط النموذج عادة ما يؤدي إلى حدوث أخطاء. تخيل محاولة وضع لوحة فنية كبيرة ومفصلة داخل إطار صغير؛ إذا قمت ببساطة بقطع الحواف أو ضغط الصورة، فستفقد تفاصيل مهمة. في العالم الرقمي، يحدث هذا عندما يقلل الباحثون من عدد البتات (bits) المستخدمة لتخزين الأرقام أو عندما يحذفون أجزاءً من بنية النموذج. حاولت الطرق السابقة إصلاح هذه الأخطاء عن طريق إعادة تدريب النموذج على كميات هائلة من البيانات، وهي عملية بطيئة ومكلفة حاسوبياً. وحاولت طرق أخرى إصلاح الأخطاء في خطوة واحدة، لكنها غالباً ما فشلت عند محاولة الجمع بين تقنيات ضغط مختلفة، مما أدى إلى انخفاض كبير في الجودة.
يتناول إطار عمل SLIM هذه المشكلة من خلال التعامل مع عملية الضغط كمتتالية منسقة من ثلاث خطوات. أولاً، قام الباحثون بتبسيط الأرقগুলো داخل النموذج. فبدلاً من استخدام مقاييس معقدة ومتغيرة لأجزاء مختلفة من البيانات، طوروا طريقة جديدة لتطبيق مقياس واحد موحد على مجموعات كاملة من الأرقام. وهذا يجعل العملية أسرع بكثير وأسهل في التعامل معها من قبل أجهزة الحاسوب القياسية. ومع ذلك، كانوا يعلمون أن هذا النهج الموحد سيترك بعض عدم الدقة، لذا انتقلوا فوراً إلى الخطوة الثانية: إزالة الروابط الأقل أهمية. استخدموا طريقة مثبتة لتحديد الأجزاء التي تقوم بأقل قدر من العمل في النموذج وقاموا بتقليمها، مما خلق بنية متفرقة (sparse structure) أسرع في المعالجة.
الخطوة الثالثة هي المكان الذي يتجلى فيه الابتكار حقاً. فبعد تبسيط الأرقام وإزالة الروابط، يفقد النموذج حتماً بعضاً من دقته الأصلية. ولتعويض هذه الدقة المفقودة دون إعادة تدريب النظام بأكل، أضاف الباحثون محولات (adapters) صغيرة ذات رتب منخفضة. فكر في هذه المحولات كمجموعة من أدوات الضبط الدقيق التي يمكن إلحاقها بالنموذج المضغوط لتصحيح أخطائه. ابتكر الباحثون طريقة رياضية فريدة لحساب ماهية هذه الأدوات بدقة، بناءً على مقدار مساهمة كل جزء من النموذج في الأخطاء. ومن خلال استخدام دالة محددة تقيس أهمية الأجزاء المختلفة من البيانات، تمكنوا من اشتقاق الإعدادات المثالية لهذه المحولات رياضياً في تمريرة واحدة. وقد سمح لهم ذلك بالتعويض عن الأخطاء الناتجة عن الخطوتين الأوليين، مما استعاد ذكاء النموذج بفعالية.
تم اختبار نتائج هذا النهج على عدة نماذج لغوية كبيرة، بما في ذلك نسخ تحتوي على 7 مليارات و13 مليار معلمة. وعندما طبق الباحثون طريقتهم، وجدوا أن النماذج المضغوطة أدت أداءً أفضل بكثير من المحاولات السابقة. بالنسبة لنموذج بـ 7 مليارات معلمة، حسنت الطريقة الجديدة الدقة بنسبة تصل إلى 5.66 بالمائة مقارنة بتقنيات الضغط ذات الخطوة الواحدة الأخرى. وفي بعض الحالات، كانت النماذج المضغوطة أكثر دقة من النماذج الأصلية غير المضغوطة عند قياسها بنفس مقدار الذاكرة التي تشغلها. وهذا يشير إلى أن الطريقة لا تحافظ على الجودة فحسب، بل يمكنها أيضاً تحسين كفاءة النموذج إلى درجة لا يستطيع الإصدار الأصلي الضخم تحقيقها ضمن نفس حدود الموارد.
بالإضافة إلى الدقة، تحقق الطريقة تحسينات كبيرة في السرعة. ولأن النماذج أصغر حجماً ومبنية بطريقة يمكن لبطاقات الرسوميات الحديثة معالجتها بكفاءة، فإنها تعمل بشكل أسرع بكثير. على بطاقة رسوميات استهلاكية قياسية، عملت النماذج المضغوطة أسرع بمقدار يصل إلى 4.3 مرة من النماذج الكثيفة الأصلية. وعلى الأجهزة الاحترافية الأكثر قوة، كان تسريع السرعة كبيراً أيضاً، حيث وصل إلى 3.8 مرة أسرع. بالإضافة إلى ذلك، انخفضت الذاكرة المطلوبة لتشغيل هذه النماذج بشكل كبير، حيث استخدمت بعض التكوينات أقل من ربع الذاكرة المطللة للنسخ الكثيفة الأصلية. ويعني هذا الانخفاض في بصمة الذاكرة أن النماذج التي كانت تتطلب سابقاً خوادم ضخمة يمكن تشغيلها محتملاً على أجهزة أكثر سهولة في الوصول إليها.
استكشف الباحثون أيضاً ما إذا كان القدر الضئيل من التدريب الإضافي يمكن أن يساعد بشكل أكبر. ووجدوا أنه من خلال السماح للمحولات الصغيرة بالتكيف قليلاً على كمية ضئيلة من البيانات، يمكن تعزيز دقة النموذج بنسبة 1.66 بالمائة أخرى. توفر هذه الخطوة الاختيارية طريقة لاستخراج المزيد من الأداء إذا كان التطبيق يسمح بفترة قصيرة من الضبط، لكن الطريقة الأساسية تظل فعالة بدونها. قارن الفريق عملهم مع الطرق الرائدة الأخرى ووجد أن نهجهم تفوق عليها باستمرار، لا سيما عند الجمع بين أنواع مختلفة من الضغط. وبينما كافحت الطرق الأخرى للتعامل مع الجمع بين إزالة الروابط وتقليل دقة الأرقام في آن واحد، نجح نظام SLIM في دمجها بسلاسة.
يمثل هذا العمل خطوة كبيرة للأمام في جعل النماذج اللغوية الكبيرة عملية لمجموعة أوسع من الأجهزة. ومن خلال حل مشكلة كيفية ضغط نموذج في خطوة واحدة دون التضحية بذكائه، قدم الباحثون مساراً لنشر الذكاء الاصطناعي المتقدم على أجهزة أكثر شيوعاً وبأسعار معقولة. لا تعتمد الطريقة على أجهزة مخصصة ومعقدة أو جهود إعادة تدريب ضخمة، مما يجعلها حلاً قابلاً للتطبيق في تطبيقات العالم الحقيقي. ومع نمو الطلب على الذكاء الاصطناعي الفعال وسهل الوصول، توفر تقنيات مثل SLIM وسيلة للموازنة بين الحاجة إلى السرعة والذاكرة وبين الطلب على الأداء الذكي عالي الجودة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.