Sensitivity-aligned Mixed-precision Quantization and Low-rank Adaptation for LLMs
تقترح هذه الورقة إطار عمل موجهاً بالحساسية يجمع بين التكميم مختلط الدقة على مستوى الكتل والتكيف منخفض الرتبة التكيفي لضغط النماذج اللغوية الكبيرة بكفاءة مع الحفاظ على الأداء في المهام اللاحقة والارتباك أو حتى تحسينهما مقارنة بنماذج FP16 المرجعية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تعد نماذج اللغات الكبيرة المحركات التي تقف وراء أكثر أنظمة الذكاء الاصطناعي تقدماً في يومنا هذا، وهي قادرة على كتابة القصص، وحل المشكلات المعقدة، وإجراء محادثات تبدو بشرية بشكل لافت. تُبنى هذه الأنظمة على شبكات هائلة من الروابط الرياضية، والتي تحتوي غالباً على مليارات المعلمات (parameters)، مما يسمح لها بتعلم الأنماط من كميات هائلة من النصوص. ومع ذلك، فإن هذا الذكاء يأتي بثمن باهظ: فالحجم الهائل لهذه النماذج يتطلب كميات ضخمة من ذاكرة الكمبيوتر وقدرة المعالجة. وهذا يجعل من الصعب تشغيلها على الأجهزة اليومية مثل الهواتف الذكية أو أجهزة الكمبيوتر المحمولة، وحتى مراكز البيانات باهظة الثمن تعاني من متطلبات الطاقة والسرعة لمثل هذه الأنظمة الضخمة. ولجعل هذه الأدوات القوية أكثر سهولة في الوصول إليها، أمضى الباحثون سنوات في تطوير طرق لتقليص حجمها دون فقدان قدرتها على التفكير بوضوح.
أحد أكثر الأساليب واعدة لتقليص حجم هذه النماذج يسمى "التكميم" (quantization). تخيل مكتبة حيث كُتبت كل الكتب بتنسيق عالي الدقة وملون بالكامل يأخذ مساحة كبيرة من الرفوف. التكميم يشبه إعادة طباعة تلك الكتب بخط أصغر وأكثر اندماجاً أو باستخدام ألوان أقل لتوف fine المساحة. في عالم الحواسيب، يعني هذا تمثيل الأرقام داخل النموذج بعدد أقل من بتات المعلومات (bits). وبينما يقلل هذا من حجم النموذج بشكل كبير، إلا أنه غالباً ما يؤدي إلى حدوث أخطاء، تماماً مثل نسخة ضوئية تفقد بعض التفاصيل. إذا كان الضغط شديداً للغاية، فقد تتدهور قدرة النموذج على فهم اللغة، مما يؤدي إلى إجابات غير منطقية أو غير صحيحة. ويتمثل التحدي في إيجاد طريقة لضغط النموذج بما يكفي ليتناسب مع الأجهزة الأصغر مع الحفاظ على جودة مخرجاته عالية.
يقترح بحث جديد أجراه باحثون في جامعة جيجو الوطنية حلاً ذكياً لهذه المشكلة من خلال معاملة أجزاء مختلفة من النموذج بشكل مختلف، بدلاً من تطبيق قاعدة ضغط واحدة على الشيء بأكمله. لقد لاحظوا أن ليس كل أجزاء نموذج اللغة متساوية في الأهمية؛ فبعض الأقسام حساسة للغاية للتغييرات وتعمل كعمود فقري حرج لعملية الاستنتاج في النموذج، بينما تكون أقسام أخرى أكثر متانة ويمكنها تحمل الضغط بشكل أكبر. طور الباحثون نظاماً يرسم خرائط لهذه المناطق الحساسة ويخصص لها دقة أعلى، محتفظاً بها مفصلة وواضحة، بينما يسمح للمناطق الأقل حساسية بأن تُضغط إلى تنسيق أصغر وأكثر كفاءة. هذا النهج يشبه كيف يمكن للمصور الفوتوغرافي أن يبقي وجه الشخص موضوع التصوير في تركيز حاد بينما يقوم بتنعيم الخلفية قليلاً لتوفير المساحة، مما يضمن بقاء التفاصيل الأكثر أهمية سليمة.
قام الباحثان، سيد فايزان حسين شاه، وكيونغمين كيم، بإنشاء إطار عمل يطلقون عليه اسم A2BQ، وهو اختصار لـ "التكميم مختلط الدقة القائم على كتل الانتباه" (attention-derived block-wise mixed-precision quantization). بدلاً من النظر إلى النموذج ككتلة واحدة من البيانات، قاموا بتفكيكه إلى قطع أصغر. ثم قاموا بتحليل مدى اعتماد كل قطعة على تدفق المعلومات داخل النموذج، باستخدام إشارة مشتقة من كيفية تركيز النموذج انتباهه على الكلمات المختلفة. وبناءً على هذا التحليل، خصصوا مستويات مختلفة من الدقة لكل قطعة. فبعض القطع تم الإبقاء عليها بمستوى عالٍ من التفاصيل، باستخدام ثمانية بتات من المعلومات، بينما تم ضغط قطع أخرى إلى ست أو حتى أربع بتات. وقد خلق هذا خريطة دقة مختلطة حيث ظلت الأجزاء الأكثر حرجاً في النموذج قوية، بينما تم تقليص الأجزاء الأقل أهمية لتوفير المساحة.
ومع ذلك، فإن مجرد ضغط النموذج، حتى لو تم بطريقة ذكية، لا يزال يترك بعض المجال للخطأ. ولإصلاح ذلك، أضاف الباحثون خطوة ثانية تسمى "التكيف منخفض الرتبة التكيفي"، أو qLoRA+. فكر في هذا كعملية ضبط دقيق حيث تُمنح للنموذج فرصة لتعلم كيفية تصحيح الأخطاء الصغيرة التي تسبب فيها الضغط. في الأساليب السابقة، كان يتم تطبيق هذا الضبط الدقيق بشكل موحد عبر النموذج بأكم، مما يعطي كل جزء نفس القدر من المساعدة. أما النهج الجديد فهو أكثر استراتيجية: فهو يمنح "قدرة تعلم" أكبر للأجزاء التي تم ضغطها بشكل أكبر أو التي تم تحديد أنها الأكثر حساسية. ومن خلال توجيه قدرة النموذج على التعلم خصيصاً نحو المناطق التي تحتاج إليها، تمكن الباحثون من استعادة الكثير من الجودة التي ربما فُقدت أثناء الضغط.
اختبر الفريق هذا النهج المشترك على خمسة نماذج لغوية كبيرة مختلفة، تتراوح أحجامها من 1.1 مليار إلى 8 مليارات معلمة. وقاسوا مدى جودة أداء هذه النماذج في مهام لغوية قياسية، مثل التنبؤ بالكلمة التالية في جملة، وهو مؤشر رئيسي على مدى فهم النموذج للغة. وأظهرت النتائج أن طريقتهم تفوقت باستمرار على النماذج التي تم ضغطها باستخدام مستوى دقة واحد وموحد. في الواقع، بالنسبة لأصغر نموذج اختبروه، حققت الطريقة الجديدة درجة محددة بلغت 7.884 في اختبار قياسي، وهو تحسن عن خط الأساس المختلط الدقة المقابل، مع العمل أيضاً بسرعة قدرها 73.11 رمزاً (tokens) في الثانية. وهذا يشير إلى أنه من خلال الموازنة بعناية بين مكان الضغط ومكان الاحتفاظ بالتفاصيل، ومن ثم مساعدة النموذج على التكيف مع تلك التغييرات، فمن الممكن جعل هذه الأنظمة القوية أصغر حجماً دون التضحية بذكائها.
يتعلق أحد أهم النتائج التي توصلت إليها الدراسة بالفرق بين مقدار المساحة التي يوفرها النموذج نظرياً ومقدار الذاكرة التي يستخدمها فعلياً أثناء التشغيل. لاحظ الباحثون أنه بينما يمكن لطريقتهم تقليل حجم تخزين النموذج نظرياً بنسبة تتراوح بين 4 إلى 8 بالمائة، إلا أن الذاكرة الفعلية المستخدمة أثناء التشغيل ظلت قريبة من النموذج الأصلي غير المضغوط. وذلك لأن نظامهم الحالي يعيد بناء البيانات المضغوطة إلى تنسيق قياسي قبل أن يقوم الكمبيوتر بمعالجتها. وبينما يعني هذا أن الفوائد الفورية للسرعة الناتجة عن وجود ملف أصغر على القرص ليست محققة تماماً في إعدادهم الحالي، إلا أن الدراسة تثبت أن استراتيجية خلط مستويات الدقة المختلفة وتكييف النموذج وفقاً لذلك تعمل على الحفاظ على الجودة. علاوة على ذلك، وجد الباحثون أنه بينما حسنت الطريقة درجات نمذجة اللغة، إلا أنها لم تضمن تحسينات موحدة عبر جميع المهام اللاحقة؛ حيث ظل الأداء في معايمات محددة قريباً بشكل عام من النماذج الأصلية غير المضغوطة، مع ظهور بعض الانخفاضات الطفيفة في بعض المهام. ويرى الباحثون أن هذا النهج يقدم مساراً واضحاً للمضي قدماً: فمن خلال فهم أي أجزاء من النموذج هشة وأيها متينة، يمكننا تصميم أنظمة تتسم بالكفاءة والذكاء في آن واحد، مما يمهد الطريق لتشغيل ذكاء اصطناعي أكثر قدرة على الأجهزة التي نستخدمها كل يوم.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.