SLoPe: Double-Pruned Sparse Plus Lazy Low-Rank Adapter Pretraining of LLMs
تُعد SLOPE طريقة تدريب مسبق مبتكرة للنماذج اللغوية الكبيرة تجمع بين أوزان متفرقة من نوع N:M مقلمة مرتين واستراتيجية محول منخفضة الرتبة "كسولة" تُطبق فقط في آخر 1% من دورات التدريب، مما يحقق تسريعاً كبيراً (يصل إلى 1.54×) وتقليلاً في الذاكرة (يصل إلى 0.63×) أثناء كل من التدريب والاستدلال مع الحفاظ على دقة نموذج مماثلة للنماذج كثيفة الكثافة.
يتحدد عالم الذكاء الاصطنا-عي الحديث بشكل متزايد من خلال نماذج اللغة الكبيرة، وهي أدمغة رقمية هائلة تم تدريبها على مكتبات ضخمة من النصوص لفهم وتوليد اللغة البشرية. هذه الأنظمة قوية، لكنها تأتي بتكلفة باهظة: فهي تتطلب كميات هائلة من قدرة الحوسبة للتدريب وكميات شاسعة من الذاكرة للتشغيل. ولجعل هذه النماذج أسرع وأرخص في الاستخدام، حاول الباحثون لفترة طويلة تبسيطها عن طريق إزالة أجزاء من هيكلها الداخلي التي تبدو أقل أهمية، وهي عملية تُعرف باسم "التقليم" (pruning). تخيل مكتبة ضخمة حيث تقرر إزالة كل كتاب لا يُقرأ كثيرًا؛ سيصبح المبنى أصغر وأسهل في التنقل، ولكن إذا أزلت الكثير من الكتب أو الكتب الخاطئة، ستفقد المكتبة قدرتها على الإجابة على الأسئلة. في المجال الرقمي، غالبًا ما يؤدي هذا التبسيط إلى فقدان الدقة، حيث يصبح النموذج أقل موثوقية. علاوة على ذلك، بينما يوفر حذف البيانات المساحة، لا يزال يتعين على الكمبيوتر القيام بالعمل المعقد المتمثل في التحقق من الأجزاء التي يجب الاحتفاظ بها والتي يجب التخلص منها خلال كل خطوة من خطوات تعلمه، مما يؤدي غالبًا إلى إبطال فوائد السرعة.
لقد طور فريق من الباحثين نهجًا جديدًا يسمى SLOPE لحل هذه المقايضة المستمرة بين السرعة والذاكرة والدقة. تسمح طريقتهم بتدريب واستخدام نماذج اللغة الضخمة هذه بموارد أقل بكثير دون التضحية بقدرتها على فهم اللغة. يكمن جوهر ابتكارهم في كيفية تعاملهم مع عملية تعلم النموذج. فبدلاً من محاولة إبقاء النموذج بسيطًا منذ البلى، فإنهم يسمحون له بالتعلم باستخدام هيكل قياسي ومبسط طوال فترة التدريب بالكامل تقريبًا. ثم، في الجزء الضئيل الأخير من وقت التدريب، يقدمون إضافة صغيرة ومرنة تساعد النموذج على استعادة أي دقة مفقودة. هذه الإضافة ليست مكونًا ثقيلًا كامل الحجم، بل هي طبقة خفيفة وفعالة تعمل كأداة ضبط دقيق، مما يسمح للنموذج باستعادة حدته دون الحاجة إلى تخزين أو معالجة كمية هائلة من البيانات الإضافية.
كما عالج الباحثون عقبة محددة أبطأت المحاولات السابقة لتبسيط هذه النماذج. في العمليات الحاسوبية القياسية، يجب على النموذج النظر إلى بياناته الداخلية في اتجاهين مختلفين: مرة للتنبؤ بالكلمة التالية، ومرة أخرى لتصحيح أخطائه. كانت طرق التبسيط السابقة تعمل بشكل جيد في الاتجاه الأول، لكنها كانت تجبر الكمبيوتر على القيام بعمل إضافي وبطيء عند النظر إلى البيانات في الاتجاه الثاني. تغير الطريقة الجديدة ترتيب العمليات بحيث يعمل التبسيط بكفاءة في كلا الاتجاهين في آن واحد. وهذا يسمح للكمبيوتر بمعالجة البيانات بشكل أسرع بكثير، مستفيدًا من الأجهزة المتخصصة المصممة للتعامل مع هذه الأنماط المحددة من الأصفار وغير الأصفار. ومن خلال إعادة ترتيب كيفية تقليم البيانات قبل معالجتها في مرحلة التصحيح، ضمن الباحثون إمكانية تعلم النموذج بنفس الفعالية مع التحرك عبر البيانات بسرعة أعلى بكثير.
عند اختبار الطريقة على نماذج تتراوح من مئات الملايين إلى عشرات المليارات من المعلمات (parameters)، كانت النتائج جوهرية. فقد سرعت الطريقة الجديدة عملية التدريب بما يصل إلى 1.25 مرة، وجعلت النموذج النهائي يعمل بسرعة أكبر بمقدار يصل إلى 1.54 مرة أثناء الاستخدام. ولعل الأهم من ذلك، أنها قللت من كمية ذاكرة الكمبيوتر المطلوبة لتشغيل هذه النماذج بأكثر من النصف في بعض الحالات. وجد الباحثون أنه من خلال إضافة طبقتهم الخفيفة والمرنة في نهاية التدريب فقط، استطاع النموذج تحقيق مستويات دقة قريبة جدًا من مستويات النسخ الأكبر حجمًا وغير المبسطة. يتجنب هذا النهج الفخ الشائع حيث تتطلب النماذج المبسطة مرحلة نهائية مكلفة من إعادة التدريب باستخدام بيانات كاملة الحجم لتصبح مفيدة مرة أخرى. بدلاً من ذلك، يظل النموذج فعالاً طوال دورة حياته بالكامل، من اللحظة التي يبدأ فيها التعلم إلى اللحظة التي يجيب فيها على سؤال المستخدم.
توضح الدراسة أنه من الممكن الحصول على كل من الكفاءة والأداء العالي في الذكاء الاصطناعي، بشرط تطبيق التبسيط باستراتيجية محددة. أظهر الباحثون أن توقيت إضافة السعة الإضافية مهم للغاية؛ حيث إن تقديم قدر ضئيل من المرونة في نهاية عملية التعلم يعطي نتائج أفضل من محاولة الحفاظ على تلك المرونة طوال الرحلة بأكملها. يتحدى هذا الاكتشاف الافتراض القائل بأن النموذج يجب أن يكون إما معقدًا بالكامل أو بسيطًا بالكامل، مقترحًا بدلاً من ذلك أن النهج الهجين، حيث يكون النموذج بسيطًا في الغالب ولكنه يتلقى دفعة مستهدفة عند خط النهاية، يقدم أفضل ما في العالمين. يوفر هذا العمل مسارًا واضحًا للمضي قدمًا لجعل الذكاء الاصطناي المتقدم أكثر سهولة في الوصول، وأسرع، وأقل تطلبًا للأجهزة التي تشغله.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.