Compression Trinity: Exploring Sparsity, Quantization, and Low-Rank Approximations for LLM Compression
تقدم هذه الورقة البحثية "ثلاثية الضغط" (Compression Trinity)، وهي إطار عمل موحد يستفيد بشكل مشترك من التناثر (sparsity)، والكمية (quantization)، والتقريبات منخفضة الرتبة (low-rank approximations) للتغلب على مقايضات الدقة والكفاءة في ضغط النماذج اللغوية الكبيرة التقليدية، محققةً تسريعات وتحسينات كبيرة في الدقة عبر كل من مرحلتي ما قبل التدريب وما بعد التدريب من خلال أساليب مبتكرة مثل MKOR وSLoPe وOPTIMA وPATCH وSLiM.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تُعد النماذج اللغوية الكبيرة المحركات التي تقف وراء جيل جديد من الذكاء الاصطناائي، وهي قادرة على كتابة القصص، وحل المشكلات المعقدة، وإجراء محادثات تبدو بشرية بشكل لافت. ومع ذلك، فإن هذه العقول الرقمية تأتي بتكلفة باهظة؛ فلتدريبها، يجب على الباحثين تغذيتها بكميات هائلة من البيانات، وهي عملية تستهلك كميات ضخمة من الكهرباء وتتطلب مجموعات من الحواسيب القوية التي تكلف ملايين الدولارات. وحتى بعد التدريب، فإن تشغيل هذه النماذج للإجابة على سؤال واحد يتطلب ذاكرة وقدرة معالجة هائلتين، مما يحد غالباً من استخدامها في مراكز البيانات الكبيرة بدلاً من الأجهزة الشخصية. لسنوات، حاول العلماء جعل هذه النماذج أصغر وأسرع باستخدام ثلاث حيل رئيسية: إزالة الاتصالات غير الضرورية، وتقليل دقة الأرقام التي تستخدمها، وتبسيط هيكلها الداخلي. ومع ذلك، فإن تطبيق هذه الحيل واحدة تلو الأخرى قد اصطدم بحائط مسدود؛ فعندما حاول الباحثون إزالة الكثير من الاتصالات، أصيب النموذج بالارتباك وفقد ذكاءه، وعندما قللوا الدقة أكثر من اللازم، أصبحت الأرقام خشنة جداً بحيث لا تستطيع استيعاب معرفة النموذج. لقد نجحت كل طريقة بمفردها، لكنها فشلت عندما تم دفعها إلى أقصى الحدود، مما ترك الصناعة أمام خيار صعب بين نموذج ضخم وبطيء، أو نموذج صغير ومعطل.
لقد اقترح باحث في جامعة تورنتو، بقيادة محمد مظفري، طريقاً جديداً للمضي قدماً يعامل هذه الطرق الثلاث ليس كخيارات منفصلة، بل كمجموعة أدوات موحدة. وقد أطلقوا على هذا النهج اسم "الثالوث الضغطي" (Compression Trinity). وبدلاً من الاختيار بين إزالة الاتصالات، أو تبسيط الأرقام، أو تغيير الهيكل، أثبت عملهم أن هذه التقنيات الثلاث تعمل بشكل أفضل عند تطبيقها معاً. الفكرة الجوهرية هي أن كل طريقة تغطي نقاط ضعف الأخرى؛ فإزالة الاتصالات تقلل من حجم العمل الذي يتعين على الحاسوب القيام به، بينما يقلل تبسيط الأرقام من كمية البيانات التي يجب نقلها، أما التقنية الثالثة، والتي تتضمن إضافة طبقة صغيرة ومرنة من المعلومات الإضافية، فهي تعمل كشبكة أمان، حيث تستعيد الذكاء الذي فُقد عند تطبيق الطريقتين الأخريين. ومن خلال الجمع بينها، وجد الباحثون أن بإمكانهم تقليص النماذج بشكل كبير دون كسرها، وفي بعض الحالات، جعلها أكثر ذكاءً من نسخها الأكبر غير المضغوطة.
بدأت الرحلة نحو هذا الاكتشاف بالنظر في كيفية تدريب هذه النماذج. التدريب هو المرحلة الأكثر تكلفة، حيث يتطلب من الحاسوب تعديل مليارات الأرقام للتعلم من البيانات. أدرك الباحثون أن الأدوات القياسية المستخدمة لتوجيه عملية التعلم هذه كانت ثقيلة وبطيئة للغاية، فطوروا طريقة جديدة تطبق "الثالوث" مباشرة على عملية التدريب نفسها. ومن خلال تبسيط الطريقة التي يحسب بها الحاسوب خطوته التالية، تمكنوا من تسريع تدريب النماذج الكبيرة بنسبة تقتر-بضع المرات مقارنة بأفضل الطرق الموجودة. لقد حققوا ذلك باستخدام مزيج من الحسابات المتفرقة، والأرقام المبسطة، والتقريب من الرتبة المنخفضة الذي سمح للحاسوب بتجاوز العمل غير الضروري مع الاستمرار في إيجاد المسار الصحيح نحو الحل. وهذا يعني أن الوقت والطاقة اللازمين لإنشاء هذه النماذج القوية يمكن تقليلهما بشكل جذري.
بمجرد تدريب النموذج، يجب ضغطه للاستخدام في العالم الحقيقي، حيث تكون الذاكرة والسرعة أكثر أهمية. وهنا، عالج الباحثون مشكلة "الخطأ التراكمي"؛ فعندما تحاول ضغط نموذج باستخدام طريقة واحدة فقط، تتراكم الأخطاء حتى يتوقف النموذج عن العمل. أظهر الفريق أنه من خلال تطبيق "الثالوث" بترتيب محدد، يمكنهم منع هذا الانهيار. أولاً، استخدموا تقنية رياضية لإيجاد أفضل طريقة ممكنة لإزالة نصف اتصالات النموذج دون المساس بأدائه، مما خلق أساساً متيناً ومتفرقاً. بعد ذلك، قاموا بتقليل دقة الأرقام المتبقية لتوف توفير المساحة. وأخيراً، أضافوا طبقة صغيرة مستمدة رياضياً من المعلومات الإضافية لإصلاح الأخطاء الناتجة عن الإزالة والتبسيط. كانت هذه الخطوة الأخيرة حاسمة؛ فقد عملت مثل فريق إصلاح، يملأ الفجوات التي تركها الضغط بحيث يحتفظ النموذج بقدرته على التفكير والفهم.
كانت نتائج هذا النهج مذهلة. فعند اختبارها على نماذج بمليارات المعلمات، أنتجت الطريقة المشتركة نماذج أصغر بثماني مرات من الأصل ولكنها قدمت أداءً مماثلاً، أو حتى أفضل في بعض الأحيان، في مجموعة واسعة من المهام. وفي المقارنات المباشرة، تفوقت هذه النماذج المضغوطة على تقنيات الضغط الحديثة الأخرى بفارق كبير، حيث حسنت الدقة بنسبة تصل إلى ما يقرب من ستة بالمائة في بعض الحالات. ولعل الأمر الأكثر إثارة للدهشة هو أنه عندما قارن الباحثون نماذجهم المضغوطة بالنماذج غير المضغوطة من نفس الحجم، كانت النسخ المضغوطة أكثر دقة بالفعل. وهذا يشير إلى أن عملية إزالة الأجزاء الزائدة من النموذج واستبدالها بتصحيح ذكي من رتبة منخفضة تساعد النموذج فعلياً على التركيز على ما يهم أكثر.
استكشف الباحثون أيضاً كيفية تكييف هذه التقنيات لأنواع مختلفة من الأجهزة. ووجدوا أنه من خلال السماح للنموذج بالاحتفاظ ببعض الأجزاء كثيفة وأخرى متفرقة في نمط مرن، يمكنهم تحقيق توازن مستمر بين السرعة والدقة. هذا المرونة تعني أنه يمكن ضبط النماذج لتعمل بكفاءة على كل شيء، بدءاً من خوادم مراكز البيانات القوية وصولاً إلى بطاقات الرسوميات المخصصة للمستهلكين. كما تضمن العمل طريقة جديدة لتدريب النماذج التي هي بالفعل متفرقة، مما يضمن أن عملية التعلم نفسها كانت فعالة منذ الخطوة الأولى. هذا النهج يعني أن النموذج يمكنه التعلم بسرعة باستخدام اتصالات متفرقة وإضافة التعقيد الضروري فقط في نهاية التدريب، مما يوفر الوقت والطاقة طوال العملية برمتها.
بينما تبدو النتائج واعدة، يلاحظ الباحثون بحذر أن أساليبهم مُحسّنة حالياً لأنواع معينة من شرائح الكمبيوتر، وخاصة تلك التي تصنعها شركة NVIDIA والتي تمتلك أجهزة خاصة للتعامل مع البيانات المتفرقة. وهم يقرون بأن نقل هذه التقنيات إلى أنواع أخرى من الأجهزة أو المعالجات العامة سيتطلب المزيد من الهندسة. كما يشيرون إلى أنه بينما تؤدي النماذج أداءً جيداً في الاختبارات القياسية، إلا أن هناك حاجة لضمان أن عملية الضغط لا تضر دون قصد بقدرة النموذج على فهم اللغات المتنوعة أو السياقات الثقافية، حيث إن إزالة أجزاء من النموذج قد تؤثر بشكل غير متناسب على المعرفة المتعلقة بالمجموعات الممثلة تمثيلاً ناقصاً.
في نهاية المطاف، يشير هذا العمل إلى أن مستقبل الذكاء الاصطناعي الفعال لا يكمن في الاختيار بين طريقة ضغط وأخرى، بل في نسجها معاً. يقدم "الثالوث الضغطي" مخططاً لبناء نماذج غنية بالمعرفة ولكنها متفرقة في الحوسبة. ومن خلال التعامل مع الكفاءة كعملية توازن متعددة الأبعاد بدلاً من كونها مشكلة تحسين أحادية، أظهر الباحثون أنه من الممكن إنشاء ذكاء اصطناعي قوي وعملي في آن واحد. وتشير نتائجهم إلى أن حواجز نشر هذه النماذج على الأجهزة اليومية ليست حدوداً أساسية للفيزياء أو الرياضيات، بل هي مسألة إيجاد المزيج الصحيح من الأدوات. ومع تقدم المجال، يمكن لهذا النهج المتكامل أن يصبح المعيار لجعل النماذج اللغوية الكبيرة سهلة الوصول، ومستدامة، وجاهزة للعالم الحقيقي.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.