Sparser, Faster, Lighter Transformer Language Models
تقدم هذه الورقة تنسيق تعبئة متناثرًا جديدًا ونواة CUDA محسنة تستفيد من التناثر غير المهيكل في طبقات التغذية الأمامية للنماذج اللغوية الكبيرة (LLM) لتحقيق تناثر يتجاوز 99% مع فقدان ضئيل في الأداء، مما يؤدي إلى تحسينات كبيرة في معدل الإنتاجية، وكفاءة الطاقة، واستخدام الذاكرة للنماذج واسعة النطاق.
البحث الأصلي مُهدى إلى الملك العام بموجب CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تدير مكتبة ضخمة وفخمة (نموذج لغوي كبير أو LLM) يمكنها الإجابة على أي سؤال، أو كتابة الشعر، أو حل المشكلات المعقدة. وللقيام بذلك، تمتلك المكتبة ملايين الموظفين (النيورونات/الأعصاب) يعملون في غرف ضخمة (الطبقات).
المشكلة: المكتبة "المزدحمة"
في الوقت الحالي، تكلفة تشغيل هذه المكتبات باهظة للغاية. لماذا؟ لأنه مقابل كل سؤال تطرحه، يستيقظ كل موظف في الغرفة، ويمسك بكتاب ويبدأ في القراءة، حتى لو كان 99% منهم لا يملكون الإجابة فعلياً أو لا يحتاجون للقيال بأي شيء.
- التكلفة: هذا يهدر كميات هائلة من الكهرباء، ويستهلك الكثير من ذاكرة الكمبيوتر، ويجعل المكتبة بطيئة لأن الجميع يتحركون في وقت واحد، مما يخلق اختناقات مرورية.
- المفارقة: قد تعتقد: "إذا كان 99% من الموظفين لا يفعلون شيئاً، فلما-ذا لا نطلب منهم الذهاب إلى منازلهم؟". المشكلة هي أن إخبارهم بالذهاب للمنزل (جعل النظام "متفرقاً" أو Sparse) عادة ما يؤدي إلى مزيد من الفوضى. إذ يضطر الكمبيوتر باستمرار للتحقق من قائمة من يعمل ومن لا يعمل، وهذا يبطئ العملية أكثر مما لو تركنا الجميع يعملون.
الحل: المكتبة "الذكية"
تقدم هذه الورقة طريقة جديدة لتشغيل المكتبة تجعلها أكثر تفرقاً، وأسرع، وأخف. قام المؤلفون (من Sakana AI وNVIDIA) ببناء نظام جديد يسمح للمكتبة بالعمل بذكاء أكبر، وليس بجهد أكبر.
إليك كيف فعلوا ذلك، باستخدام تشبيهات بسيطة:
1. خدعة الموظف "الكسول" (L1 Regularization)
أولاً، احتاجوا لتدريب الموظفين ليكونوا كسالى بالفعل. لقد أضافوا "جزاءً" طفيفاً لعملية التدريب (يسمى L1 regularization).
- التشبيه: تخيل مديراً يقول للموظفين: "إذا لم تكن بحاجة لفتح كتاب للإجابة على السؤال، فستحصل على مكافأة".
- النتيجة: تعلم الموظفون بسرعة أنهم يحتاجون فقط للاستيقاظ للأسئلة المحددة التي يمكنهم الإجابة عليها فعلياً. فجأة، بقي 99% من الموظفين نائمين لمعظم الأسئلة. أصبحت المكتبة متفرقة للغاية.
2. "نظام الأرشفة الذكي" الجديد (تنسيق TwELL)
كان هذا هو العائق الكبير: على الرغم من أن 99% من الموظفين كانوا نائمين، إلا أن أنظمة الكمبيوتر القديمة كانت سيئة جداً في التعامل مع معرفة "من هو مستيقظ". لقد حاولوا تنظيم الموظفين النائمين بطريقة تجعل الكمبيوتر يتعثر في قدميه.
- التشبيه: تخيل محاولة تنظيم حفلة حيث 99% من الضيوف نائمون. الطريقة القديمة كانت كتابة اسم كل ضيف (سواء نائم أو مستيقظ) في قائمة ضخمة، ثم شطب النائمين. هذا يستغرق وقتاً طويلاً.
- الابتكار: ابتكر المؤلفون نظام أرشفة جديداً يسمى TwELL (Tile-wise ELLPACK).
- بدلاً من قائمة واحدة ضخمة، قاموا بتقسيم المكتبة إلى "بلاطات" (Tiles) صغيرة سهلة الإدارة (مثل غرف صغيرة).
- داخل كل غرفة صغيرة، كتبوا فقط أسماء الموظفين الذين كانوا مستيقظين بالفعل.
- ولأن الكمبيوتر مصمم لمعالجة هذه "البلاطات" الصغيرة بشكل مثالي، يمكنه الآن تخطي الموظفين النائمين فوراً دون ارتباك. الأمر يشبه وجود حارس عند كل غرفة صغيرة يسمح فقط للأشخاص المستيقظين بالدخول، حتى لا يزدحم الردهة الرئيسية أبداً.
3. "المسار السريع" (Fused Kernels)
عادةً، في الكمبيوتر، عليك القيام بالخطوة (أ) (إيجاد الموظفين المستيقظين)، ثم الخطوة (ب) (إحضار كتبهم)، ثم الخطوة (ج) (كتابة الإجابة). يتضمن هذا الكثير من المشي ذهاباً وإياباً بين عقل الكمبيوتر (الذاكرة) وعضلاته (المعالج).
- الابتكار: بنى المؤلفون "مساراً سريعاً" جديداً (يسمى Fused Kernals).
- التشبيه: بدلاً من أن يمشي الموظف إلى الرف، ثم يعود إلى المكتب، ثم يمشي إلى الطابعة، قاموا ببناء حزام ناقل يقوم بالخطوات الثلاث في حركة واحدة سلسة. الكمبيوتر يأخذ الموظف المستيقظ، ويحصل على الكتاب، ويكتب الإجابة كلها في خطوة واحدة، دون أن يتوقف أبداً للتحقق من قائمة.
النتائج: لماذا هذا مهم؟
من خلال الجمع بين تدريب "الموظف الكسول" مع "نظام الأرشفة الذكي" و"المسار السريع"، حقق المؤلفون نتائج مذهلة:
- السرعة: تجيب المكتبة على الأسئلة أسرع بنسبة 20%.
- الطاقة: تستخدم كهرباء أقل بنسبة 15-17%.
- الذاكرة: تحتاج إلى ذاكرة كمبيوتر أقل بنسبة 20-28%، مما يعني أنه يمكنك تشغيل هذه النماذج الضخمة على أجهزة أصغر وأرخص.
- القابلية للتوسع: كلما كبرت المكتبة، زادت هذه الوفورات.
الخلاصة
تثبت هذه الورقة أنك لست بحاجة لبناء نوع جديد من المكتبات لجعلها فعالة. أنت فقط بحاجة لتعليم الموظفين الحاليين كيف يكونون كسالى وتزويدهم بطريقة أفضل لتنظيم عملهم.
إنهم يطلقون جميع أدواتهم (نظام الأرشفة وأحزمة النقل) مجاناً، لكي يتمكن الجميع من بناء ذكاء اصطناعي أسرع، وأرخص، وأكثر رفقاً بالبيئة في المستقبل. إنه فوز للبيئة وفوز لكل من يريد استخدام الذكاء الاصطناعي دون الحاجة إلى كمبيوتر خارق في قبو منزله.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.