AGoQ: Activation and Gradient Quantization for Memory-Efficient Distributed Training of LLMs
تقدم الورقة البحثية AGoQ، وهو إطار عمل لتوزيع التدريب على النماذج اللغوية الكبيرة يتميز بكفاءة الذاكرة، والذي يستخدم تكميم التنشيط المدرك للطبقات وتكميم التدرج بـ 8 بت المحافظ على الدقة لتقليل استخدام الذاكرة بنسبة تصل إلى 52% وتسريع سرعة التدريب بمقدار 1.34 ضعفًا مع الحفاظ على تقارب النموذج ودقته.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم روبوت ضخم وذكي للغاية (نموذج لغوي كبير أو LLM) كيف يكتب القصص، والأكواد البرمجية، ويجيب على الأسئلة. للقيام بذلك، تحتاج إلى مكتبة عملاقة من الذاكرة (ذاكرة وحدة معالجة الرسومات GPU) لتخزين جميع أفكار الروبوت أثناء تعلمه. المشكلة هي أنه كلما أصبح الروبوت أكثر ذكاءً، تصبح "أفكاره" (التنشيطات - activations) و"ملاحظاته" حول ما أخطأ فيه (التدرجات - gradients) ضخمة جداً لدرجة أنها لا تتسع في ذاكرة حتى أقوى الحواسيب.
يقدم البحث نظاماً جديداً يسمى AGoQ (تكميم التنشيط والتدرج). فكر في AGoQ كخدمة تعبئة وشحن ذكية لعملية تعلم الروبوت هذه. إنه يضغط البيانات في صناديق أصغر دون كسر دماغ الروبوت، مما يسمح له بالتعلم بشكل أسرع وعلى أجهزة أقل تكلفة.
إليك كيف يعمل AGoQ، باستخدام تشبيهات بسيطة:
1. المشكلة: شاحنة نقل مزدحمة
عند تدريب هذه النماذج، يتعين على الكمبيوتر تخزين شيئين رئيسيين:
- التنشيطات (Activations): هذه هي "أفكار الروبوت الحالية" أثناء قراءته لجملة ما. وهي تشغل مساحة كبيرة، مثل شاحنة مليئة بالوسائد الضخمة والناعمة.
- التدرجات (Gradiatures): هذه هي "ملاحظات التصحيح" التي يكتبها الروبوت لإصلاح أخطائه. وهي ثقيلة وتحتاج إلى المشاركة بين العديد من الحواسيب (GPUs) التي تعمل معاً، مثل صندوق ثقيل يجب تمريره بين فريق من العمال.
تحاول الطرق الحالية تقليص هذه الأشياء، ولكن إذا قللت حجمها كثيراً (مثل تحويل وسادة إلى حصاة صغيرة)، فسيصاب الروبوت بالارتباك ويتعلم بشكل سيء.
2. الحل: استراتيجية "التعبئة الذكية" (تكميم التنشيط)
يستخدم AGoQ تقنية تسمى تكميم التنشيط الواعي بالطبقات (Layer-Aware Activation Quantization). تخيل أنك تقوم بتعبئة شاحنة نقل بأنواع مختلفة من العناصر: زجاج هش، كتب ثقيلة، وملابس ناعمة.
- الطريقة القديمة: تحاول وضع كل شيء في صناديق بنفس الحجم. إذا وضعت الزجاج في صندوق صغير، فسينكسر. وإذا وضعت الملابس في صندوق ضخم، فستضيع مساحة كبيرة.
- طريقة AGoQ: ينظر إلى كل عنصر ويقرر الحجم المثالي للصندوق المناسب له.
- "الزجاج" (طبقات الانتباه - Attention Layers): بعض أجزاء دماغ الروبوت حساسة جداً. يدرك AGoQ أن ضغط هذه "الأفكار" بشكل كبير يسبب أخطاءً، لذا يترك هذه الأجزاء في صناديقها الأصلية الكبيرة (دقة عالية).
- "الملابس" (الطبقات الأخرى): أجزاء أخرى من الدماغ أكثر مرونة. يقوم AGoQ بضغط هذه الأجزاء إلى صناديق صغيرة بسعة 4 بت (مثل طي الملابس في أكياس شفط الهواء لتوفير المساحة). هذا يوفر مساحة هائلة.
- "التعديل الديناميكي": يلاحظ النظام أيضاً أن بعض الحواسيب في الفريق لديها مساحة فارغة بينما البعض الآخر ممتلئ. يقوم النظام بنقل "كثافة التعبئة" بحيث تتحمل الحواسيب التي لديها مساحة أكبر صناديق أكبر قليلاً، مما يوازن الحمل بشكل مثالي.
النتيجة: تأخذ "أفكار" الروبوت حوالي الربع من المساحة التي كانت تشغلها سابقاً، ومع ذلك لا يزال الروبوت يستوعب كل شيء ببراعة.
3. الحل: استراتيجية "الشحن الدقيق" (تكميم التدرج)
بمجرد أن يكتشف الروبوت أخطاءه، يحتاج إلى إرسال تلك "ملاحظات التصحيح" (التدرجات) إلى جميع الحواسيب الأخرى في الفريق ليتعلموا جميعاً نفس الدرس.
- المشكلة: إرسال هذه الملاحظات بتفاصيل كاملة يكون بطيئاً ويسد الشبكة. أما إرسالها بتنسيق صغير ومنخفض الجودة، فغالباً ما يؤدي إلى "فقدان البريد" أو أخطاء رياضية (تجاوز السعة - overflow)، مما يجعل الروبوت يتعلم أشياء خاطئة.
- طريقة AGoQ: يستخدم تدرجات بسعة 8 بت.
- التراكم المحلي (Local Accumulation): قبل إرسال الملاحظات، يقوم الكمبيوتر بعمل "فحص سريع للسلامة". يقوم مؤقتاً بتوسيع الملاحظات إلى حجمها الكامل لجمعها بشكل صحيح، ثم يقلص حجمها مرة أخرى. هذا يمنع الرياضيات من التعطل.
- الشحن الذكي: بدلاً من محاولة جمع الملاحظات معاً أثناء شحنها (مما يسبب ازدحاماً وأخطاءً)، يقوم AGoQ بتقسيم العملية. يرسل الملاحظات المضغوطة إلى الجميع أولاً، ثم يقوم الجميع بجمعها محلياً، وأخيراً، يتشاركون النتيجة النهائية. هذا يشبه إرسال طرد إلى مركز محلي، ثم فتح الطرد، وإضافة عنصرك الخاص، ثم إعادة شحن الطرد النهائي، بدلاً من محاولة إضافة العناصر أثناء تحرك الشاحنة بسرعة 100 ميل في الساعة.
النتيجة: "ملاحظات التصحيح" أصغر بكثير، ويمكن للفريق مشاركتها بشكل أسرع بكثير دون فقدان الدقة.
4. خدعة "الدمج": القيام بشيئين في وقت واحد
عادةً، عملية ضغط البيانات (التكميم) والقيام بالعمليات الحسابية هما خطوتان منفصلتان تبطئان العمل. يدمج AGoQ بينهما في خطوة واحدة، مثل طباخ يقطع الخضرووات ويحرك القدر في نفس الوقت، بدلاً من التقطيع، ثم المشي إلى الموقد، ثم التحريك. هذا يجعل العملية بأكملها سريعة للغاية.
الخلاصة
باستخدام حيل التعبئة والشحن الذكية هذه، اختبر المؤلفون AGoQ على نماذج لغوية كبيرة (مثل LLaMA) باستخدام ما يصل إلى 64 حاسوباً قوياً.
- توفير الذاكرة: قللوا من الذاكرة المطلوبة بنسبة تصل إلى 52%. وهذا يعني أنه يمكنك تدريب نماذج أكبر على نفس الأجهزة، أو تدريب نفس النماذج على أجهزة أقل تكلفة بكثير.
- السرعة: لأن البيانات أصغر والشحن أذكى، أصبحت عملية التدريب أسرع بمقدار يصل إلى 1.34 مرة مقارنة بأفضل الأنظمة الحالية.
- الدقة: الأهم من ذلك، لم يرتبك الروبوت. لقد تعلم تماماً مثل النسخ الكبيرة غير المضغوطة، دون أي فقدان في الأداء في الاختبارات القياسية.
باختصار، AGoQ هو نظام يعلمنا كيفية وضع فيل ضخم داخل سيارة صغيرة مدمجة عن طريق طي أرجل الفيل بطريقة صحيحة، دون إيذاء الفيل أو جعل السيارة تسير ببطء.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.