Full-Stack FP4: Stable LLM Pretraining with Quantized Projections, Optimizers, and Attention
تقدم هذه الورقة Full-Stack FP4، وهو إطار عمل معياري يوسع نطاق تكميم NVFP4 ليتجاوز عمليات الإسقاط الخطي ليشمل حالات المحسن المستقرة، وحسابات Root/Muon، والاهتمام مختلط الدقة، محققاً أداءً يقارب BF16 في مرحلة ما قبل التدريب مع مكاسب كبيرة في الذاكرة والسرعة على بطاقة RTX 5090 واحدة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم عقل رقمي عملاق كيف يتحدث، ويكتب، ويفكر. هذا "العقل" هو نموذج لغوي كبير (LLM)، ولكي يتعلم، عليه أن يعالج جبالاً من المعلومات. لكن هناك مشكلة: كلما تعلم أكثر، زاد جوعه لذاكرة الكمبيوتر والكهرباء. الأمر يشبه محاولة تشغيل فيلم ضخم عالي الدقة على كمبيوتر محمول قديم وصغير؛ تصبح الشاشة ضبابية، وتصرخ المروحة. ولحل هذه المشكلة، حاول العلماء تقليص الأرقام التي يستخدمها الكمبيوتر لإجراء حساباته. فبدلاً من استخدام أرقام دقيقة وثقيلة للغاية (مثل صورة فوتوغرافية مفصلة)، قاموا باستبدالها بأرقام أصغر وأخف (مثل رسم تخطيطي بكسلي). يُسمى هذا "التدريب منخفض الدقة". ومؤخراً، ظهر نوع جديد من الأرقام الصغيرة يسمى "FP4" (نقطة عائمة بـ 4 بت)، والذي يعد بجعل هذه العقول العملاقة أصغر وأسرع بكثير. لكن المشكلة تكمكمن في أنه بينما يمكن للأجزاء الرئيسية من العقل التعامل مع هذه الأرقام الصغيرة، فإن الأجزاء "المساعدة" — مثل الذاكرة التي يحتفظ بها للتعلم والعمليات الحسابية المعقدة التي يقوم بها لفهم الجمل — تستمر في التعطل أو الارتباك عندما تُجبر على استخدام أرقان صغيرة كهذه. الأمر يشبه امتلاك محرك سيارة سباق ولكنك تحاول تشغيله بسلسلة دراجة هوائية؛ المحرك جاهز، لكن بقية الآلة لا تستطيع المواكبة.
تقدم هذه الورقة البحثية مجموعة أدوات ذكية جديدة تسمى Full-Stack FP4، والتي تعمل كـ "ميكانيكي ماهر" لهذه العقول الرقمية. أدرك الباحثون أنه لا يمكنك ببساطة استخدام نفس قواعد الأرقام الصغيرة لكل جزء من أجزاء العقل. فبعض الأجزاء، مثل الاتصالات الرئيسية، يمكنها التعامل مع الأرقام الصغيرة بشكل جيد تماماً. لكن أجزاء أخرى، مثل "الذاكرة" التي يستخدمها الكمبيوتر لتذكر ما تعلمه بالأمس، حساسة جداً وتحتاج إلى نوع خاص من الرعاية. لقد ابتكر الفريق نظاماً نموذجياً حيث نستخدم "وصفات" مختلفة لأجزاء مختلفة من العقل. بالنسبة للاتصالات الرئيسية، استخدموا حيلة تسمى LoRA-SVD، وهي تشبه الاحتفاظ برسم تخطيطي عالي الدقة لأهم التفاصيل مع استخدام كتل بكسلية للبقية. أما بالنسبة للذاكرة، فقد اخترعوا طريقة لـ "تنعيم" الأرقار قبل ضغطها في صناديق صغيرة حتى لا تضيع. وبالنسبة للحسابات التي تساعد العقل على التركيز على الكلمات الصحيحة (الانتباه)، قرروا إبقاء الأجزاء الأكثر حساسية بدقة عالية بينما يظل الباقي بكسلياً.
عندما اختبروا هذا النظام الكامل على نموذج مكون من 3 مليارات معلمة (عقل رقمي متوسط الحجم) باستخدام 64 مليار كلمة من بيانات التدريب، كانت النتائج مبهرة. فقد تعلم عقل "Full-Stack FP4" بنفس كفاءة النسخة التقليدية الثقيلة تقريباً. وكان الفرق في درجات التعلم لديهما ضئيلاً جداً بنسبة 0.838%، وهو أمر يكاد لا يُلاحظ. في الواقع، عندما اختبروا مدى قدرة العقل الجديد ذي الأرقام الصغيرة على الإجابة على أسئلة لم يرها من قبل، كان في الواقع أفضل قليلاً في تخمين الكلمات الصحيحة، رغم أنه كان يستخدم ذاكرة أقل بكثير. وعلى بطاقة رسوميات واحدة قوية (RTX 5090)، جعلت هذه الطريقة عملية تعلم العقل أسرع بمعدل 2.5 إلى 2.8 مرة لمهام معينة، واستخدمت ذاكرة أقل بنسبة 38% إلى 42% من الطريقة القياسية عالية الدقة.
يلاحظ الباحثون بحذر أنه بينما يعمل هذا بشكل رائع للنماذج التي تصل إلى 3 مليارات معلمة، إلا أنهم لم يثبتوا بعد ما إذا كان سيعمل مع العقول الأكبر حجماً أو لفترات تدريب أطول بكثير. كما وجدوا أنه لا يمكنك مجرد إلقاء الأرقام الصغيرة على كل شيء؛ فإذا حاولت إجبار الأجزاء الأكثر حساسية في العقل على استخدام أصغر الأرقام دون هذه الوصفات الخاصة، فإن عملية التعلم تنهار. ولكن في الوقت الحالي، يظهر نهج "Full-Stack" هذا أنه يمكننا بناء ذكاء اصطناعي أكثر ذكاءً وسرعة وأقل تكلفة من خلال معاملة الأجزاء المختلفة من العقل بالمستوى المحدد من الدقة الذي تحتاجه بالفعل، بدلاً من فرض نظام واحد يناسب الجميع.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.