Pretraining Large Language Models with NVFP4
تقدم هذه الورقة إطار عمل تدريب NVFP4 مبتكر يجمع بين تحويلات هادامارد العشوائية، والكمية ثنائية الأبعاد، والتقريب العشوائي، والطبقات الانتقائية عالية الدقة، لتدريب نموذج بـ 12 مليار معلمة بنجاح على 10 تريليونات توكن بأداء يضاهي النماذج المرجعية بمعيار FP8، مما يثبت جدوى التدريب المستقر بدقة 4 بت للنماذج اللغوية الكبيرة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم روبوت فائق الذكاء (نموذج لغوي كبير، أو LLM) فهم الإنترنت بأكره، وكتابة الشعر، وحل المسائل الرياضية، وبرمجة البرمجيات. للقيام بذلك، تحتاج إلى إطلاعه على تريليونات الأمثلة.
في الماضي، كان تعليم هذا الروبوت يتطلب "دماغاً" ضخماً يستهلك الكثير من الطاقة ويستخدم دقة 8-بت (مثل كاميرا عالية الدقة). كان قوياً، لكنه مكلف، وبطيء، ويستهلك الكثير من الكهرباء.
تقدم ورقة بحثية جديدة من NVIDIA طريقة لتعليم هذا الروبوت باستخدام دقة 4-بت (NVFP4). فكر في الأمر كأنك تنتقل من كاميرا بدقة 4K إلى كاميرا 1080p عالية الكفاءة ومحسّنة للغاية. قد تتساءل: "ألن تبدو الصورة ضبابية؟ ألن يرتكب الروبوت أخطاءً؟"
الإجابة هي: ليس إذا استخدمت الحيل الصحيحة.
إليك الشرح المبسط لكيفية جعل هذا الأمر ممكناً، باستخدام بعض التشبيهات من الحياة اليومية.
1. المشكلة: قضية "الصندوق الصغير"
تخيل أنك تحاول حزم حقيبة سفر ضخمة وثقيلة (البيانات) داخل حقيبة ظهر صغيرة (تنسيق 4-بت).
- الطريقة القديمة (MXFP4): تحاول حشر كل شيء بالقوة. إذا كانت الحقيبة تحتوي على بعض العناصر الثقيلة جداً (القيم المتطرفة/outliers)، فإنها ستسحق بقية الملابس، أو قد تتمزق حقيبة الظهر. سيصاب الروبوت بالارتباك لأن الأرقام "الثقيلة" يتم سحقها لتصبح صفراً أو تصل إلى الحد الأقصى.
- الطريقة الجديدة (NVFP4): صممت NVIDIA حقيبة ظهر أكثر ذكاءً. بدلاً من وجود مقصورة واحدة كبيرة، قاموا بتقسيم حقيبة الظهر إلى جيوب أصغر ومتخصصة.
- جيوب أصغر: يستخدمون كتلًا أصغر من البيانات (16 عنصراً بدلاً من 32). هذا يعني أن العناصر "الثقيلة" لن تسحق الكثير من العناصر "الخفيفة".
- ملصقات أفضل: يستخدمون نظام ملصقات أكثر دقة (E4M3) لوصف مدى ثقل العناصر، بدلاً من مجرد التخمين باستخدام قوى العدد اثنين. هذا يضمن أن حقيبة الظهر تناسب البيانات تماماً دون أن تتمزق.
2. الحيل السحرية الأربع
مجرد امتلاك حقيبة ظهر أفضل ليس كافياً. لكي يتعلم الروبوت بنفس كفاءة تعلمه باستخدام كاميرا 8-بت، أضافوا أربع تقنيات تدريب محددة:
أ. "شبكة الأمان" (الدقة المختلطة - Mixed Precision)
تخيل أنك تعلم طالباً كيفية إجراء عمليات حسابية معقدة. تسمح له بالقيام بـ 90% من العمل باستخدام آلة حاسبة رخيصة (4-بت)، ولكن بالنسبة للخطوات النهائية والأكثر أهمية (مثل الصفحات الأخيرة من أطروحته)، تسمح له باستخدام آلة حاسبة فائقة الدقة وغالية الثمن (BF16/FP32).
- لماذا؟ البداية والمنتصف من عملية التعلم تكون قوية، لكن النهاية تكون دقيقة وحساسة. إذا استخدمت الآلة الحاسبة الرخيصة في الخطوات النهائية، فقد يخطئ الطالب في الإجابة قليلاً. من خلال إبقاء الطبقات الأخيرة بدقة عالية، يحصل الروبوت على أفضل ما في العالمين: السرعة والدقة.
ب. "الخلط" (تحويلات هادامارد العشوائية - Random Hadamard Transforms)
تخيل أن لديك مجموعة أوراق لعب تحتوي على بعض أوراق "الجوكر" (القيم المتطرفة) التي تكون ضخمة وغريبة. إذا وزعت الأوراق، فستفسد اللعبة.
- الحيلة: قبل توزيع الأوراق، تقوم بخلط المجموعة باستخدام "خلطة" رياضية خاصة (تحويل هادامارد). هذا ينشر "الجوكرز" بحيث لا تكون متكتلة معاً. الآن، عندما ينظر الروبوت إلى البيانات، تبدو الأرقام الغريبة وكأنها أرقام عادية، ويمكن لتنسيق 4-بت التعامل معها بسهولة.
- ملاحظة: وجدوا أن هذه الخلطة مطلوبة فقط لـ "المرحلة العكسية" (عندما يراجع الروبوت أخطاءه)، وليس لـ "المرحلة الأمامية" (عندما يقوم بالتنبؤات).
ج. "الخريطة المتسقة" (القياس ثنائي الأبعاد - 2D Scaling)
تخيل أنك تعطي اتجاهات لصديق.
- المشكلة: في الصباح، تخبره بأن يتجه "يساراً" بناءً على اسم الشارع. وفي المساء، عندما يعود في طريقه، تخبره أن يتجه "يميناً" بناءً على رقم المبنى. إذا تغيرت الخريطة بين الصباح والمساء، فسيضيع صديقك.
- الحل: في الذكاء الاصطناعي، تتعامل "المرحلة الأمامية" و"المرحلة العكسية" مع البيانات بشكل مختلف (صفوف مقابل أعمدة). إذا عامل تنسيق 4-بت كل منهما بشكل مختلف، فسيصاب الروبوت بالارتباك. ابتكرت NVIDIA طريقة القياس الكتلي ثنائي الأبعاد (2D block scaling). إنها تشبه رسم شبكة على الخريطة بحيث مهما كان الاتجاه الذي تنظر منه، تظل تعليمات "اليسار" و"اليمين" متسقة. هذا يمنع الروبوت من الضياع أثناء التعلم.
د. "رمي العملة العادل" (التقريب العشوائي - Stochastic Rounding)
تخيل أن لديك جرة من الكرات الزجاجية، وتحتاج إلى تقريب عدد الكرات إلى أقرب عدد صحيح.
- المشكلة: إذا كنت تقوم دائماً بتقريب 1.4 إلى 1، و1.6 إلى 2، فإنك تدخل انحيازاً. عبر ملايين الحسابات، سينحرف الروبوت في اتجاه واحد.
- الحل: بدلاً من التقريب للأسفل دائماً، قم برمي عملة معدنية. إذا كان لديك 1.4، قم بالتقريب للأسفل بنسبة 60% وللأعلى بنسبة 40%. هذا "العشوائية" تضمن أنه، في المتوسط، يظل الروبوت متمركزاً تماماً ولا ينحرف عن مساره. هذا أمر بالغ الأهمية لـ "التدرج" (الذي يمثل إشارة الخطأ) الذي يخبر الروبوت بكيفية التعلم.
3. النتائج: هل نجح الأمر؟
اختبرت NVIDIA هذا على نموذج ضخم يحتوي على 12 مليار معلمة (parameter)، وقامت بتدريبه على 10 تريليونات توكن (كمية هائلة من البيانات).
- المقارنة: قارنوا بين روبوت الـ 4-بت الخاص بهم وروبوت الـ 8-بت القياسي.
- النتيجة: أدى روبوت الـ 4-بت أداءً مطابقاً تقريباً لروبوت الـ 8-بت.
- في اختبار يسمى MMLU-Pro (وهو امتحان صعب للذكاء الاصطناائي)، حصل روبوت الـ 8-بت على 62.62%. بينما حصل روبوت الـ 4-بت على 62.58%.
- منحنى الخسارة (مقياس لمدى جودة تعلم الروبوت) كان مطابقاً تماماً تقريباً.
الخلاصة
لقد تمكنت NVIDIA من تقليص "دماغ" الذكاء الاصطناعي فائق الذكاء إلى النصف (من 8-بت إلى 4-بت) دون جعله أقل ذكاءً.
- لماذا يهم هذا؟ هذا يعني أنه يمكننا تدريب نماذج الذكاء الاصطناعي من الجيل القادم بسرعة مضاعفة مرتين، واستخدام نصف الذاكرة، وتوفير كمية هائلة من الطاقة.
- التشبيه: الأمر يشبه اكتشاف طريقة لجعل طائرة جامبو تطير باستخدام نصف الوقود فقط، دون فقدان أي سرعة أو سلامة.
هذه ليست مجرد تعديل بسيط؛ إنها قفزة كبيرة للأمام تجعل مستقبل الذكاء الاصطناعي أسرع، وأرخص، وأكثر سهولة في الوصول إليه.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.