ملخص تقني: أربعة على ستة (4/6)

بيان المشكلة

مع توسع النماذج اللغوية الكبيرة (LLMs)، تزداد الاهتمامات بالتنسيقات الرقمية منخفضة الدقة مثل NVFP4 لتحسين سرعة التدريب وتقليل استهلاك الذاكرة. ومع ذلك، يظل تكميم النماذج إلى NVFP4 أمراً صعباً بسبب فقدان الدقة، مما يؤدي إلى تدهور أداء النموذج.

تتمثل المشكلة الجوهرية المحددة في هذا العمل في حجم الخطوة غير المنتظم المتأصل في تنسيقات الفاصلة العائمة. فخلافاً لتنسيقات الأعداد الصحيحة، يتميز تنسيق FP4 (تحديداً E2M1) بأحجام خطوات ديناميكية: 0.5 بين 0 و2، و1 بين 2 و4، و2 بين 4 و6. في عملية تكميم NVFP4 القياسية القائمة على مقياس الكتلة (block-scaled)، يتم تغيير مقياس القيم لتشمل النطاق الكامل من [-6, 6]. وهذا يخلق فجوة تكميم كبيرة للقيم القريبة من الحد الأقصى. وتحديداً، عندما يتم تغيير مقياس أقصى قيمة في الكتلة إلى 6، فإن قيمة FP4 الممثلة "4" تقابل فقط 66.6% من مقدار الحد الأقصى للكتلة. وبناءً على ذلك، فإن أي قيم بين 66.6% و100% من الحد الأقصى للكتلة لا يمكن تمثيلها بدقة، مما يؤدي إلى أخطاء تكميم كبيرة لهذه القيم القريبة من الحد الأقصى.

يشير تحليل المؤلفين لنموذج Llama-3.1-8B إلى أنه بينما يكون لأخطاء تكميم عامل المقياس (scale factor) تأثير ضئيل، فإن الخطأ الناتج عن التقريب بالقرب من القيم القصوى (تحديداً حول القيمة الموزونة 5) هو المحرك الرئيسي لتدهور الأداء في نماذج NVFP4 المكممة.

المنهجية: أربعة على ستة (4/6)

يقدم البحث أربعة على ستة (4/6)، وهو تعديل لخوارزمية تكميم NVFP4 القائمة على مقياس الكتلة، صُمم لتقليل خطأ التكميم للقيم القريبة من الحد الأقصى.

الآلية الجوهرية

بدلاً من تغيير مقياس جميع الكتل بشكل موحد إلى القيمة القصوى لـ FP4 وهي 6، يقوم نظام 4/6 بتغيير مقياس كتل محددة تكيفياً إلى حد أقصى قدره 4.

• NVFP4 القياسي (المقياس = 6): يتم توزيع القيم عبر [-6, 6]. الفجوة بين القيمتين الممثلتين 4 و6 هي وحدتان.
• 4/6 (المقياس = 4): بالنسبة لكتل مختارة، يتم توزيع القيم عبر [-4, 4]. الفجوة بين القيمتين الممثلتين 3 و4 هي وحدة واحدة.

من خلال التضحية بالقدرة على تمثيل القيم القصوى 5 و6 في كتل معينة، تسمح هذه الطريقة بتوزيع أكثر انتظاماً للقيم الممثلة في نطاق 75%–100% من مقدار الكتلة. على سبيل المثال، القيمة التي تمثل 75% من الحد الأقصى للكتلة يمكن تمثيلها بدقة كـ "3" في كتلة بمقياس 4، بينما قد تقع في فجوة خطأ كبيرة في كتلة بمقياس 6.

خوارزمية تغيير مقياس الكتلة التكيفية

بما أن تغيير مقياس جميع الكتل إلى 4 ليس مفيداً بشكل عالمي (لأنه يقلل النطاق الديناميكي للكتلة بنسبة 50% مقارنة بالتغيير إلى 6)، تستخدم الطريقة عملية اختيار تكيفية:

1. التكميم المزدوج: لكل كتلة، تقوم الخوارزمية بتكميم القيم مرتين: مرة باستخدام عامل مقياس 6 ومرة باستخدام عامل مقياس 4.
2. حساب الخطأ: يتم حساب خطأ التكميم لكلا النسختين مقابل القيم الأصلية عالية الدقة.
3. قاعدة الاختيار: تختار الخوارزمية المقياس (4 أو 6) الذي يقلل الخطأ. يقيم البحث ثلاث قواعد للاختيار:
   • الحد الأدنى للخطأ الأقصى (Minimum Maximum Error)
   • الحد الأدنى لمتوسط الخطأ المطلق (Minimum Mean Absolute Error - MAE)
   • الحد الأدنى لمتوسط مربع الخطأ (Minimum Mean Squared Error - MSE)
   • النتيجة: بالنسبة لتكميم ما بعد التدريب (PTQ)، يحقق MSE أفضل النتائج. أما في مرحلة ما قبل التدريب (Pre-Training)، فإن MAE يؤدي أداءً أفضل قليلاً.

تفاصيل التنفيذ

• ضبط مقياس التنسور (Tensor Scale Adjustment): لمنع تجاوز السعة (overflow) في عوامل مقياس FP8 E4M3 عندما يتم تغيير مقياس كتلة إلى 4 (وهو ما يتطلب عاملاً أكبر بمقدار 1.5 ضعف من الكتلة الموزونة إلى 6)، يتم حساب مقياس التنسور العالمي $\alpha$ باستخدام القيمة القصوى لـ FP8 وهي 256 بدلاً من 448 القياسية.
• كفاءة الأجهزة: تم تنفيذ الطريقة باستخدام تعليمات NVIDIA Blackwell GPU من عائلة cvt داخل نواة CUDA. ويتم الاحتفاظ بجميع القيم الوسيطة وحسابات الخطأ في ملف السجلات (register file) لتقليل عبء الوصول إلى الذاكرة.
• العبء الحسابي: أفاد المؤلفون أن 4/6 يضيف أقل من 15% من العبء الحسابي إلى نواة تكميم NVFP4.

المساهمات الرئيسية والنتائج

1. أداء ما قبل التدريب (Pre-Training Performance)

قيم المؤلفون 4/6 على بنية نموذج Nemotron 3 Nano 30B-A3B باستخدام مجموعة بيانات مكونة من تريليون توكن.

• تقليل الخسارة: جعل 4/6 خسارة التدريب أقرب بنسبة 13.0% إلى خط الأساس BF16 مقارنة بوصفة تدريب NVFP4 القياسية.
• التكوين الأمثل: من المثير للدهشة أن تطبيق 4/6 على التنشيطات (activations) فقط أعطى أداءً مقارباً لتطبيقه على التنشيطات والأوزان والتدرجات (gradients)، مع فرض عبء حسابي أقل.
• اختيار المقياس: في مرحلة ما قبل التدريب، تفوق استخدام MAE في اختيار المقياس على MSE.

2. تكميم ما بعد التدريب (Post-Training Quantization - PTQ)

تم اختبار الطريقة على نماذج Llama 3 وQwen 3 (تتراوح من 1 مليار إلى 70 مليار معلمة) عبر مقاييس Perplexity لـ WikiText-2 وC4، مدمجة مع طرق PTQ الحالية (RTN, GPTQ, AWQ, SmoothQuant).

• تحسن عام: حسن 4/6 مقاييس الـ Perplexity بشكل موحد عند دمجه مع AWQ وSmoothQuant، مما جعل كلمة الـ Perplexity أقرب بنسبة 19.9% و5.3% على التوالي إلى أداء BF16.
• التفاعل مع GPTQ: أدى 4/6 إلى تدهور طفيف في الأداء عند دمجه مع GPTQ في التنفيذ الحالي، رغم أن المؤلفين يشيرون إلى أن تعديل عملية تحسين GPTQ لتشمل 4/6 قد يؤدي إلى تحسينات مستقبلية.
• المهام النهائية (Downstream Tasks): في مهام مثل BoolQ وARC-Easy وARC-Challenge وHellaSwag، حسن 4/6 متوسط أداء المهام في معظم الحالات عند دمجه مع AWQ وSmoothQuant.

3. الكفاءة

تم تصميم التنفيذ ليتوافق مع مسرعات الأجهزة الحديثة (NVIDIA Blackwell)، مما يضمن عدم إلغاء فوائد تقليل خطأ التكميم بسبب العبء الحسابي المفرط.

الأهمية والادعاءات

يزعم البحث أن 4/6 هو تعديل خفيف الوزن وفعال لخوارزمية تكميم NVFP4 يعالج الضعف المحدد لتنسيقات الفاصلة العائمة فيما يتعلق بالقيم القريبة من الحد الأقصى.

• الدقة مقابل العبء: يحقق مكاسب كبيرة في الدقة (الاقتراب من خطوط أساس BF16) مع حد أدنى من العبء الحسابي (أقل من 15%)، مما يجعل تدريب NVFP4 أكثر جدوى دون الحاجة إلى مراحل "شفاء" (healing phases) مكلفة أو العودة إلى دقة عالية.
• التوافق مع الأجهزة: الطريقة متوافقة أصلياً مع وحدات معالجة NVIDIA Blackwell الحالية، مستفيدة من دعم الأجهزة الحالي لـ NVFP4.
• القابلية العامة للتطبيق: رغم التركيز على NVFP4، فإن مفهوم تغيير مقياس الكتلة التكيفي يُقدم كتقنية عامة لتحسين تمثيل القيم القريبة من الحد الأقصى في تنسيقات الفاصلة العائمة القائمة على مقياس الكتلة، وإن كان المؤلفون يشيرون إلى أنها لا تنطبق مباشرة على MXFP4 بسبب الاختلافات في دقة عامل المقياس (FP8 E8M0 مقابل E4M3).

يخلص المؤلفون إلى أن 4/6 يمثل خطوة للأمام في جعل تدريب واستنتاج FP4 منخفض الدقة عملياً للنماذج اللغوية الكبيرة، مما يقرب الأداء من خطوط الأساس عالية الدقة مع الحفاظ على مزايا السرعة والذاكرة التي يوفرها التكميم.