ملخص تقني: تقدير نطاق النافذة القصوى (Max-Window) لتقدير المقياس في تدريب الوعي بالكمية (QAT) من نوع HiF8 W8A8 القريب من فقدان البيانات

بيان المشكلة

يتطلب نشر النماذج اللغوية الكبيرة (LLMs) في البيئات محدودة الموارد عملية كمية (Quantization) مكثفة، لا سيما باستخدام تنسيقات الفاصلة العائمة 8-بت (FP8) مثل HiF8 (الفاصلة العائمة عالية الدقة 8). وبينما يهدف التدريب الواعي بالكمية (QAT) إلى تكييف النماذج المدربة مسبقًا مع التمثيلات منخفضة البت، فإنه يتسبب في أنماط فشل دقيقة لا يمكن رصدها عبر مقاييس التدريب القياسية مثل خسارة الإنتروبيا المتقاطعة (Cross-Entropy Loss).

تحديدًا، ينطوي تطبيق QAT على النماذج المدربة مسبقًا على مقايضة معقدة: الحفاظ على المعرفة المدربة مسبقًا مع تكييف التمثيلات الداخلية مع ضوضاء الكمية. وقد حدد المؤلفون أن خسارة التدريب القياسية غالبًا ما تفشل في الإشارة إلى التدهور، مما يؤدي إلى نمطي فشل متميزين ومتعامدين في HiF8 W8A8 QAT:

1. تشبع $A_{max}$: ناتج عن التأخر الزمني في توسيم التنسور المتأخر (Delayed Tensor Scaling - DTS)، حيث يعتمد عامل المقياس المقدر على البيانات التاريخية. إذا تجاوز الحد الأقصى الحقيقي للتنشيط في الخطوة الحالية المقياس المتوقع، فسيتم قص القيم (Clipping)، مما يؤدي إلى إفساد التنشيطات الأمامية بينما يمرر مُقدر المنحدر المباشر (Straight-Through Estimator - STE) التدرجات بشكل غير صحيح كما لو لم يحدث قص.
2. النسيان الكارثي: ناتج عن معدل تعلم عدواني للغاية أثناء التدريب المستمر المسبق، مما يؤدي إلى محو المعرفة الشائعة المدربة مسبقًا بشكل مستقل عن مخطط الكمية.

المنهجية

تركز الدراسة على نموذج OpenPangu-Embedded-1B (بمليار معلمة) باستخدام تنسيق HiF8 W8A8. تتضمن المنهجية تحقيقًا منهجيًا من خلال ثماني تجارب مضبوطة لتفكيك أسباب تدهور الأداء.

تكوين الكمية

• التنسيق: يستخدم HiF8 دقة مانتيسا (Mantissa) متدرجة بناءً على مقدار القيمة (3 بت لـ $|x| \le 8$، و2 بت لـ $|x| \le 128$، و1 بت للقيم الأكبر).
• اختيار الوحدات (Module Selection): لتحقيق التوازن بين الكفاءة والاستقرار، تم تطبيق الكمية فقط على طبقات MLP (إسقاطات gate، وup، وdown) في طبقات Transformer الوسطى الـ 21. بينما ظلت إسقاطات الانتباه (Attention Projections)، والتمثيلات (Embeddings)، وطبقات التقييس (Layer Norms)، والطبقات الحدودية (أول 3 وآخر 2) بتنسيق BF16 للحفاظ على التعامل مع القيم المتطرفة ودقة المخرجات.
• بروتوكول التدريب: تستخدم التجارب مجموعة بيانات FineWeb بحجم دفعة عالمي قدره 1024 وطول تسلسل 1024 على مدار 10,000 خطوة.

المتغيرات التجريبية

تتضمن نواة التحقيق مقارنة بين خوارزميات مختلفة لتقدير $A_{max}$ ومعدلات التعلم:

1. خوارزميات $A_{max}$:
   • الأحدث (DTS): يستخدم الحد الأقصى للخطوة السابقة.
   • التنعيم الأسي (Exponential Smoothing - DTS): يستخدم متوسطًا متحركًا.
   • نافذة الحد الأقصى (Max-Window - DTS): يستخدم القيمة القصوى عبر نافذة تاريخية مكونة من 64 خطوة.
   • توسيم التنسور الحالي (Current Tensor Scaling - CTS): يحسب الحد الأقصى من الخطوة الحالية (يتطلب تمريرًا أماميًا ثانيًا).
2. معدلات التعلم: اختبرت التجارب $10^{-4}$ (التي اعتُبرت في البداية آمنة لخطوط الأساس BF16) و $10^{-5}$.
3. الإحماء (Warmup): تم إدخال مرحلة إحماء BF16 لمدة 500 خطوة في التجارب اللاحقة لاستقرار الأوزان وملء تاريخ $A_{max}$ قبل تفعيل الكمية.

المساهمات الرئيسية

تقدم الورقة أربع مساهمات رئيسية بناءً على تفكيك أنماط الفشل:

1. تحديد أنماط الفشل المتعامدة: أظهر المؤلفون أن تدهور الأداء في اختبارات القياس (Benchmarks) في HiF8 QAT ينبع من مصدرين مستقلين: تشبع $A_{max}$ (مشكلة خاصة بالكمية) والنسيان الكارثي (مشكلة تتعلق بديناميكيات التدريب). ومن المهم ملاحظة أن كلاهما لا يمكن اكتشافه عبر خسارة التدريب وحدها؛ بل يظهر كلاهما فقط في التقييمات اللاحقة.
2. استراتيجية النافذة القصوى المحافظة: لمعالجة تشبع $A_{max}$، تقترح الورقة استبدال الخوارزميات القياسية بـ خوارزمية الحد الأقصى (max-algorithm) عبر نافذة تاريخية مكونة من 64 خطوة. يوفر هذا ضمانًا صارمًا ضد التشبع الناتج عن المقياس لأي خطوة ضمن نافذة المراقبة. وتعمل هذه المحافظة الطفيفة كنوع من التنظيم (Regularization) المفيد.
3. بروتوكول تدريب ثنائي المرحلة: للتخفيف من حدة النسيان الكارثي، قدم المؤلفون بروتوكولًا يتضمن إحماء BF16 لمدة 500 خطوة يليه QAT بمعدل تعلم مخفض قدره $10^{-5}$. يضمن الإحماء وصول النموذج إلى نظام أوزان مستقر وملء تاريخ $A_{max}$ بقيم تمثيلية، بينما يمنع معدل التعلم المنخفض محو المعرفة المدربة مسبقةً.
4. تحليل شامل للفشل: وثقت الدراسة سبب فشل النهج السابق:
   • الأحدث (Most-Recent) يعاني من تشبع تأخير الخطوة الواحدة.
   • التنعيم الأسي (Exponential Smoothing) يفشل تحت ديناميكيات التنشيط غير الرتيبة.
   • توسيم التنسور الحالي (CTS) يسبب تقلبات لكل خطوة مما يفسد التمثيلات المستقرة.
   • معدلات التعلم العالية ($10^{-4}$) تسبب نسيانًا كبيرًا بغض النظر عن الكمية.

النتائج

يحقق التكوين النهائي (خوارزمية Max-Window + إحماء 500 خطوة + $lr=10^{-5}$) كمية قريبة من عدم فقدان البيانات مقارنة بخط الأساس BF16 المدرب بنفس معدل التعلم:

• MMLU: انخفاض بنسبة 0.43% (43.17% مقابل 43.36% للأساس).
• HellaSwag: انخفاض بنسبة 0.58%.
• ARC-Challenge: انخفاض بنسبة 0.22%.
• خسارة التدريب: متوسط نسبة الخطأ (APE) بين HiF8 QAT وأساس BF16 هو 0.11% فقط عبر 10,000 خطوة.

ومن الجدير بالذكر أن التجارب أظهرت أن أي إصلاح بمفرده لم يكن كافيًا. فاستخدام خوارزمية Max مع $lr=10^{-4}$ لا يزال يؤدي إلى انخفاض بنسبة ~3% في مهام ARC بسبب النسيان. وعلى العكس من ذلك، فإن استخدام $lr=10^{-5}$ مع خوارزمية الأحدث القياسية سيظل يعاني من التشبع.

الأهمية والادعاءات

تدعي الورقة أن نجاح HiF8 QAT للنماذج المدربة مسبقًا يتطلب معالجة التفاعل بين استقرار المقياس وديناميكيات التعلم في آن واحد. تكمن أهمية العمل في:

• تشخيص الفشل "غير المرئي": تسليط الضوء على أن خسارة التدريب القياسية هي مقياس غير كافٍ لجودة QAT، حيث تحجب التشبع والنسيان اللذين لا يظهران إلا في اختبارات القياس اللاحقة.
• تقديم حل قوي: إثبات أن استراتيجية تقدير $A_{max}$ المحافظة مع معدل تعلم أقل وإحماء يمكن أن تحقق أداءً قريبًا من عدم فقدان البيانات (انخفاض أقل من 1% في الاختبارات الرئيسية) لنماذج بمليار معلمة.
• توضيح محاور التصميم: ترسيخ أن اختيار خوارزمية $A_{max}$ ومعدل التعلم هما محوران تصميمان حاسمان ومترابطان، وليسا مجرد معاملات فائقة (Hyperparameters) معزولة.

يخلص المؤلفون إلى أنه بينما يعد التكوين الحالي فعالًا لنماذج 1B، فإن العمل المستقبلي قد يستكشف معدلات تعلم لكل طبقة، وإحماءً تكيفيًا، وزيادة عدد الطبقات عالية الدقة لسد الفجوات المتبقية بشكل أكبر.