Finer is Better (with the Right Scaling)

ملخص تقني: الأدق هو الأفضل (مع التدرج الصحيح)

بيان المشكلة
يعتمد نشر النماذج اللغوية الكبيرة (LLMs) في بنيات مراكز البيانات والحافة بشكل متزايد على تنسيقات دقة فائقة الانخفاض (4 بت أو أقل) للتخفيف من اختناقات الذاكرة وعرض النطاق الترددي. ويعد "التدرج المجهري" (Microscaling)، الذي يطبق عوامل قياس فردية لمجموعات صغيرة من البيانات (مثل حجم 16 أو 32)، تقنية حاسمة للحفاظ على جودة النموذج في هذه المستويات. ومع ذلك، فإن هناك مفارقة حددها مؤخراً في الأدبيات [1] تتعارض مع التوقع البديهي بأن أحجام الكتل الأصغر تؤدي إلى خطأ كمي أقل. وتحديداً، عند استخدام قياس "الحد الأقصى المطلق" (abs-max) القياسي مع عوامل قياس E4M3، فإن تقليل أحجام الكتل يمكن أن يؤدي بشكل متناقض إلى تدهور جودة النموذج، مما ينتج عنه زيادة في متوسط مربع الخطأ (MSE) وزيادة في التشتت (perplexity) في المهام اللاحقة. يبحث هذا البحث في الآليات الكامنة وراء هذه الظاهرة لتحديد ما إذا كانت قصوراً متأصلاً في دقة التدرج أم مشكلة خوارزمية قابلة للحل.

المنهجية
يجري المؤلفون استقصاءً يتكون من مرحلتين يجمع بين التحليل العددي وتقييم النموذج الكامل:

1. الدراسة العددية: يحلل المؤلفون سلوك الكمية عبر أحجام كتل مختلفة (4، 8، 16، 32) باستخدام FP4 (OCP E2M1) للبيانات وE4M3 لعوامل القياس. ويقومون بأخذ عينات من التوزيعات الطبيعية لعزل سلوك MSE النظري.
2. استراتيجيات القياس: تدرس الدراسة منهجيات قياس عدة:
   • الحد الأقصى المطلق القياسي (Standard Abs-Max): الطريقة المرجعية حيث يكون المقياس هو أقصى قيمة مطلقة في الكتلة، مقربة إلى أقرب قيمة قابلة للتمثيل في تنسيق E4M3.
   • منع الصفر (Prevent-Zero): تعديل يتم فيه حصر عامل القياس عند أصغر قيمة غير صفرية قابلة للتمثيل ($\epsilon_{SF}$) لمنع التلاشي إلى الصفر، والذي قد يؤدي بخلاف ذلك إلى انهيار جميع القيم في الكتلة إلى الصفر.
   • 4-over-6: تدخل خوارزمي [2] يختار عامل القياس من أكبر قيمتين قابلتين للتمثيل في نطاق FP4 (4.0 و6.0) لتقليل MSE لكتلة معينة، مما يعد تعديلاً لهندسة الكمية بشكل فعال.
   • البحث بالقوة الغاشمة (Brute-Force Search): مرجع مثالي يبحث في جميع عوامل القياس الممكنة لإيجاد الحد الأدنى النظري لـ MSE، مما يضع الحد الأعلى للأداء.
   • القياس الهرمي (Hierarchical Scaling): عملية مكونة من مرحلتين تتضمن مقياساً عالمياً لكل تينسور (tensor) متبوعاً بمقاييس كتل محلية.
3. التقييم اللاحق: يتم تطبيق الاستراتيجيات المقترحة على كمية الأوزان والتنشيط (تحديداً طبقات MLP) لأربعة نماذج لغوية كبيرة متميزة: Granite-3.3-8B، وLlama-3.1-8B، وDeepSeek-LLM-7B-Base، وQwen2.5-14B. ويُقاس الأداء عبر فجوات التشتت (perplexity gaps) مقابل المراجع غير المكممة.

النتائج والنتائج الرئيسية
تحدد الدراسة أن التدهور الملحوظ مع أحجام الكتل الأصغر ليس عيباً متأصلاً في الدقة العالية، بل هو نتيجة لتفاعل توزيعات التينسور ذات الذيول الثقيلة (heavy-tailed) بشكل سيئ مع خانات القياس العليا الخشنة لتنسيق FP4 (E2M1).

• المنطقة A (المقاييس الصغيرة للغاية): يتسبب قياس الحد الأقصى المطلق القياسي بشكل متكرر في تلاشي عامل القياس إلى الصفر، مما يخلق طفرة في MSE. تعديل Prevent-Zero يقضي تماماً على هذا الخطأ الموضعي عن طريق فرض المقياس عند أصغر قيمة موجبة.
• المنطقة B (المقاييس المتوسطة): حتى مع منع الصفر، يستمر انقلاب متناقض حيث تعطي الكتل الأصغر MSE أعلى. يحدث هذا لأن أكبر القيم في الكتلة غالباً ما تتوافق بشكل سيئ مع شبكة E4M3 الخشنة، مما يؤدي إلى قص مفرط في أكبر خانة للمقدار (6.0). تعالج منهجية 4-over-6 هذا الأمر من خلال الاختيار التكيفي بين عوامل القياس 4.0 و6.0، مما يسمح للقيم بالدخول في الجزء الأكثر انتظاماً من نطاق FP4 وتجنب القص القوي.
• المرجع المثالي: تؤكد عملية البحث بالقوة الغاشمة أنه عندما يتم اختيار عامل القياس المثالي، فإن MSE يتحسن بشكل صارم مع تناقص أحجام الكتل، مما يثبت أن مبدأ "الأدق هو الأفضل" سليم نظرياً.
• السلوك الخاص بالنماذج: في تقييمات LLM اللاحقة، تتصرف نماذج مثل DeepSeek وQwen بشكل بديهي، حيث تظهر تحسناً في التشتت مع أحجام الكتل الأصغر. وعلى العكس من ذلك، تظهر نماذج مثل Granite وLlama التدهور المتناقض عند أحجام الكتل 4 و8 تحت القياس القياسي.
  • يوفر تطبيق Prevent-Zero تحسينات موضعية ولكنه لا يحل تماماً منحنى التشتت على شكل حرف U لنموذجي Granite وLlama.
  • يؤدي تطبيق 4-over-6 إلى تقليل فجوة التشتت بشكل كبير (على سبيل المثال، تقليل فجوة Llama من 0.725 إلى 0.270 عند حجم كتلة 4)، مما يقضي فعلياً على المفارقة.
• تبادل التنسيقات: يوضح البحث أن استخدام عوامل قياس E4M3 القياسية مع القياس الهرمي واستراتيجية 4-over-6 يعطي نتائج مقاربة لاستخدام تنسيقات مخصصة ذات أسس أوسع مثل UE5M3. وبينما يوفر UE5M3 بطبيعته نطاقاً مطلقاً أوسع، فإن الوصفة الخوارزمية (E4M3 + 4-over-6 + Hierarchical) تحقق تحسينات مماثلة في الجودة.

الأهمية والادعاءات
يزعم المؤلفون أنهم قد حلوا بالكامل "مفارقة حجم الكتلة" من خلال إثبات أن التدهور مدفوع بالتفاعلات بين توزيعات التينسور وهندسة الكمية، وليس بسبب حجم الكتلة نفسه.

• الحل الخوارزمي: يثبت العمل أن التنسيقات القياسية المتوافقة مع الأجهزة (مثل OCP E4M3) يمكن أن تضاهي أداء التنسيقات المخصصة ذات الأسس الأوسع (مثل UE5M3) إذا تم تطبيق الوصفة الخوارزمية الصحيحة (تحديداً 4-over-6 والقياس الهرمي).
• مقايضات الأجهزة: يسلط البحث الضوء على مقايضة: بينما يوفر UE5M3 مرونة أكبر دون الحاجة إلى القياس الهرمي، فإن خوارزمية 4-over-6 تفرض عبئاً حسابياً (تتطلب عمليتي كمية وحسابات MSE لكل كتلة). هذا العبء مقبول لعمليات كمية الأوزان غير المتزامنة (offline) ولكنه قد يكون عائقاً أمام كمية التنشيط الديناميكية.
• الاتجاهات المستقبلية: يشير المؤلفون إلى أن الاستدلالات الحالية لا تزال تقصر عن الوصول إلى الحد الأدنى لـ MSE الذي حدده البحث بالقوة الغاشمة، مما يشير إلى أن تصميم خوارزميات اختيار المقياس المثلى يظل مجالاً حاسماً للبحث المستقبلي.

في الختام، يؤكد البحث أنه مع استراتيجيات القياس الصحيحة، يمكن تحقيق الفوائد النظرية لدقة التدرج المجهري في الممارسة العملية، مما يسمح بتحسينات قوية في التشتت عبر بنيات LLM المتنوعة.