Precision-Scalable Microscaling Datapaths with Optimized Reduction Tree for Efficient NPU Integration
تقترح هذه الورقة شجرة اختزال هجينة قابلة للتوسع في الدقة لوحدات الضرب والجمع ذات المقياس الدقيق (MX)، والتي تتغلب على المقايضات الحالية بين التجميع الصحيح والعائم، محققةً مكاسب كبيرة في كفاءة الطاقة والإنتاجية عند دمجها في منصة SNAX NPU.
المؤلفون الأصليون:Stef Cuyckens, Xiaoling Yi, Robin Geens, Joren Dumoulin, Martin Wiesner, Chao Fang, Marian Verhelst
في الماضي، كان على المطابخ الاختيار بين أداتين متخصصتين:
"طاهي الوجبات الخفيفة" (الحسابات الصحيحة - Integer Math): سريع جداً وغير مكلف، لكنه لا يستطيع التعامل إلا مع مكونات بسيطة. هو رائع للوجبات الخفيفة، لكنه سيء جداً في صنع الكعك.
"طاهي الكعك" (حسابات الفاصلة العائمة - Floating Point Math): يمكنه التعامل مع أي مكون بدقة متناهية، لكنه بطيء، ومكلف، ويستهلك الكثير من الطاقة.
المشكلة؟ الذكاء الاصطناي الحديث يحتاج للقيام بكلتا المهمتين على نفس الجهاز، وغالباً ما يتنقل بينهما. حاولت معايير "المقياس الدقيق" (Microscaling - MX) القديمة حل هذه المشكلة عن طريق السماح للطهاة باستخدام أكياس مكونات أصغر، لكن المطبخ ظل يعاني من عقبة: وعاء الخلط (شجرة الاختزال - The Reduction Tree).
إليك قصة كيف قام هذا البحث بإصلاح ذلك المطبخ.
1. العقبة: وعاء خلط "مبالغ في هندسته"
في مطابخ (MX) القديمة، كان "وعاء الخلط" (حيث يتم جمع الأرقام معاً) عبارة عن آلة ضخمة وخرقاء.
المشكلة: عندما يحاول الطهاة خلط مكوناتهم الصغيرة، تضطر الآلة للتوقف باستمرار، وقياس كل شيء بدقة، وإعادة محاذاة المكونات قبل الخلط. هذا استهلك 80% من مساحة المطبخ وطاقته!
التشبيه: تخيل أنك تحاول صب الماء من أكواب صغيرة إلى دلو ضخم. الطريقة القديمة كانت تتطلب منك التوقف، وقياس ارتفاع الماء بدقة في كل كوب، وصبها بطريقة معينة حتى لا تتناثر. كانت دقيقة، لكنها بطيئة ومبددة للغاية.
2. الحل: وعاء الخلط "الهجين الذكي"
بنى المؤلفون نوعاً جديداً من أوعية الخلط يعمل مثل الحرباء. فهو يجمع بين أفضل ما في عالمين:
خدعة "تخطي الخطوات": في بعض الأحيان، يعمل مثل "طاهي الوجبات الخفيفة". فهو يتخطى خطوات القياس وإعادة المحاذاة المكلفة، ويقوم فقط بصب المكونات بسرعة. هذا يوفر كميات هائلة من الطاقة.
خدعة "الدقة": في أوقات أخرى، يعمل مثل "طاهي الكعك". يقوم بالقياس الدقيق عندما تتطلب الوصفة ذلك.
الابتكار: لقد وجدوا طريقة للتبديل بين هذه الأنماط فورياً دون الحاجة لبناء وعاءين منفصلين. كما أدركوا أنهم ليسوا بحاجة لقياس كل شيء بدقة النانومتر. إذا كانت الوصفة تحتاج فقط لأن تكون "قريبة بما يكفي"، فإنهم يتوقفون عن القياس بدقة متناهية. هذا يشبه إدراكك أنك لا تحتاج لمسطرة ليزر لقياس الدقيق لصنع كعكة؛ فكوب القياس العادي يفي بالغرض.
3. نظام التوصيل: "النادل الذكي"
حتى مع وجود وعاء خلط رائع، سيفشل المطبخ إذا لم تصل المكونات في موعدها.
الطريقة القديمة: كان لدى المطبخ نادل يأتي دائماً بشاحنة ضخمة من المكونات، بغض النظر عما إذا كان الطاهي يصنع وجبة خفيفة صغيرة أم كعكة ضخمة. هذا أدى لإضاعة الطاقة في نقل الصناديق الفارغة وتسبب في ازدحام الممرات.
الطريقة الجديدة (تكامل SNAX): قام المؤلفون بترقية النادل (ناقل البيانات). الآن، يتحقق النادل من الطلب قبل مغادرة المخزن.
لصنع وجبة خفيفة؟ يحضر النادل سلة صغيرة (مسار واحد).
لصنع كعكة؟ يحضر عربة كبيرة (4 مسارات).
هذا يضمن عدم ازدحام الممرات، وعدم إضاعة أي طاقة في نقل المساحات الفارغة.
4. النتائج: مطبخ فائق الكفاءة
من خلال الجمع بين وعاء الخلط الهجين الذكي والنادل التكيفي، أصبح المطبخ الجديد قوة ضاربة:
السرعة: يمكنه إنتاج النتائج أسرع بمعدل 2 إلى 3 مرات من أفضل المطابخ السابقة لمهام معينة.
الكفاءة: يستخدم كهرباء أقل بكثير (كفاءة الطاقة) لأنه يتوقف عن إضاعة الوقت في القياس غير الضروري وتحريك الصناديق الفارغة.
تعدد الاستخدامات: يمكنه التعامل مع كل شيء، بدءاً من مهام الذكاء الاصطناعي البسيطة والصغيرة (مثل التعرف على قطة في صورة) وصولاً إلى مهام التدريب الضخمة والمعقدة (تعليم الذكاء الاصطناعي كيفية التعلم) دون الحاجة لاستبدال الأجهزة.
الخلاصة
يتحدث هذا البحث عن بناء عقل ذكاء اصطناعي عالمي وموفر للطاقة لا يهدر المال أو الكهرباء. يفعل ذلك من خلال إنشاء محرك رياضي "ذكي" يعرف متى يكون سريعاً ومتى يكون دقيقاً، ونظام توصيل يجلب بالضبط ما هو مطلوب، لا أكثر ولا أقل. إنه الفرق بين مطبخ يحرق الوقود فقط لإبقاء الأضواء مشتعلة، ومطبخ يطهو وليمة بطاقة مصباح كهربائي واحد.
ملخص تقني لورقة بحثية بعنوان: "مسارات بيانات ميكرو-مقياسية (Microscaling) دقيقة وقابلة للتوسع في الحجم مع شجرة اختزال محسنة للتكامل الفعال في وحدات المعالجة العصبية (NPU)"
1. بيان المشكلة
تتطلب تطبيقات التعلم المستمر الناشئة (مثل الروبوتات والمركبات ذاتية القيادة) وحدات معالجة عصبية (NPUs) يمكنها التعامل بكفاءة مع كل من التدريب والاستدلال عند الحافة (Edge).
المقايضة: يستخدم الاستدلال عادةً أعداداً صحيحة ذات عرض بتات منخفض (INT8/INT4) من أجل كفاءة الطاقة، بينما يتطلب التدريب نطاقات ديناميكية واسعة يتم التعامل معها تقليدياً عبر FP32. استخدام FP32 لكل شيء مكلف للغاية من حيث المساحة والطاقة؛ بينما يؤدي استخدام الأعداد الصحيحة ذات الدقة المنخفضة للتدريب إلى فقدان الدقة.
معيار MX: يعمل تنسيق الميكرو-مقياس (MX) على سد هذه الفجوة من خلال تجميع العناصر تحت أس (exponent) مشترك، مما يسمح للتنسيقات الضيقة (FP8, FP6, FP4, INT8) بالحفاظ على النطاق الديناميكي.
عنق الزجاجة: تواجه تصميمات ضرب وتراكم (MAC) الحالية لـ MX عدم كفاءة حرجة في أشجار الاختزال الخاصة بها (منطق التراكم):
التراكم الصحيح (Integer Accumulation): يتطلب تحويلاً مكلفاً للمنتجات ذات النقطة العائمة الضيقة إلى أعداد صحيحة واسعة.
تراكم FP32: يتطلب منطق تطبيع (normalization) مكلفاً ويتسبب في خسائر التكميم (quantization).
مشكلات على مستوى النظام: غالباً ما تقوم منصات الـ NPU المتطورة (مثل SNAX) بتوفير عرض نطاق ترددي للذاكرة بناءً على أسوأ السيناريوهات الثابتة. يؤدي هذا إلى عدم استغلال قنوات الذاكرة وضياع الطاقة الديناميكية عند التشغيل بدقات أقل (مثل MXINT8 مقابل MXFP4).
2. المنهجية
يقترح المؤلفون حلاً شاملاً يتضمن تحسين الوحدة الحسابية والتكامل على مستوى النظام.
أ. شجرة اختزال هجينة قابلة للتوسع في الدقة الابتكار الأساسي هو تصميم MAC جديد يجمع بين نقاط القوة لنهجين متطورين:
البنية الهجينة: يدمج التصميم مخطط تراكم مبكر (من نهج الأعداد الصحيحة الطويلة) داخل شجرة اختزال FP32.
يستخدم عرض إشارات يبلغ 28 بت في جامع المستوى الثاني (L2) لتجنب الإفراط في التخصيص.
يستخدم مبدل (MUX) للتعامل ديناميكياً مع المحاذاة. بدلاً من توسيع مجموع المنتج دائماً بمقدار 24 بت (كما في نهج FP32 الصرف) أو استخدام أعداد صحيحة ضخمة بسعة 119 بت، يختار المبدل ما إذا كان سيوسع مجموع المنتج يساراً أو يميناً بناءً على الحجم النسبي لنتيجة FP32 الجزئية المخزنة.
النتيجة: يقلل هذا من عرض مدخلات التطبيع من 77 بت إلى 53 بت، مما يقلل بشكل كبير من تعقيد الأجهزة.
تحسين دقة التراكم:
حلل المؤلفون المقايضة بين خطأ الجمع وخطأ التكميم.
توصلوا إلى أنه طالما أن خطأ التكميم (المتأصل في التحويل إلى تنسيقات MX) يتجاوز خطأ الجمع، فيمكن تخفيف دقة الجمع.
من خلال المحاكاة باستخدام التوزيعات المنتظمة والغاوسية، وجدوا أن مانتيسة (mantissa) بسعة 16 بت للنتائج الجزئية المخزنة كافية لإبقاء خطأ الجمع ضئيلاً مقارنة بخطأ التكميم، مما يسمح بمزيد من تقليص الأجهزة.
ب. التكامل في وحدة المعالجة العصبية (منصة SNAX) تم دمج وحدات MAC المقترحة في إطار عمل SNAX (وهو عنقود يعتمد على RISC-V) مع تحسينات محددة:
نواة تينسور 8x8: مصفوفة من 64 وحدة MAC محسنة مرتبة في شبكة مكانية لعمليات ضرب المصفوفات العامة (GeMM).
ناقلو بيانات ديناميكيون: على عكس توفير عرض النطاق الترددي الثابت، تستخدم ناقلو البيانات بوابات القنوات الديناميكية (dynamic channel gating).
يقوم النظام بتنشيط عدد قنوات الوصول إلى الذاكرة المطلوبة فقط لدقة معينة (على سبيل المثال، قناة واحدة لـ MXINT8، و4 قنوات لـ MXFP8/6، و4 قنوات لـ MXFP4).
يقلل هذا من حركة مرور الذاكرة، وتضارب البنوك (bank contention)، واستهلاك الطاقة الديناميكية.
التحكم الموحد: تسمح واجهة سجل الحالة والتهيئة (CSR) لنواة RIS-V بالتبديل ديناميكياً بين أوضاع الدقة، وعمق التراكم، وأحجام بلاطات المصفوفة (matrix tiles) أثناء وقت التشغيل.
3. المساهمات الرئيسية
شجرة اختزال هجينة: بنية MAC مبتكرة تدمج فوائد تراكم الأعداد الصحيحة والنقطة العائمة، مما يقلل من عبء التطبيع وعرض الجامع مع دعم جميع أنواع بيانات MX الستة (INT8, FP8, FP6, FP4).
تخفيف الدقة: طريقة لتقليل عرض مانتيسة التراكم إلى 16 بت دون المساس بدقة النموذج النهائية، مما يقلل أيضاً من تكاليف المساحة والطاقة.
التحسين على مستوى النظام: أول دمج لوحدات MX MAC القابلة لتغيير الدقة في منصة SNAX، والتي تتميز بـ تكيف ديناميكي لعرض النطاق الترددي ليتناسب مع المتطلبات المحددة لمختلف دقات MX.
التقييم الشامل: التحقق من الصحة على مستوى MAC وعلى مستوى النظام الكامل، بالمقارنة مع التنفيذات المتطورة (SotA).
4. النتائج
تم تنفيذ التصميم بتقنية GlobalFoundries 22FDX وتم تقييمه عند تردد 500 ميجاهرتز.
أداء مستوى MAC:
يحقق تردداً أقصى قدره 1800 ميجاهرتز (مقارنة بـ 1100 ميجاهرتز لتصاميم إضافة FP32 المتطورة).
يتفوق في المساحة والطاقة عبر كامل نطاق التردد لمعظم الأنماط.
كفاءة النظام (GOPS/W):
MXINT8: 657 GOPS/W (تحسن بمقدار 1.59 ضعف عن SotA).
تحقق وحدة المعالجة العصبية المتكاملة نسبة استخدام حسابي تتراوح بين 94% – 99% في أعباء عمل ResNet-18 وViT، مما يشير إلى الحد الأدنى من اختناقات التحكم والذاكرة.
المساحة:
إجمالي مساحة النظام هو 0.60 مم²، حيث تشغل نواة تينسور MX حوالي 29.5% من المساحة.
5. الأهمية
يعالج هذا العمل فجوة حرجة في أجهزة الذكاء الاصطناعي الطرفية: عدم القدرة على دعم كل من التدريب والاستدلال بكفاءة على منصة واحدة محدودة الطاقة.
منصة موحدة: يثبت أن مصفوفة MAC واحدة يمكنها التبديل ديناميكياً بين التدريب عالي الدقة (FP8/FP6) والاستدلال منخفض الدقة (INT8/FP4) دون العقوبات الكبيرة في المساحة والطاقة التي تفرضها FP32 التقليدية أو فقدان الدقة الذي تسببه الأعداد الصحيحة الصرفة للتدريب.
الكفاءة: من خلال تحسين شجرة الاختزال وتكييف عرض النطاق الترددي للذاكرة ديناميكياً، يتفوق التصميم بشكل كبير على حلول SotA الحالية في كفاءة الطاقة (حتى 3.2 ضعف).
القابلية للتوسع: يوضح التكامل في إطار عمل SNAX مساراً نحو وحدات معالجة عصبية مرنة وقابلة للبرمجة يمكنها التكيف مع المتطلبات المتطورة لتطبيقات التعلم المستمر في الروبوتات وإنترنت الأشياء (IoT).