💬 NLP

Unleashing Low-Bit Inference on Ascend NPUs: A Comprehensive Evaluation of HiFloat Formats

تقيم هذه الورقة تنسيقات HiFloat (HiF8 وHiF4) على وحدات المعالجة العصبية Ascend، مما يثبت أداءها المتفوق على التنسيقات الصحيحة في التعامل مع البيانات عالية التباين ومنع انهيار الدقة في أنظمة الـ 4 بت مع الحفاظ على التوافق مع أطر عمل التكميم الحديثة من أجل استنتاج فعال للنماذج اللغوية الكبيرة.

المؤلفون الأصليون: Pengxiang Zhao, Hui-Ling Zhen, Xing Li, Han Bao, Weizhe Lin, Zhiyuan Yang, Manyi Zhang, Yuanyong Luo, Ziwei Yu, Xin Wang, Mingxuan Yuan, Xianzhi Yu, Zhenhua Dong

نُشر 2026-03-03

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Pengxiang Zhao, Hui-Ling Zhen, Xing Li, Han Bao, Weizhe Lin, Zhiyuan Yang, Manyi Zhang, Yuanyong Luo, Ziwei Yu, Xin Wang, Mingxuan Yuan, Xianzhi Yu, Zhenhua Dong

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مكتبة ضخمة من الكتب (وهذه هي النماذج اللغوية الكبيرة أو LLMs، مثل تلك التي تشغل الذكاء الاصطناي المتقدم). هذه الكتب ضخمة جدًا لدرجة أنها لا تتسع على رف واحد؛ بل تتطلب مستودعًا كاملًا. ولجعلها أسهل في الحمل والقراءة بسرعة، نحتاج إلى تقليص حجمها. تسمى عملية التقليص هذه "الكمية" (Quantization).

فكر في "الكمية" كعملية ضغط صورة عالية الدقة لتصبح بحجم ملف أصغر. أنت تريد جعلها صغيرة بما يكفي لتوضع في جيبك دون فقدان التفاصيل التي تجعل الصورة قابلة للتمييز.

لفترة طويلة، كانت الطريقة القياسية لتقليص أحجام نماذج الذكاء الاصطنا هذه هي استخدام "الأعداد الصحيحة" (Integers) (أرقام كاملة مثل 1، 2، 3). الأمر يشبه محاولة وصف لوحة فنية باستخدام لوحة ألوان محدودة من الكتل اللونية الصلبة فقط. هذا يعمل جيدًا مع الأشكال البسيطة، ولكن عندما تحتوي اللوحة على تدرجات دقيقة، أو ظلال، أو ومضات ساطعة مفاجئة (ما يسميه باحثو الذكاء الاصطناي "القيم المتطرفة" أو outliers)، تصبح طريقة الأعداد الصحيحة ضبابية.

المشكلة: فخ "المقاس الواحد للجميع"

تجادل الورقة البحثية بأنه كلما أصبح الذكاء الاصطناعي أكثر ذكاءً، أصبح أكثر فوضوية. بياناته تشهد تقلبات جامحة—أحيانًا أرقام صغيرة جدًا، وأحيانًا قفزات هائلة.

الأعداد الصحيحة (INT8/INT4) تشبه مسطرة ذات علامات متباعدة بانتظام. إذا حاولت قياس نملة صغيرة وفيل ضخم بنفس المسطرة، فإما أن تفقد تفاصيل النملة أو تنفد المساحة المخصصة للفيل.
الأرقام العشرية (Floating-Point - FP) تشبه عدسة يمكن تكبيرها وتصغيرها. يمكنها التركيز على التفاصيل الدقيقة أو التراجع لرؤية الأشياء الضخمة، لكنها قد تكون غير فعالة إذا لم تكن بحاجة إلى كل ذلك التكبير.

الحل: HiFloat (المُقلص الذكي)

قدم المؤلفون من شركة هواوي عائلة جديدة من التنسيقات تسمى HiFloat (تحديدًا HiF8 و HiF4). فكر في HiFloat كحقيبة سفر ذكية ومتكيفة مصممة خصيصًا لشرائح Huawei Ascend NPU (الأجهزة التي يعمل عليها الذكاء الاصطناعي).

إليك كيف يعمل الأمر، مقسمًا حسب نتائج الورقة البحثية:

1. نسخة الـ 8 بت (HiF8): "الأداة المتخصصة"

عندما نقوم بتقليص النموذج إلى 8 بت (ضغط متوسط):

الأوزان (المعرفة الثابتة): وجدت الورقة أن الأجزاء "الثابتة" من الذكاء الاصطناي (الأوزان، وهي تشبه الحقائق التي حفظها الذكاء الاصطناي) هي في الواقع أفضل مع طريقة الأعداد الصحيحة التقليدية. لماذا؟ لأن الحقائق عادة ما تكون متجمعة في نطاق ضيق. استخدام عدسة مكبرة متطورة (نقطة عشرية) هنا يشبه استخدام مطرقة ثقيلة لكسر حبة جوز؛ فهو يهدر مساحة على ميزات لا تحتاج إليها.
التنشيطات (الأفكار الديناميكية): عندما يكون الذكاء الاصطناعي في حالة "تفكير" ومعالجة جملة ما، فإن الأرقام تتقلب بجنون. هنا، يتألق HiF8. قدرته على "العدسة المكبرة" تتعامل مع القفزات المفاجئة في البيانات بشكل أفضل بكثير من مسطرة الأعداد الصحيحة الجامدة.

تشبيه: تخيل أنك تجهز لحقيبة سفر.

الأوزان هي ملابسك: هي متوقعة. لذا فإن حقيبة عادية (أعداد صحيحة) هي الأنسب.
التنشيطات هي أمتعتك أثناء ازدحام المطار الفوضوي: الأشياء تطير في كل مكان. أنت بحين إلى حقيبة مرنة وقابلة للتمدد (HiF8) يمكنها استيعاب هذه الفوضى.

2. نسخة الـ 4 بت (HiF4): "التحفة الهرمية"

هذا هو الإنجاز الأكبر للورقة البحثية. عندما نحاول تقليص النموذج بشكل كبير للغاية (إلى 4 بت)، تفشل الطرق القديمة فشلاً ذريعًا.

الفشل: الأعداد الصحيحة ذات الـ 4 بت القياسية تشبه محاولة وصف منظر طبيعي معقد باستخدام 16 لونًا فقط. تتحول الصورة إلى كتلة طينية مشوشة، ويتوقف الذكاء الاصطناعي عن تقديم إجابات منطقية.
حل HiF4: يستخدم HiF4 هيكلية ثلاثية المستويات. تخيل أنك تنظم حشدًا هائلًا من الناس:
- المستوى 1: تقوم بتجميعهم في كتل مكونة من 64 شخصًا وتعطي تقديرًا عامًا لحجم الكتلة بالكامل.
- المستوى 2: داخل تلك الكتلة، تقسمهم إلى 8 مجموعات أصغر وتُحسن التقدير.
- المستوى 3: أخيرًا، تنظر إلى 4 أشخاص في كل مرة وتعطي تقديرًا دقيقًا.

هذا النهج الذي يشبه "دمى الماتريوشكا الروسية" (الدمى المتداخلة) يسمح لـ HiF4 بالتعامل مع "القيم المتطرفة" (الأرقام الضخمة الغريبة) دون إفساد الدقة للأرقام العادية. إنه يشبه امتلاك خريطة تظهر الدولة بأكملها، ثم تكبر لتظهر المدينة، ثم تكبر لتظهر الشارع، كل ذلك في آن واحد.

النتائج: لماذا يجب أن تهتم؟

اختبر الباحثون هذا على نماذج ذكاء اصطناعي حقيقية (Qwen3-8B و openPangu-7B) ووجدوا ما يلي:

عدم الانهيار: عندما حاولوا تشغيل الذكاء الاصطناعي بدقة 4 بت، تسببت الطرق القديمة (الأعداد الصحيحة) في "انهيار" الذكاء الاصطناي وجعلته يعطي إجابات غير منطقية. أما HiF4 فقد حافظ على عمل الذكاء الاصطناي بكفاءة تقارب النسخة الأصلية غير المضغوطة.
السرعة والكفاءة: نظرًا لأن HiF8 و HiF4 مصممان خصيصًا لشرائح Huawei Ascend، فهما لا يوفران المساحة فحسب، بل يعملان بشكل أسرع ويستهلكان طاقة أقل.
التوافق: يعمل النظام بانسجام مع الأدوات الحالية التي تساعد الذكاء الاصطناي على العمل بكفاءة.

الخلاصة

هذه الورقة البحثية تشبه اكتشاف تقنية جديدة فائقة الكفاءة لنقل الأثاث باستخدام شاحنة نقل.

إذا كنت تنقل أثاثًا قياسيًا (الأوزان)، فاستخدم الصناديق القياسية (الأعداد الصحيحة).
إذا كنت تنقل قطعًا فنية هشة وغريبة الشكل (التنشيطات)، فاستخدم الحشوات الرغوية المخصصة (HiF8).
إذا كنت تحاول وضع قصر كامل داخل فان صغير (الاستدلال بـ 4 بت)، فأنت بحاجة إلى نظام HiF4 الهرمي. إنه الطريقة الوحيدة للحفاظ على سلامة كل شيء من الكسر مع وضعه بالكامل في الداخل.

بالنسبة لمستقبل الذكاء الاصطناعي، وخاصة على الأجهزة المتخصصة مثل شرائح هواوي، يقدم HiFloat طريقة لجعل هذه الأدمغة العملاقة أصغر، وأسرع، وأرخص في التشغيل دون فقدان ذكائها.

إليك ملخص تقني مفصل للورقة البحثية بعنوان: "إطلاق العنان للاستدلال منخفض البت على وحدات المعالجة العصبية Ascend: تقييم شامل لتنسيقات HiFloat."

1. بيان المشكلة

مع توسع النماذج اللغوية الكبيرة (LLMs)، أصبحت متطلبات الإنتاجية الحسابية وعرض نطاق الذاكرة (Memory Bandwidth) عوائق حرجة. وبينما يعد التكميم (Quantization) حلاً قياسياً لتقليل عبء الذاذ، ركزت الأبحاث الحالية بشكل أساسي على التكميم القائم على الأعداد الصحيحة (مثل INT8 وINT4). ومع ذلك، تعاني تنسيقات الأعداد الصحيحة من:

البيانات عالية التباين: غالباً ما تحتوي تنشيطات (Activations) النماذج اللغوية الكبيرة على "قيم متطرفة" (Outliers) تجبر التكميم الصحيح على استخدام خطوات خشنة، مما يقلل من دقة معظم نقاط البيانات القريبة من الصفر.
نطاقات البتات شديدة الانخفاض (4-بت): يؤدي التباعد المنتظم للأعداد الصحيحة إلى انهيار كارثي في الدقة عند تقليل عرض البتات إلى 4 بت، حيث لا يمكنها استيعاب النطاق الديناميكي والتباين المحلي الضروريين في آن واحد.

بينما توفر تنسيقات الفاصلة العائمة (مثل MXFP وNVFP4) نطاقاً ديناميكياً أفضل، إلا أن فعاليتها في تكميم ما بعد التدريب (PTQ) للاستدلال على أجهزة محددة (وحدات Ascend NPU) ومدى تآزرها مع أطر العمل الحالية لتخفيف حدة القيم المتطرفة لا يزال غير مستكشف بشكل كافٍ.

2. المنهجية والحل المقترح

يقوم المؤلفون بتقييم عائلة تنسيقات HiFloat، المصممة خصيصاً لوحدات Ascend NPU، والتي تستخدم التدرج الهرمي للمقاييس (Hierarchical Scaling) لتحقيق التوازن بين النطاق الديناميكي والدقة.

أ. تنسيقات HiFloat

HiF8 (8-بت):
- الآلية: توسع معيار IEEE 754 باستخدام كود بادئة ديناميكي (Dynamic Prefix Code). يقوم بتخصيص البتات بشكل تكيفي بين الأس (Exponent) والمانتيسا (Mantissa) بناءً على مقدار المدخلات.
- الهيكل: يستخدم بت الإشارة (Sign bit)، وحقل "النقطة" (Dot field) للتمييز بين الأشكال الطبيعية وغير الطبيعية (Normal/Subnormal)، وحقل أس يعتمد على السياق يمكن أن يتضمن بتًا رائدًا.
- الهدف: يوفر نطاقاً ديناميكياً ممتداً للبيانات المتقلبة (التنشيطات) مع الحفاظ على الدقة للبيانات الثابتة (الأوزان).
HiF4 (4-بت):
- الآلية: يستخدم هيكل قياس هرمي ثلاثي المستويات داخل كتلة مكونة من 64 عنصرًا.
- الهيكل:
  - المستوى 1: مقياس مشترك غير موقع 8-بت ( $E6M2$ ) للكتلة الكاملة المكونة من 64 عنصرًا.
  - المستوى 2: مقياس 1-بت ( $E1M0$ ) للكتل الفرعية المكونة من 8 عناصر.
  - المستوى 3: مقياس 1-بت ( $E1M0$ ) للكتل الدقيقة المكونة من 4 عناصر.
  - العنصر: يتم تخزين البيانات الفعلية في تنسيق 4-بت ( $E1M2$ ).
- الهدف: عزل القيم المتطرفة عند مستويات تعددية، مما يمنع قيمة متطرفة واحدة من إضعاف دقة الكتلة بأكملها.

ب. إطار التقييم

النماذج: تم التقييم على نماذج Qwen3-8B وopenPangu-7B.
المهام: تقييم شامل عبر الأوزان (Weights)، التنشيطات (Activations)، وذاكرة التخزين المؤقت KV (KV Cache).
المقارنة المرجعية (Baselines): تمت المقارنة مع INT8/INT4 وMXFP8/MXFP4 وNVFP4.
التآزر: تم اختبار التكامل مع أطر عمل PTQ الحديثة: SmoothQuant (تنعيم المقدار) وSVDQuant (امتصاص القيم المتطرفة منخفضة الرتبة).
المقاييس: نسبة الإشارة إلى ضوضاء التكميم (SQNR)، الإرقاء (Perplexity - PPL)، ودقة الصفر (Zero-shot accuracy) على الاختبارات المعيارية (ARC، MMLU، GSM8K، إلخ).

3. المساهمات الرئيسية

الصياغة الرياضية: تقديم منطق التكميم وإلغاء التكميم الرسمي لـ HiF8 وHiF4، مع تفصيل آليات تخصيص البتات التكيفية والقياس الهرمي.
التحليل التوزيعي: إثبات أن INT8 هو الأفضل للأوزان (التي لها توزيعات ضيقة ومحدودة) بسبب الكثافة المنتظمة، بينما تتفوق تنسيقات الفاصلة العائمة (HiF8/MXFP8) في التنشيطات (التي تتميز بتباين عالٍ وقيم متطرفة).
الاختراق في نظام 4-بت: تحديد أن تنسيقات الفاصلة العائمة الهرمية ضرورية في نطاقات 4-بت. يمنع HiF4 "الانهيار في الدقة" الذي يظهر في INT4 وMXFP4 من خلال استخدام القياس متعدد المستويات للحفاظ على الدقة المحلية مع التعامل مع القيم المتطرفة.
التآزر الخوارزمي: إظهار أن تنسيقات HiFloat متوافقة تمامًا مع SmoothQuant وSVDQuant، مما يحقق فوائد مضاعفة لضغط النماذج.

4. النتائج الرئيسية

نطاق 8-بت (W8A8)

الأوزان: يتفوق INT8 على تنسيقات الفاصلة العائمة (بما في ذلك HiF8) لأن توزيعات الأوزان ثابتة وضيقة؛ حيث يقلل "هدر الأس" في تنسيقات الفاصلة العائمة من الدقة الفعلية.
التنشيطات: يتفوق HiF8 (المُقاس) وMXFP8 على INT8. النطاق الديناميكي لتنسيقات الفاصلة العائمة يستوعب بشكل أفضل القيم المتطرفة في التنشيطات.
الأداء: باستخدام SmoothQuant أو SVDQuant، يحقق HiF8 أداءً يقترب من فقدان المعلومات (Matching BF16 baselines) على كلا النموذجين.

نطاق 4-بت (W4A4) - النتيجة الحاسمة

فشل الأعداد الصحيحة: يعاني INT4 من فشل كارثي (انخفاض الدقة >60% أو انهيار كامل) حتى مع تقنيات التنعيم. التباعد المنتظم غير كافٍ للاستدلال بـ 4-بت.
محدودية MXFP4: رغم أنه أفضل من INT4، إلا أن MXFP4 (الذي يستخدم مقياسًا أحادي المستوى) لا يزال يتسبب في انخفاض كبير في الدقة (مثلاً ~10% في Qwen3-8B).
تفوق HiF4:
- يحافظ كل من HiF4 وNVFP4 على سلامة النموذج.
- في نموذج Qwen3-8B، يحد HiF4 من تدهور الدقة إلى ~3.5% (باستخدام RTN) و**~2.0%** (مع SVDQuant)، مما يحافظ على أكثر من 96.5% من خط الأساس لـ BF16.
- في نموذج openPangu-7B، يحصر HiF4 التدهور في 3.0%، متفوقًا بشكل كبير على MXFP4 وNVFP4 في تكوينات معينة.

تكميم ذاكرة التخزين المؤقت KV (KV Cache)

حالات المفتاح (Key States): متقلبة للغاية؛ التنسيقات الهرمية (HiF4/NVFP4) تتفوق بشكل كبير على الخطوط المرجعية المنتظمة.
حالات القيمة (Value States): أكثر استقرارًا؛ يحقق HiF4 باستمرار أفضل النتائج بين تنسيقات 4-بت.
الاستدلال النهائي (End-to-End): عند الجمع بين W4A4 وتكميم ذاكرة KV بـ 4-بت (QKV4)، فإن HiF4 هو التنسيق الوحيد الذي يظل قويًا، حيث يحد من فقدان الدقة إلى 3.92% في Qwen3-8B و13.84% في openPangu-7B، بينما تعاني التنسيقات الأخرى من تدهور شديد.

5. الأهمية

تحسين الأجهزة: يثبت هذا العمل أن HiFloat هو حل عالي الكفاءة وأصيل لـ Ascend NPUs، مما يوفر مسارًا لنشر النماذج الكبيرة بأقل بصمة ذاكرة دون التضحية بالدقة.
تحول النموذج المعرفي للاستدلال بـ 4-بت: تؤسس هذه الورقة أن التكميم الهرمي للفاصلة العائمة هو المعيار الضروري لاستدلال النماذج اللغوية الكبيرة بـ 4-بت، بدلاً من الاعتماد التقليدي على تكميم الأعداد الصحيحة الذي يفشل عند هذا المستوى من الدقة.
النشر العملي: من خلال إثبات التوافق مع SmoothQuant وSVDQuant، يوفر المؤلفون خط إنتاج جاهز للاستخدام للاستدلال عالي الدقة ومنخفض البت، مما يسميز بتشغيل النماذج واسعة النطاق على وحدة GPU واحدة.

في الختام، تُظهر الورقة أنه بينما تعتبر تنسيقات الأعداد الصحيحة مثالية لأوزان 8-بت، فإن تنسيقات الفاصلة العائمة الهرمية (وتحديداً HiF4) هي الممكن الحقيقي للاستدلال الموثوق وعالي الأداء بـ 4-بت عبر الأوزان، والتنشيطات، وذاكرة التخزين المؤقت KV.