💬 NLP

RaZeR: Pushing the Limits of NVFP4 Quantization with Redundant Zero Remapping

تقترح الورقة البحثية RaZeR، وهو تنسيق عددي محسّن يعمل على تحسين دقة تكميم النماذج اللغوية الكبيرة ذات الـ 4 بت من خلال إعادة توظيف البتات الزائدة من تمثيل الصفر في FP4 وعامل قياس الكتلة في FP8 لدعم قيم تكميم إضافية، مما يحقق انخفاضات كبيرة في التشتت (perplexity) مقارنة بـ NVFP4 الأصلي.

المؤلفون الأصليون: Yuzong Chen, Xilai Dai, Jake Hyun, Chi-Chih Chang, Wonsuk Jang, Yuheng Wu, Thierry Tambe, Jae-sun Seo, Mohamed S. Abdelfattah

نُشر 2026-02-03

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yuzong Chen, Xilai Dai, Jake Hyun, Chi-Chih Chang, Wonsuk Jang, Yuheng Wu, Thierry Tambe, Jae-sun Seo, Mohamed S. Abdelfattah

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحث "RaZeR: دفع حدود تكميم NVFP4 عبر إعادة تعيين الصفر الزائد"، مقسماً إلى مفاهيم بسيطة باستخدام تشبيهات من الحياة اليومية.

الصورة الكبيرة: حزم حقيبة السفر

تخيل أنك تحاول وضع خزانة ملابس ضخمة (نموذج لغوي كبير، أو LLM) داخل حقيبة يد صغيرة (الذاكرة المحدودة لشريحة الكمبيوتر). لجعلها تتسع، يجب عليك ضغط الملابس. تسمى هذه العملية التكميم (Quantization).

مؤخراً، تم تقديم طريقة جديدة للحزم تسمى NVFP4. إنها تشبه تقنية طي فعالة جداً توفر الكثير من المساحة وتجعل الملابس سهلة الالتقاط بسرعة. ومع ذلك، لاحظ الباحثون وراء هذه الورقة أنه حتى هذه الطريقة الفعالة كان بها بعض "الجيوب الفارغة" داخل حقيبة السفر لم يتم استخدامها.

RaZeR هي تقنية جديدة تجد تلك الجيوب الفارغة، وتملؤها بشيء مفيد، وتجعل الحقيبة تحمل معلومات أكثر دون أن تصبح أكبر حجماً.

المشكلة: "جيبان فارغان"

وجد الباحثون نوعين محددين من المساحات الضائعة في نظام NVFP4 الحالي:

خطأ "الصفر المزدوج":
في النظام الحالي، يُكتب الرقم "صفر" مرتين: مرة كـ "صفر موجب" ومرة كـ "صفر سالب".
- تشبيه: تخيل أنك تحزم حقيبة سفر ولديك بطاقتان متطابقتان مكتوب عليهما "مساحة فارغة". أنت تحتاج فقط لبطاقة واحدة لتعني "لا يوجد شيء هنا". وجود اثنتين هو هدر للمساحة. في الرياضيات، وجود كل من الصفر الموجب والسالب هو أمر زائد عن الحاجة لأن كلاهما يعني الشيء نفسه تماماً.
"الإشارة غير المستخدمة" على الميزان:
يستخدم NVFP4 "عامل قياس" (مسطرة) لقياس مجموعات من الأرقام. هذه المسطرة مخزنة بتنسيق يسمح بالأرقام السالبة. ومع ذلك، بما أن المسطرة دائماً موجبة في هذا السياق المحدد، فإن الجزء "السالب" من التخزين موجود فقط دون القيام بأي عمل.
- تشبيه: الأمر يشبه استخدام ميزان حرارة يمكنه قياس الحر والبرودة، لكنك تقيس دائماً حساءً ساخناً فقط. جانب "البرودة" في ميزان الحرارة هو مجرد وزن زائد لا فائدة منه.

الحل: RaZeR (إعادة تعيين الصفر الزائد)

قام الفريق، بقيادة يوزونج تشين وزملائه، بابتكار RaZeR لإصلاح هذه المشكلات. إليك كيف فعلوا ذلك:

الخطوة 1: استعادة المساحة. أخذوا "المساحة الإضافية" من الصفر المزدوج وإشارة السالب غير المستخدمة في المسطرة.
الخطوة 2: إنشاء "قيمة خاصة". بدلاً من إضاعة تلك المساحة، استخدموها لإنشاء رقم جديد وخاص يمكن للنظام الآن تمثيله.
- تشبيه: تخيل أن حقيبة سفرك تحتوي على مقصورة مخفية لم تكن تعلم بوجودها. يقوم RaZRE بفتح هذه المقصورة ويضع "أداة سحرية" بداخلها. هذه الأداة تساعدك على حزم العناصر التي كانت في السابق صعبة التعبئة.
الخطوة 3: الاختيار الذكي. اكتشفوا بالضبط أي "رقم خاص" يعمل بشكل أفضل. وجدوا أن إضافة الرقم 5 (و -5) إلى قائمة الأرقام المتاحة يسد فجوة في النظام، مما يسمح بتعبئة أكثر دقة لـ "الملابس" (بيانات نموذج الذكاء الاصطناعي).

النتائج: حزم أذكى، نفس الحجم

تزعم الورقة أنه باستخدام RaZeR:

تحسنت الدقة: أصبح نموذج الذكاء الاصطناعي يرتكب أخطاء أقل. من الناحية التقنية، انخفضت "الارتباك" (Perplexity - وهو مقياس للارتباك/الغموض) بشكل كبير. مقارنة بطريقة NVFP4 القياسية، قلل RaZeR الأخطاء بنسبة تقارب 30-35%.
لا حاجة لمساحة إضافية: حقيبة السفر هي تماماً بنفس الحجم. لم يضيفوا المزيد من الذاكرة؛ بل قاموا فقط بإعادة ترتيب ما كان لديهم بالفعل ليكون أكثر كفاءة.
السرعة: قاموا ببناء برامج كمبيوتر خاصة (تسمى kernels) وصمموا حتى مخططاً لشرائح الكمبيوتر المستقبلية (tensor cores) التي يمكنها استخدام هذه الطريقة الجديدة بنفس سرعة الطريقة القديمة.

لماذا يهم هذا؟

فكر في نماذج الذكاء الاصطناعي الحالية كأنها مكتبات ضخمة. لقراءتها بسرعة، تحتاج إلى تقليص حجم الكتب.

الطريقة القديمة (NVFP4): أنت تقلص الكتب، لكنك تفقد بالخطأ بعض الصفحات لأن طريقة الطي لم تكن مثالية.
طريقة RaZeR: أنت تستخدم نفس طريقة الطي، لكنك تدرك أنك كنت تمسك صفحة مقلوبة. تقوم بقلبها، وفجأة، تستعيد جميع الصفحات، ولا يزال الكتاب بنفس الحجم.

تخلص الورقة إلى أن RaZeR يسمح لنماذج الذكاء الاصطناعي بالعمل بشكل أسرع وأكثر دقة على شرائح الكمبيوتر الحالية والمستقبلية، دون الحاجة إلى أجهزة أكبر أو أكثر تكلفة. إنها باختصار تحقق "أقصى استفادة من المتاح" من التكنولوجيا الموجودة.

ملخص تقني: RaZeR – دفع حدود تكميم NVFP4 باستخدام إعادة تعيين الصفر الفائض (Redundant Zero Remapping)

1. بيان المشكلة

تواجه النماذج اللغوية الكبيرة (LLMs) تحديات جسيمة في النشر بسبب متطلبات عرض نطاق الذاكرة والحوسبة الضخمة. وبينما يعد التكميم (Quantization) حلاً أساسياً للكفاءة، فإن تنسيق NVFP4 الذي تم تقديمه مؤخراً (المدعوم من وحدات معالجة الرسوميات NVIDIA Blackwell) يفرض قيداً محدداً: وهو المجموعة المحدودة من القيم التي يمكن تمثيلها في تنسيق العناصر FP4 ذي الـ 4 بت.

حدد المؤلفون مصدرين محددين للزيادة (Redundancy) في ترميز NVFP4 الحالي غير المستغلة حالياً:

أصفار FP4 الفائضة: يستخدم تنسيق عناصر FP4 (وهو FP4-E2M1) تمثيل إشارة-مقدار (sign-magnitude)، مما ينتج عنه أصفار موجبة وسالبة. أحد هذين الصفرين يعتبر زائداً عن الحاجة لتمثيل القيم العددية.
بت الإشارة الفائض في مقياس الكتلة (Block Scaling Sign Bit): عامل مقياس الكتلة في NVFP4 هو قيمة FP8-E4M3. ومع ذلك، بما أن عوامل المقياس تُشتق من القيم المطلقة القصوى للتنسورات الموجبة، فهي دائماً موجبة. وبالتالي، فإن بت الإشارة في عامل مقياس FP8 غير مستخدم، مما يهدر فعلياً 1 بت من الدقة لكل كتلة (أو 2 بت للأوزان حيث يكون تنسيق مقياس أكثر إيجازاً قابلاً للتطبيق).

تحد هذه الزيادات من دقة تكميم 4 بت، لا سياسة في سيناريوهات الأوزان فقط (weight-only) أو الأوزان والتنشيطات (weight-activation)، حيث إن مجموعة FP4 القياسية $\{ \pm 0, \pm 0.5, \pm 1, \pm 1.5, \pm 2, \pm 3, \pm 4, \pm 6 \}$ لا يمكنها تغطية توزيع أوزان وتنشيطات النماذج اللغوية الكبيرة بشكل أمثل.

2. المنهجية: إعادة تعيين الصفر الفائض (RaZeR)

يقترح البحث RaZeR، وهو تنسيق عددي محسّن يعيد توظيف هذه الزيادات لزيادة دقة التكميم دون زيادة بصمة الذاكرة (Memory Footprint).

2.1 استغلال الزيادة في عامل المقياس

قام المؤلفون أولاً بتحليل متطلبات عرض البت لعوامل مقياس الكتلة. ومن خلال التقييم التجريبي على نماذج Llama وQwen، وجدوا أن أوزان النماذج اللغوية الكبيرة تتحمل عوامل مقياس ذات دقة منخفضة.

الأوزان: يمكن تقليل مقياس الكتلة من E4M3 القياسي (8 بت) إلى E3M3 (6 بت) دون فقدان الدقة، مما يوفر 2 بت لكل كتلة.
التنشيطات: تمتلك التنشيطات نطاقاً ديناميكياً أكبر وهي أقل تحملاً؛ لذا احتفظ المؤلفون بتنسيق E4M3 (7 بت فعالة، 1 بت إشارة زائد)، مما يوفر 1 بت لكل كتة.

2.2 إعادة تعيين الصفر الفائض

يستخدم RaZeR البتات المحررة من عامل المقياس لترميز بيانات وصفية (Metadata) تختار "قيمة خاصة" (Special Value) لاستبدال الصفر الفائض في تمثيل FP4.

اختيار القيمة الخاصة: بدلاً من تمثيل الصفر، يتم إعادة تعيين ترميز FP4 الفائض لتمثيل قيمة غير صفرية محددة (مثل $\pm 5$ ).
التحسين: لكل كتلة، تختار الخوارزمية القيمة الخاصة المثلى من مجموعة محددة مسبقاً لتقليل متوسط خطأ التكميم التربيعي (Mean Squared Quantization Error).
- الأوزان: مع وجود 2 بت حر، يمكن لـ RaZeR الاختيار من بين 4 قيم خاصة (زوجين). هذه القيم تُحسب مسبقاً خارجياً (Offline).
- التنشيطات: مع وجود 1 بت حر، يختار RaZeR من بين قيمتين خاصتين (زوج واحد). يتطلب هذا خطوة تكميم سريعة عبر الإنترنت (Double Quantization) لمقارنة الأخطاء، مما يضيف أقل من 2% كعبء إضافي على وقت التكميم.
قيود القيمة: للحفاظ على كفاءة الأجهزة، يتم تقييد القيم الخاصة لتكون مضاعفات لـ 0.5 (لتتطابق مع دقة FP4). أظهر التحليل التجريبي أن $\pm 5$ هي القيمة الخاصة المثلى (كـ زوج)، لأنها تسد الفجوة بين أكبر القيم التي يمكن لـ FP4 تمثيلها ( $\pm 4$ و $\pm 6$ ).

2.3 التنفيذ

أنوية GPU: قام المؤلفون بتنفيذ أنوية GEMM عالية الأداء للأوزان فقط وللأوزان والتنشيطات لنواتج NVIDIA Blackwell. ويستخدمون طريقة المسارين (Two-pass method) للتنشيطات للتعامل مع منطق إعادة التعيين ضمن وحدات Tensor Cores الحالية، كما يستخدمون استراتيجيات الضبط التلقائي (Auto-tuning) لتحسين تقسيم كتل الخيوط (Thread block partitioning) لأحجام الدفعات الصغيرة.
تصميم الأجهزة: تم اقتراح وحدة Tensor Core معدلة لـ NVFP4 تدعم RaZeR أصلياً. يتضمن هذا التصميم فك تشفير للأوزان والتنشيطات يستخدم سجلات الإزاحة (Offset registers) لإعادة بناء القيم الخاصة من بتات البيانات الوصفية قبل إجراء عمليات الضرب والجمع المتراكم (MAC).

3. المساهمات الرئيسية

تنسيق RaZeR: تنسيق NVFP4 محسّن يعيد توظيف بتات الصفر الفائضة وبتات إشارة عامل المقياس لتقديم قيم خاصة تكيفية، مما يحسن دقة التكميم مع الحفاظ على نفس بصمة الذاكرة.
أنوية GPU فعالة: تنفيذ أنوية استدلال (Inference kernels) للأوزان فقط وللأوزان والتنشيطات على وحدات Blackwell، والتي تحقق أداءً يضاهي أو يتفوق على أنوية الـ 4 بت السابقة (مثل Marlin وAWQ).
بنية الأجهزة: تصميم لـ Tensor Core معدل يضيف دعماً أصلياً لـ RaZeR مع حد أدنى من التكاليف في مساحة السيليكون.
تقييم شامل: اختبارات معيارية واسعة تثبت تفوق RaZeR على الطرق الحالية لـ 4 بت عبر مختلف أحجام النماذج (Llama, Qwen) وإعدادات التكميم.

4. النتائج التجريبية

يقيم البحث RaZeR مقابل أحدث الطرق مثل NVFP4 وFourOverSix وMR-GPTQ وNF4.

تقليل الارتياب (Perplexity Reduction):
- مقارنة بـ NVFP4 الأصلي، يقلل RaZeR متوسط فقدان الارتياب بنسبة 34.6% (للأوزان فقط) و 31.2% (للأوزان والتنشيطات).
- مقارنة بأحدث التقنيات FourOverSix، يقلل RaZeR متوسط فقد المرتياب بنسبة 29.2% (للأوزان فقط) و 23.3% (للأوزان والتنشيطات).
دقة المهام الصفرية (Zero-Shot Accuracy): يحسن RaZeR متوسط دقة المهام الصفرية بمقدار 0.63% فوق تنسيق NVFP4 الأساسي عبر جميع النماذج المختبرة.
مهام الاستدلال: في مهام GSM8K وMMLU، يظهر RaZeR مكاسب كبيرة، متفوقاً على خوارزميات NVFP4 الحديثة (MR-GPTQ, FourOverSix) بهوامش تصل إلى 4.47% في إعدادات الأوزان والتنشيطات.
كفاءة الأجهزة:
- المساحة/الطاقة: تظهر نتائج التصنيع بتقنية TSMC 28nm أن وحدة Tensor Core الخاصة بـ RaZeR تزيد مساحة النواة بنسبة 3.7% فقط وتستهلك طاقة إضافية بنسبة 13.5% مقارنة بنواة NVFP4 الأساسية. ونظراً لأن وحدات MAC تشكل جزءاً صغيراً من تصميم المسرع الإجمالي، يُقدر إجمالي العبء على الشريحة بـ 0.37% مساحة و 1.35% طاقة.
- الإنتاجية (Throughput): في وحدات Blackwell، تحقق أنوية RaZeR سرعات فك تشفير (Decoding) قريبة من الأفضل في فئتها للدفعة الواحدة (Single-batch)، وتتفوق بشكل كبير على أنوية الأوزان الأخرى عند أحجام الدفعات المتوسطة إلى الكبيرة.

5. الأهمية والادعاءات

يزعم البحث أن RaZeR يمثل خطوة هامة للأمام في تكميم النماذج اللغوية الكبيرة من خلال إثبات أن الابتكار الخوارزمي يمكن تحقيقه عبر استغلال الزيادات الهيكلية في التنسيقات المدعومة عتادياً بدلاً من الحاجة إلى أنواع بيانات جديدة ومعقدة تماماً.

تشمل الادعاءات الرئيسية ما يلي:

يدفع RaZeR بحدود NVFP4، محققاً دقة أعلى من أحدث طرق الـ 4 بت دون زيادة في استخدام الذاكرة.
النهج عملي للنشر الفوري على الأجهزة الحالية (عبر أنوية البرمجيات) وعلى الأجهزة المستقبلية (عبر تعديل الـ Tensor Core المقترح).
يجعل الحد الأدنى من العبء على الأجهزة (أقل من 1% من مساحة الشريحة الإجمالية) اعتماد RaZeR أمراً ممكناً للغاية للمسرعات القادمة.
من خلال تقليل التكلفة التشغيلية واستهلاك الطاقة لنشر النماذج اللغبية الكبيرة عبر تكميم أكثر كفاءة، يساهم العمل في جعل أنظمة الذكاء الاصطناعي أكثر سهولة في الوصول إليها.

يؤكد المؤلفون أن عملهم يركز على تحسين معيار NVFP4 ليتناسب بشكل أفضل مع توزيعات التنسورات في النماذج اللغوية الكبيرة، مما يوفر مساراً نحو تكميم 4 بت "شبه خالٍ من الفقد" (Near-lossless) كان غير قابل للتحقيق سابقاً باستخدام تنسيقات FP4 أو التنسيقات الصحيحة (Integer formats) القياسية.