🔢 mathematics

Accurate Models of NVIDIA Tensor Cores

تقدم هذه الورقة نماذج برمجية دقيقة تحاكي سلوكيات الضرب الداخلي غير المتوافقة مع معيار IEEE 754 لـ NVIDIA Tensor Cores عبر وحدات معالجة الرسومات V100 وA100 وH100 وB200 لتنسيقات الأرقام العائمة بـ 8 و16 و19 بت، مما يعالج تحدي النتائج غير القابلة لإعادة الإنتاج عبر أجيال الأجهزة المختلفة.

المؤلفون الأصليون: Faizan A. Khattak, Mantas Mikaitis

نُشر 2026-04-07

📖 4 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Faizan A. Khattak, Mantas Mikaitis

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك رئيس طهاة محترف يحاول خبز الكعكة المثالية (عملية حسابية معقدة) لمأدبة ضخمة. في الماضي، كان عليك خلط المكونات يدويًا، ببطء وعناية، باستخدام وصفة قياسية (قواعد الرياضيات القياسية). ولكن الآن، لديك أسطول من آلات الخلط المتخصلة فائقة السرعة، والتي يمكنها تحضير آلاف الكعكات في ثوانٍ معدودة (أنوية تنسور من NVIDIA).

المشكلة؟ هذه الآلات غريبة الأطوار بعض الشيء. فهي لا تتبع كتاب الوصفات القياسي بدقة؛ فأحيانًا تزيد رشة سكر، وأحيانًا أخرى تقص فتاتًا من الدقيق، وتختلف طريقة عملها قليلًا باختกัน عبر الأجيال المختلفة من الآلات (من عام 2017 إلى عام 2024). إذا خبزت كعكة على "الآلة أ" في عام 2017 ثم حاولت تكرارها على "الآلة ب" في عام 2024، فقد يكون الطعم مختلفًا قليلًا. وبالنسبة للعلماء ومطوري الذكاء الاصطناعي، فإن هذا "الطعم المختلف" قد يكون كارثيًا.

هذه الورقة البحثية تدور حول الهندسة العكسية لهذه الآلات غريبة الأطوار لبناء "توأم رقمي" مثالي (نموذج برمجِي) يتصرف تمامًا مثل الأجهزة الحقيقية.

إليك تفصيل عملهم باستخدام تشبيهات بسيطة:

1. لغز "الصندوق الأسود"

لسنوات، كانت أنوية تنسور (Tensor Cores) من NVIDIA تشبه الصناديق السوداء. كنا نعلم أنها سريعة، لكننا لم نكن نعرف بالضبط كيف تتعامل مع التفاصيل الدقيقة للرياضيات.

المشكلة: إذا طلبت من آلة جمع $1.0000001 + 1.0000002$ ، فإن الكمبيوتر القياسي يعطيك إجابة دقيقة. أما "نواة تنسور" فقد تقول: "هذا قريب بما يكفي من 2.0000003"، أو قد تحذف الرقم الأخير تمامًا.
النتيجة: يؤدي هذا إلى "نتائج غير قابلة للتكرار". قد يحصل عالمان يشغلان نفس المحاكاة على وحدات معالجة رسومية (GPUs) مختلفة على نتائج مختلفة قليلاً، وهو أمر يمثل كابوسًا للبحث العلمي.

2. العمل الاستقصائي: "اختبار التذوق"

قرر المؤلفان (فايزان ومانتاس) أن يصبحا محققين في عالم الطهي. لم يكتفيا بالتخمين حول كيفية عمل الآلات، بل قاموا باختبارها.

الاستراتيجية: قاما بإنشاء آلاف من "متجهات الاختبار" (مجموعات خاصة من المكونات المصممة لتحفيز سلوكيات معينة).
- التشبيه: تخيل أن لديك توابل غامضة؛ تخلطها مع عصير الليمون، فإذا حدث فوران، فهي بيكربونات الصودا، وإذا تحول لونها للأحمر، فهو عصير الشمندر.
- قاما بخلط الأرقام بطرق محددة ليروا كيف ستتفاعل وحدة معالجة الرسومات. هل ستحذف جزءًا ضئيلًا من الدقة؟ هل ستزيد الرقم أم تنقصه؟
التكرار: قاما ببناء نموذج برمجي (محاكاة) وقارناه بوحدة معالجة الرسومات الحقيقية.
- الحلقة التكرارية: "الآلة الحقيقية أعطتني النتيجة X. نموذجي أعطاني النتيجة Y. إنهما لا يتطابقان! لنقم بتعديل إعدادات النموذج (مثل تغيير عدد 'بتات الحماية' أو هوامش الأمان الإضافية التي يستخدمها) ولنجرب مرة أخرى".
- كررا العملية ملايين المرات حتى أنتج نموذجهم البرمجي نتائج مطابقة تمامًا (بت مقابل بت) للعتاد الحقيقي.

3. "أجيال" الآلات

تغطي الورقة البحثية نطاقًا واسعًا من وحدات معالجة الرسومات، بدءًا من V100 (النموذج القديم من عام 2017) وصولًا إلى B200 (النموذج الفاخر الجديد كليًا من عام 2024).

التطور: اكتشفا أنه بينما أصبحت الآلات أسرع، إلا أنها تغيرت أيضًا في "شخصيتها".
- مثال: كان الـ V100 القديم مثل طاهٍ يقص آخر فتات من الدقيق فورًا. أما الـ H100 والـ B200 الأحدث، فهما مثل طهاة يحتفظون ببضع فتات إضافية في جيب أمان قبل اتخاذ قرار الاحتفاظ بها أو التخلص منها.
المفاجأة: وجدا بعض الحيل الخفية. على سبيل المثال، في الآلات الأحدث، عندما يتم خلط أرقام معينة ذات دقة منخفضة، تقوم الآلة بمعالجتها في نمط "متداخل" (مثل دمج مجموعتين من أوراق اللعب معًا) قبل جمعها. كانت هذه ميزة سرية لم يعرفها أحد حتى بنوا نموذجهم.

4. النتيجة: "كتاب وصفات MATLAB"

لم يكتب المؤلفان مجرد تقرير، بل بنيا صندوق أدوات (برمجيات متاحة على GitHub) يسمى MATLAB Tensor Core.

ماذا يفعل: يتيح لأي عالم محاكاة كيفية تصرف وحدة معالجة رسومات NVIDIA بدقة، دون الحاجة لامتلاك الأجهزة الباهظة الثمن.
لماذا يهم الأمر:
- للمطورين: يمكنهم اختبار خوارزميات الذكاء الاصطناي الخاصة بهم على جهاز كمبيوتر محمول لمعرفة ما إذا كانت نتائجهم ستكون دقيقة قبل شراء حاسوب فائق التكلفة بملايين الدولارات.
- للعلماء: يمكنهم أخيرًا الوثوق بأن عمليات المحاكاة الخاصة بهم قابلة للتكرار. إذا شاركوا الكود الخاص بهم، يمكن للآخرين تشغيله على "التوأم الرقمي" والحصول على نفس الإجابة تمامًا، بغض النظر عن وحدة معالجة الرسومات الفيزيائية التي يمتلكونها.

5. الصورة الكبيرة

يمكنك اعتبار هذه الورقة البحثية بمثابة دليل المستخدم لمحرك سيارة لم يكتب المصنع دليلًا له.

قبل ذلك، كان السائقون (العلماء) يضطرون لتخمين كيفية تعامل المحرك (نواة تنسور) مع الوقود (البيانات).
الآن، وبفضل هذه الورقة، لدينا مخطط تفصيلي. نحن نعرف بالضبط عدد التروس التي يغيرها، وكيف يتعامل مع المطبات في الطريق (أخطاء التقريب)، وكيفية ضبطه للحصول على أفضل أداء.

باختصار: بنى المؤلفون نسخة رقمية مطابقة لمحركات الرياضيات فائقة السرعة من NVIDIA. وهذا يسمح للعالم بفهم، وتوقع، والثقة في النتائج التي تجريها حسابات الذكاء الاصطنا والعلوم على هذه الرقائق القوية.

إليك ملخص تقني مفصل للورقة البحثية بعنوان "نماذج دقيقة لنواة تنسور من NVIDIA" (Accurate Models of NVIDIA Tensor Cores) للباحثين فايزان أ. خطاب ومنتاس ميكايتيس.

1. بيان المشكلة

تعد عملية ضرب المصفوفات حجر الزاوية في تدريب الذكاء الاصطناعي، والاستدلال، والحوسبة عالية الأداء (HPC). تستخدم وحدات معالجة الرسومات (GPUs) الحديثة وحدات عتادية متخصصة تسمى نواة تنسور (Tensor Cores) لتسريع هذه العمليات. ومع ذلك، تفرض هذه الوحدات تحديات كبيرة فيما يتعلق بقابلية التكرار والتحليل العددي:

السلوك غير القياسي: على عكس حسابات الفاصلة العائمة بمعيار IEEE 754 القياسي، غالبًا ما تحيد "نواة تنسور" عن قواعد التقريب والتطبيع (normalization) والتراكم القياسية لإعطاء الأولوية لسرعة الإنتاجية على حساب الدقة.
تباين الشركات المصنعة والمعماريات: تُظهر أجيال مختلفة من وحدات NVIDIA GPU (مثل Volta، وAmpere، وHopper، وAda، وBlackwell) وحتى تنسيقات مدخلات مختلفة على نفس الشريحة، سلوكيات عددية متميزة (على سبيل المثال: تباين أحجام كتلة FMA، وبتات المحاذاة الإضافية، ونقاط التطبيع).
نقص التوثيق: نادرًا ما يتم توثيق هذه الميزات العددية من قبل الشركات المصنعة، مما يؤدي إلى نتائج غير قابلة للتكرار عبر أجيال الأجهزة المختلفة.
محدودية النماذج الحالية: اعتمدت المحاولات السابقة لنمذجة هذه النواة على ناقلات اختبار محدودة فشلت غالبًا في التمييز بين نماذج الأجهزة أو تطلبت اشتقاق الثوابت يدويًا، مما يفتقر إلى المتانة اللازمة للحوسبة العلمية الصارمة.

2. المنهجية

يقترح المؤلفون منهجية صارمة وتكرارية للهندسة العكسية ونمذجة سلوك الضرب الداخلي لنواة تنسور من NVIDIA. تتكون العملية من ثلاث مراحل رئيسية:

أ. اختبار الميزات العددية المعمم (GNFT)

المفهوم: يستخدم ناقلات اختبار مصممة بعناية (ثوابت) لاستدعاء اختلافات محددة على مستوى البت في مخرجات الأجهزة.
الهدف: تحديد الميزات العددية الأولية مثل دعم الأعداد تحت الطبيعية (subnormal numbers)، وبتات المحاذاة الإضافية ( $n_{eab}$ )، وأحجام كتلة FMA ( $N_{FMA}$ ).
التطور: على عكس العمل السابق الذي تطلب إثباتًا نظريًا يدويًا أو اشتقاقًا للثوابت، تستخدم هذه الطريقة تعبيرات معممة قابلة للتطبيق عبر تنسيقات مختلفة (fp8، fp16، bf16، tf19، إلخ).

ب. طريقة البحث في فضاء المدخلات (ISSM)

المفهوم: بمجرد تقريب نموذج مفاهيمي عبر GNFT، يقوم المؤلفون بإجراء اختبار عشوائي هائل للعثور على التباينات بين نموذج البرمجيات وأجهزة GPU الفعلية.
النطاق: يقومون بتوليد حوالي $10^7$ من ناقلات المدخلات العشوائية المستمدة من التوزيعات الطبيعية والمنتظمة، بالإضافة إلى اختبارات مستهدفة للحالات الحدية (الأعداد تحت الطبيعية، اللانهايات، والقيم غير المعرفة NaN).
حلقة التحسين: إذا لم يتطابق مخرج النموذج مع مخرج وحدة معالجة الرسومات، يقوم المؤلفون بتحليل حالات الفشل لافتراض ميزات مفقودة (مثل قواعد بتر معينة أو حدود محاذاة) وتحسين النموذج. تتكرر هذه الحلقة حتى يصبح النموذج دقيقًا على مستوى البت (bit-accurate).

ج. التنفيذ البرمجي

تم تنفيذ النماذج باستخدام لغة MATLAB عبر مكتبة CPFloat للحسابات المخصصة للفاصلة العائمة.
تتضمن مجموعة الأدوات (MATLAB Tensor Core v0.4.1) نماذج مهيأة مسبقًا لوحدات GPU محددة ونموذجًا عامًا يسمح للمستخدمين بتخصيص المعلمات (حجم FMA، بتات المحاذا، وأنماط التقريب).

3. المساهمات الرئيسية

استخراج الميزات الشاملة: حددت الورقة الميزات العددية الدقيقة لـ 31 تكوينًا مختلفًا لنواة تنسور عبر 9 نماذج من وحدات GPU (V100, A100, A2, A30, L40S, Ada RTX 1000, H100, H200, B200). ويشمل ذلك دعم تنسيقات 8-bit، و16-bit، و19-bit (tf19)، و64-bit.
اكتشاف سلوكيات جديدة:
- تحديد سقف الأس (Exponent Capping): اكتشفوا أنه عند تجميع المنتجات تحت الطبيعية، يتم وضع حد أقصى للأس المستخدم للمحاذاة (على سبيل المثال، -133 لـ A100/H100) بدلاً من استخدام أس المنتج الفعلي، مما يؤثر على الدقة في نطاق الأعداد تحت الطبيعية.
- التراكم المتداخل (Interleaved Accumulation): حددوا أن نوى تنسور في H100/H200/B200 تعالج مدخلات fp8 عبر mma.sync بطريقة متداخلة (تقسيم ناقلات مكونة من 32 عنصر إلى مجموعتين يتم معالجتهما بشكل منفصل) قبل الجمع، وهو سلوك لم يكن موجودًا في المعماريات السابقة.
- التراكم منزوع المعيار (Denormalized Accumulation): أكدوا أن المنتجات تظل منزوعة المعيار أثناء مراحل المحاذاة والتراكم في العديد من التكوينات، مما يؤثر على كيفية بتر البتات.
نماذج MATLAB دقيقة على مستوى البت: طوروا مجموعة برمجية تم التحقق منها تحاكي سلوك الأجهزة تمامًا (بت مقابل بت) لعمليات ضرب المصفوفات متعددة الدقة، بما في ذلك التعامل مع القيم غير المعرفة (NaNs) واللانهايات (Infinities).
مجموعة أدوات مفتوحة المصدر: أطلقوا مجموعة الأدوات MATLAB Tensor Core v0.4.1 على GitHub، مما يمكن الباحثين من محاكاة هذه النوى دون الحاجة للوصول إلى الأجهزة الفعلية.

4. النتائج والمكتشفات الرئيسية

الاختلافات المعمارية:
- V100 (Volta): حيث $N_{FMA}=4$ لـ fp16؛ محاذاة 24 بت؛ ولا توجد بتات محاذاة إضافية ( $n_{eab}=0$ ).
- A100/A2/A30 (Ampere): حيث $N_{FMA}=8$ (لـ fp16/bf16)؛ محاذاة 26 بت مع بت إضافي واحد ( $n_{eab}=1$ )؛ وتقدم تحديد سقف الأس عند -133.
- H100/H200 (Hopper): حيث $N_{FMA}=16$ (لـ fp16/bf16)؛ محاذاة 27 بت مع بتين إضافيين ( $n_{eab}=2$ )؛ وتدعم fp8 أصلي عبر wgmma مع $N_{FMA}=32$ .
- B200 (Blackwell): مشابه لـ H100 ولكنه يقدم الجيل الخامس من نوى تنسور (tcgen05) مع $N_{FMA}=32$ لـ fp8 و23 بتًا كسريًا.
التحقق: تم اختبار النماذج مقابل $10^7$ مدخل عشوائي لكل تكوين. حققت النماذج النهائية نتائج متطابقة تمامًا (بت مقابل بت) مع وحدات GPU الفعلية عبر جميع التنسيقات المختبرة.
مثال تطبيقي: أظهر المؤلفون فائدة هذه النماذج من خلال محاكاة الحساب متعدد الكلمات (محاكاة GEMM عالي الدقة باستخدام نواة تنسور منخفضة الدقة). وأوضحوا أن خصائص الخطأ تختلف بشكل كبير بين الأجيال (على سبيل المثال، V100 مقابل B200) بسبب الاختلافات في دقة المجمع (accumulator) وأنماط التقريب.

5. الأهمية

قابلية التكرار في الحوسبة العلمية: توفر طريقة موثوقة لتكرار النتائج العددية عبر أجيال مختلفة من وحدات GPU، وهو أمر بالغ الأهمية للتطبيقات العلمية التي تتطلب اتساقًا عبر المنصات.
تطوير الخوارزميات: تمكن مطوري الخوارزميات متعددة الدقة من اختبار وتحسين الخوارزميات (مثل التحسين التكراري) على نماذج برمجية دقيقة قبل نشرها على أجهزة باهظة الثمن أو غير متوفرة.
التأثير على التقييس: من خلال توثيق هذه السلوكات غير القياسية، يسلط هذا العمل الضوء على الحاجة إلى معايير صناعية (مثل IEEE P3109) لمعالجة الحسابات متعددة الدقة، وخاصة لعمليات الاختزال (reduction operations).
التصحيح والتحقق: تسمح مجموعة الأدوات للمطورين بالتحقق من ناقلات الاختبار وتصحيح المشكلات العددية في تطبيقات الذكاء الاصطناي والحوسبة عالية الأداء دون الحاجة إلى الوصول المباشر إلى أجهزة GPU محددة.

باختصار، تسد هذه الورقة الفجوة بين التنفيذات العتادية الغامضة ونماذج البرمجيات الشفافة، حيث توفر أول مجموعة محاكاة مفتوحة المصدر ودقيقة تمامًا (bit-accurate) لنواة تنسور من NVIDIA عبر أجيال وتنسيقات دقة متعددة.