🔢 mathematics

Analysis of Floating-Point Matrix Multiplication Computed via Integer Arithmetic

تقترح هذه الورقة طريقة غير مكلفة لتقدير الحد الأدنى من عدد الشرائح الصحيحة المطلوبة لضرب المصفوفات ذات الفاصلة العائمة بدقة عبر الحسابات الصحيحة، مع تحليل كيفية تأثير قياس الصفوف والأعمدة على كفاءة الخوارزمية ودقتها على الأجهزة الحديثة ذات الدقة المختلطة.

المؤلفون الأصليون: Ahmad Abdelfattah, Jack Dongarra, Massimiliano Fasi, Mantas Mikaitis, Françoise Tisseur

نُشر 2026-03-30

📖 4 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Ahmad Abdelfattah, Jack Dongarra, Massimiliano Fasi, Mantas Mikaitis, Françoise Tisseur

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

الصورة الكبيرة: مشكلة الكاميرا "السريعة ولكن الضبابية"

تخيل أنك تحاول التقاط صورة عالية الدقة لمنظر طبيعي معقد (عملية حسابية علمية). لديك نوعان من الكاميرات:

العدسة المتقنة (Binary64): تلتقط هذه الكاميرا صوراً حادة ومثالية للغاية. فهي ترصد كل تفصيل صغير، من الجبل الضخم إلى الحصاة الصغيرة. ومع ذلك، فهي بطيئة؛ إذ تستغرق وقتاً طويلاً لمعالجة كل صورة.
عدسة السرعة (Integer/INT8): هذه الكاميرا تشبه سيارة سباق، يمكنها التقاط آلاف الصور في الثانية. لكنها لا ترى إلا بـ "بكسلات مربعة" (كتلية). إذا حاولت تصوير شيء صغير جداً أو كبير جداً، ستصبح الصورة ضبابية أو مشوهة.

المشكلة: الحواسيب الفائقة الحديثة (مثل تلك الموجودة في قائمة أفضل 500 حاسوب) مبنية باستخدام هذه "عدسات السرعة" لأنها ضرورية للذكاء الاصطناعي. لكن العلماء يحتاجون إلى "العدسة المتقنة" للتنبؤ بالطقس، ومحاكاة الفيزياء، والهندسة. إذا استخدمنا "عدسة السرعة" فقط، فقد تكون نتائجنا العلمية خاطئة.

الهدف: يريد مؤلفو هذا البحث خداع "عدسة السرعة" لتلتقط صورة بجودة "العدسة المتقنة"، دون استخدام "العدسة المتقنة" البطيئة فعلياً.

الحل: "مخطط أوزاكي" (تشبيه قطع الليغو)

يتحدث البحث عن طريقة تسمى مخطط أوزاكي (Ozaki Scheme). وإليك كيف تعمل باستخدام تشبيه قطع الليغو (Lego):

تخيل أن لديك هيكلين ضخمين ومعقدين من الليغو (المصفوفة A والمصفوفة B) وتحتاج لدمجهما لبناء هيكل جديد أكبر (المصفوفة C).

المشكلة: "عدسة السرعة" (وحدة الحساب الصحيح السريعة في الحاسوب) لا يمكنها التعامل إلا مع قطع ليغو صغيرة وبسيطة. لا يمكنها التعامل مع الهياكل الضخمة والمعقدة مباشرة.
الاستراتيجية (التقطيع): بدلاً من محاولة دمج الهياكل بالكامل دفعة واحدة، نقوم بتفكيكها إلى شرائح أصغر يمكن التحكم بها (طبقات من قطع الليغو).
- نأخذ الطبقة العليا من الهيكل A والطبقة العليا من الهيكل B.
- ندمجهما باستخدام "عدسة السرعة" السريعة.
- ثم ننتقل للطبقة التالية، ندمجهما، وهكذا.
التجميع: أخيراً، نقوم برص كل هذه الطبقات المدمجة فوق بعضها لإعادة بناء النتيجة النهائية.

العقبة: إذا استخدمت عدداً قلي القليل من الشرائح (طبقات قليلة)، فستكون النتيجة النهائية "مربعة" أو غير دقيقة. أما إذا استخدمت الكثير من الشرائح، فستكون النتيجة حادة ودقيقة، ولكنها ستستغرق وقتاً أطول بكثير لأنك ستقوم بخطوات أكثر.

الاكتشاف الجديد: المصفوفات "سيئة القياس"

اكتشف المؤلفون فخاً خفياً في استراتيجية الليغو هذه.

تخيل أن أحد هياكل الليغو عبارة عن ناطحة سحاب (طويلة جداً) والآخر عبارة عن فطيرة طين (مسطحة جداً).

عندما تحاول تقطيعهما، تحتاج ناطحة السحاب إلى شرائح دقيقة وصغيرة جداً لالتقاط الطوابق العليا.
أما فطيرة الطين، فمن السهل تقطيعها.

إذا لم يتم التعامل مع "ناطحة السحاب" (مصفوفة ذات أرقام تتفاوت أحجامها بشكل هائل) بعناية، فإن "عدسة السرعة" ستصاب بالارتباك. ستحاول وضع الطوابق العليا الصغيرة لناطحة السحاب في نفس الوعاء الذي يحتوي على القاعدة الضخمة، فتضيع التفاصيل الصغيرة وسط الضجيج.

ما وجده البحث:

الفخ: إذا كانت بياناتك "سيئة القياس" (بعض الأرقام ضخمة جداً وبعضها متناهي الصغر)، فإن الطريقة القياسية ستفشل. قد تحتاج إلى مئات الشرائح لتصحيح الأمر، مما يلغي الغرض من استخدام الحاسوب السريع.
الحل: وجد المؤلفون طريقة لتقدير عدد الشرائح التي تحتاجها فعلياً قبل البدء.
- إذا كانت المصفوفة A هي "ناطحة سحاب" والمصفوفة B هي "فطيرة طين"، فقد تحتاج إلى 20 شريحة لـ A ولكن شريحتين فقط لـ B.
- باستخدام أعداد مختلفة من الشرائح لكل مصفوفة، يمكنك توفير الوقت دون فقدان الدقة.

الاختبار الواقعي: حلبة السباق

اختبر المؤلفون هذا على أحدث وأسرع رقائق الحواسيب الفائقة (NVIDIA's Blackwell و Hopper GPUs).

النتيجة: عندما كانت البيانات "طبيعية وجيدة" (مثل قطع الليغو العشوائية)، كانت طريقتهم أسرع بـ 7 مرات من الطريقة البطيئة القياسية، مع بقائها دقيقة بما يكفي لمعظم الأعمال العلمية.
التحذير: عندما اختبروا الطريقة على بيانات "سيئة القياس" (ناطحة سحاب مقابل فطيرة طين)، واجهت الطريقة صعوبة؛ فإما أنها أصبحت غير دقيقة أو تطلبت الكثير من الشرائح لدرجة أصبحت فيها أبطأ من الطريقة الأصلية.

"ما الفائدة لك؟"

السرعة مقابل الدقة: نحن ندخل عصراً تصبح فيه الحواسيب أسرع في الحسابات "التقريبية" (للذكاء الاصطناعي) ولكنها أبطأ في الحسابات "الدقيقة" (للعلوم).
النهج الهجين: يقدم هذا البحث وصفة لاستخدام الحسابات "التقريبية" السريعة للقيام بأعمال علمية "دقيقة".
التنبيه: لا يمكنك استخدام هذه الوصفة لكل شيء. إذا كانت بياناتك فوضوية (سيئة القياس)، يجب أن تكون حذراً جداً. يوفر المؤلفون "آلة حاسبة" تخبرك بالضبط مقدار الجهد (الشرائح) الذي تحتاجه للحصول على نتيجة جيدة.

تشبيه الملخص

فكر في "مخطط أوزاكي" كعملية صنع عصير (Smoothie).

الطريقة القدة: تخلط الفاكهة كاملة (بطيئة، ولكن مثالية).
الطريقة الجديدة (أوزاكي): تقطع الفاكهة إلى قطع صغيرة (شرائح)، وتخلط القطع بسرعة، ثم تجمعها كلها معاً.
الاكتشاف: إذا كان لديك بطيخة ضخمة وحبة توت صغيرة، وقطعت كلاهما إلى نفس حجم القطع، فستضيع حبة التوت. لقد اكتشف المؤلفون كيفية تقطيع البطيخة إلى قطع كبيرة والتوت إلى فتات صغير جداً، بحيث يمكنك خلطهما بسرعة دون أن تفقد نكهة التوت.

الخلاصة: هذا البحث هو دليل حيوي للعلماء الذين يرغبون في استخدام أسرع الحواسبات الفائقة في العالم للقيام بأعمال عالية الدقة، حيث يخبرهم بالضبط كيفية تقطيع بياناتهم للحصول على أفضل سرعة دون إفساد الحسابات الرياضية.

إليك ملخص تقني مفصل للورقة البحثية بعنوان "تحليل ضرب المصفوفات بنقاط الفاصلة العائمة المحسوب عبر الحسابات الصحيحة".

1. بيان المشكلة

تعتمد الحواسيب الفائقة الحديثة ذات المقياس الإكساسكيل (exascale) بشكل متزايد على المسرعات العتادية (مثل NVIDIA Tensor Cores وAMD Matrix Cores) المُحسّنة للحسابات منخفضة الدقة (INT8، FP16، BF16) وأعباء عمل تعلم الآلة. وبينما توفر هذه الوحدات إنتاجية أعلى بعدة مراتب من الحسابات القياسية بدقة binary64 (الدقة المزدوجة)، إلا أنها تفتقر إلى الدقة المطلوبة للمحاكاة العلمية التقليدية.

يتمثل التحدي الجوهري في كيفية إجراء ضرب المصفوفات ( $AB$ ) عالي الدقة (binary64) بكفاءة على أجهزة تدعم أساساً العمليات الصحيحة أو عمليات الفاصلة العائمة منخفضة الدقة. تحاول الأساليب الحالية، مثل مخطط Ozaki، حل هذه المشكلة عن طريق تفكيك مصفوفات الفاصلة العائمة إلى شرائح صحيحة، وحساب نواتج الضرب الصحيحة بدقة، ثم تجميع النتائج باستخدام حسابات الفاصلة العائمة. ومع ذلك، افتقرت التحليلات السابقة إلى حدود دقيقة للخطأ فيما يتعلق بتدرج المصفوفات (matrix scaling)، ولم يكن من الواضح كيفية تحسين المقايضة بين الأداء (عدد الشرائح) والدقة، لا سيما بالنسبة للمصفوفات ذات التدرج السيئ.

2. المنهجية

تحلل الورقة وتوسع مخطط Ozaki الصحيح (Integer Ozaki Scheme)، الذي اقترحه في الأصل Ootomo وOzaki وYokota، وتم تحسينه بواسطة Uchino وOzaki وImamura.

الخوارزمية

التحويل إلى النقطة الثابتة الكتلية (Block Fixed-Point Conversion): يتم تحويل صفوف مصفوفة $A$ وأعمدة مصفوفة $B$ ضمنياً إلى تمثيل نقطة ثابتة كتلي. يتشارك كل صف/عمود عامل تدرج مشترك ( $\alpha_i$ أو $\beta_j$ )، يتم اختياره كأصغر قوة للعدد 2 أكبر من القيمة المطلقة القصوى في تلك الكتلة.
التقطيع (Slicing): يتم تقسيم تمثيلات النقطة الثابتة إلى $s$ من الشرائح (مصفوفات صحيحة) بناءً على مواضع البتات. إذا كان $t$ هو عدد البتات لكل شريحة، فإن الشريحة رقم $k$ تحتوي على البتات من الموضع $(k-1)t+1$ إلى $kt$.
الضرب الصحيح: يتم ضرب الشرائح $A^{(\ell)}$ و $B^{(h)}$ باستخدام وحدات ضرب وتراكم المصفوفات (MMA) الصحيحة في العتاد. هذه النواتج تكون دقيقة (بافتراض عدم حدوث تجاوز سعة في المجمع/accumulator).
التجميع (Accumulation): يتم تغيير مقياس النواتج الجزئية بمقدار $2^{-(\ell+h)t}$ $2^{- (ℓ + h) t}$ وتجميعها باستخدام حسابات الفاصلة العائمة لإنتاج النتيجة النهائية.
- التحسين: لتقليل التكلفة، غالباً ما يتم تخطي النواتج التي يكون فيها $\ell + h > s+1$ (القطع/truncation).
- التعزيز: اقترح Uchino وآخرون تجميع النواتج على طول الأقطار (ثبات $\ell+h$ ) باستخدام الحسابات الصحيحة قبل التحويل إلى الفاصلة العائمة لتقليل أخطاء التقريب.

الإطار النظري

قام المؤلفون بتطوير تحليل خطأ صارم يفصل بين مصدرين للخطأ:

خطأ القطع (Truncation Error): ناتج عن التخلص من البتات ذات الرتب الأدنى أثناء عملية التقطيع. ويعتمد هذا على عدد الشرائح ( $s$ ) وتدرج الصفوف/الأعمدة (تحديداً نسبة القيمة القصوى إلى الدنيا داخل الصف/العمود، ويُرمز لها بـ $\kappa_A$ و $\kappa_B$ ).
خطأ التقريب (Rounding Error): ناتج عن تجميع نواتج الضرب الصحيحة باستخدام الفاصلة العائمة.

يقدم التحليل نهجاً جديداً يسمح باستخدام أعداد مختلفة من الشرائح ( $s_A$ و $s_B$ ) للمصفوفات $A$ و $B$ ، بدلاً من فرض عدد موحد $s$ .

3. المساهمات الرئيسية

أ. تحليل خطأ جديد

تقدم الورقة تحليلاً محسناً للخطأ يوضح أن دقة الخوارزمية تعتمد بشدة على تدرج المصفوفات المدخلة.

فشل التدرج السيئ: إذا كانت صفوف $A$ أو أعمدة $B$ "ذات تدرج سيئ" (أي تحتوي على عناصر ذات قيم متفاوتة جداً في الحجم)، فإن خطأ القطع النسبي يمكن أن يصبح كبيراً، بغض النظر عن عدد الشرائح، ما لم يتم زيادة $s$ بشكل كبير.
التقطيع غير المتماثل (Asymmetric Slicing): يثبت التحليل أنه إذا كانت إحدى المصفوفتين ذات تدرج جيد والأخرى سيئة، يمكن تقليل عدد الشرائح للمصفوفة ذات التدرج الجيد دون المساس بالدقة النهائية. وهذا يوفر استراتيجية لتقليل التكلفة الحسابية ( $s_A \times s_B$ ) مع الحفاظ على الدقة.
استراتيجية التجميع: يستنتج المؤلفون الشروط التي يمكن بموجبها تجميع المجموع الجزئي بدقة في حسابات الفاصلة العائمة عن طريق محاذاة أقطار مصفوفة الضرب، مما يقلل من أخطاء التقريب.

ب. استراتيجية التقدير

يقترحون طريقة غير مكلفة لتقدير الحد الأدنى من عدد الشرائح المطلوب لدقة محددة. من خلال حساب عوامل التدرج ( $\kappa_A, \kappa_B$ ) أثناء المسح الأولي للمصفوفة، يمكن تحديد $s_A$ و $s_B$ اللازمين للوفاء بحدود الخطأ دون الحاجة للتجربة والخطأ.

ج. التجارب العددية الشاملة

تحقق المؤلفون من نظريتهم من خلال محاكاة واختبارات معيارية واسعة النطاق على:

العتاد: وحدات NVIDIA Grace-Hopper (H100) ووحدة NVIDIA Blackwell (B200) التي صدرت حديثاً.
المكتبات: مقارنة مع cublas (العمليات الأصلية لـ binary64) و cuIMMA (نموذج NVIDIA الأولي لمحاكاة الأعداد الصحيحة).
السيناريوهات:
- المصفوفات العشوائية.
- المصفوفات ذات التدرج السيئ (المصممة لاختبار الحدود النظرية).
- الخوارزميات عالية المستوى (تحليل Block LU، والمحلل الذاتي المتماثل/Symmetric Eigensolver).

4. النتائج

المقايضة بين الدقة والأداء

المصفوفات العشوائية: على وحدة معالجة الرسوميات B200، حقق استخدام 7 شرائح مع cuIMMA دقة لا يمكن تمييزها عن cublas الأصلية (binary64) مع توفير تسريع قدره 7.6 ضعف. أما على H100 (GH200)، فإن التسريع أقل (2.4 ضعف) لأن النسبة بين أداء ذروة INT8 و binary64 أصغر.
المصفوفات ذات التدرج السيئ: تفشل الخوارزمية في تحقيق دقة binary64 للمصفوفات ذات التدرج السيئ إذا تم تثبيت عدد الشرائح عند قيمة منخفضة (مثلاً $s=8$ ). حتى زيادة الشرائح إلى 18 لم تكن كافية للتدرج الشديد ( $\kappa_D = 10^{40}$ ). وهذا يؤكد التنبؤ النظري بأن التدرج السيئ يتطلب عدداً باهظاً من الشرائح، مما قد يجعل الطريقة غير فعالة.
التقطيع غير المتماثل: في اختبارات تحليل Block LU، حققت المصفوفات ذات خصائص تدرج معينة (مثل $s^*_A=9, s^*_B=1$ ) دقة كاملة باستخدام التقطيع غير المتماثل ( $s_A=8, s_B=1$ )، متجنبة عقوبة الأداء الناتجة عن استخدام 8 شرائح لكلتا المصفوفتين.

التأثير على الخوارزميات عالية المستوى

كشف دمج ضرب المصفوفات (DGEMM) المحاكى في روتينات LAPACK (مثل QR، والمحلل الذاتي) أن عدد الشرائح الأمثل يعتمد على الخوارزمية المحددة.
بالنسبة للمحلل الذاتي المتماثل (Symmetric Eigensolver)، أدى استخدام 7 شرائح (وهي كافية لعملية GEMM الخام) إلى فقدان التعامد (orthogonality). تطلب الأمر 8 شرائح لمطابقة استقرار binary64 الأصلي. وهذا يشير إلى أن "عدد الشرائح الموحد" غير كافٍ للحوسبة العلمية.

5. الأهمية والخاتمة

الصلاحية للحوسبة العلمية: يعد مخطط Ozaki الصحيح مساراً قابلاً للتطبيق لاستخدام عتاد الذكاء الاصطناك القادم في الحوسبة العلمية، ولكنه ليس بديلاً مباشراً لحسابات binary64.
الحساسية للتدرج: الطريقة حساسة للغاية لتدرج المدخلات. وبدون فحص مسبق أو تعديل ديناميكي للشرائح، فإنها تخاطر بإنتاج نتائج غير دقيقة للمسائل سيئة الحالة أو ذات التدرج السيئ.
اتجاهات العتاد: تسلط النتائج الضوء على تحول في تصميم العتاد: حيث يعطي المصنعون الأولوية لأداء الحسابات منخفضة الدقة (INT8) على binary64. إن نسبة أداء INT8 إلى binary64 الهائلة في B200 (112.5 ضعف) تجعل نهج المحاكاة جذاباً للغاية، بينما تقدم المعماريات الأقدم (H100) فائدة أقل.
العمل المستقبلي: يشير المؤلفون إلى أن التنفيذات الحالية لا تتعامل مع قيم IEEE 754 الخاصة (مثل NaN، واللانهاية، والصفر السالب) بشكل صحيح، مما يظل عائقاً أمام الاعتماد الكامل في مكتبات الجبر الخطي العامة.

باختصار، توفر هذه الورقة الأساس النظري والإرشادات العملية للنشر الآمن لضرب المصفوفات القائم على الأعداد الصحيحة على وحدات معالجة الرسوميات الحديثة، مع التأكيد على أن التقطيع التكيفي بناءً على خصائص المصفوفة أمر ضروري للموازنة بين المكاسب الهائلة في الأداء للعتاد الصحيح ومتطلبات الدقة الصارمة للمحاكاة العلمية.