🔢 mathematics

Error Analysis of Matrix Multiplication Emulation Using Ozaki-II Scheme

تقدم هذه الورقة تحليلاً حتمياً صارماً للخطأ في مخطط "أوزاكي-2" (Ozaki-II) لضرب المصفوفات عالي الدقة، حيث توضح حدود دقته في ظل توزيعات الأسس الواسعة وتوفر طريقة لتقدير العدد اللازم من العمليات منخفضة الدقة لتحقيق مستوى الدقة المطلوب.

المؤلفون الأصليون: Yuki Uchino, Katsuhisa Ozaki, Toshiyuki Imamura

نُشر 2026-02-04

📖 4 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Yuki Uchino, Katsuhisa Ozaki, Toshiyuki Imamura

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

الصورة الكبيرة: بناء جدار ضخم باستخدام طوب صغير جداً

تخيل أنك مهندس معماري يحاول بناء جدار ضخم ودقيق للغاية (حساب عالي الدقة) باستخدام طوب صغير وخشن فقط (رقائق كمبيوتر منخفضة الدقة).

الحواسيب الحديثة، خاصة تلك المصممة للذكاء الاصطناعي، سريعة للغاية في التعامل مع هذا "الطوب الصغير والخشن" (وتحديداً الأعداد الصحيحة 8-بت). ومع ذلك، فهي بطيئة أو أقل كفاءة في التعامل مع "الطوب الضخم والناعم" (الأرقام القياسية عالية الدقة مثل الأرقام العشرية 32-بت أو 64-بت).

إن نظام Ozaki-II هو طريقة بناء ذكية تسمح لك ببناء جدار مثالي عالي الدقة باستخدام تلك الطوبات الصغيرة والسريعة فقط. لقد وضع مؤلفو هذه الورقة البحثية مخططاً (تحليل الخطأ) لإثبات مدى قوة ودقة هذا الجدار، وعدد الطوبات الصغيرة التي تحتاجها لإنجاز المهمة بشكل صحيح.

المشكلة: قضية "النطاق الواسع"

في الاختبارات السابقة، نجحت هذه الطريقة بشكل رائع، لكن كان هناك عقبة. إذا كانت الأرقام التي تضربها تمتلك "نطاقاً واسعاً" (بعضها ضخم جداً، وبعضها صغير جداً)، فإن الجدار قد تظهر فيه شقوق أحياناً. ولإصلاح ذلك، كان عليك استخدام الكثير من الطوب الصغير لدرجة أن العملية تصبح بطيئة مرة أخرى.

أراد المؤلفون معرفة: بالضبط، كم نحتاج من الطوب لضمان بناء جدار مثالي، بغض النظر عن مدى اتساع نطاق الأرقام؟

الحل: خدعة "نظرية الباقي الصينية" السحرية

لحل هذه المشكلة، يستخدم نظام Ozaki-II خدعة رياضية تسمى نظرية الباقي الصينية (CRT).

التشبيه: خزائن الرموز السرية
تخيل أنك تريد معرفة الوزن الدقيق لفيل ضخم، لكن ميزانك يمكنه فقط وزن الأشياء الصغيرة (حتى 100 رطل).

تضع الفيل في خزانة لا تظهر إلا الوزن باقي قسمته على 7 (الرقم المتبقي عند القسمة على 7).
تضعه في خزانة أخرى تظهر الوزن باقي قسمته على 11.
تضعه في خزانة ثالثة تظهر الوزن باقي قسمته على 13.

على الرغم من أن كل خزانة تعطيك فقط بقايا صغيرة ومربكة، إلا أنه إذا عرفت البواقي لعدة "مقامات" مختلفة (7، 11، 13، إلخ)، يمكنك رياضياً إعادة بناء الوزن الإجمالي الدقيق للفيل.

يقوم نظام Ozaki-II بفعل الشيء نفسه مع المصفوفات (شبكات من الأرقام):

التقطيع (Slicing): يقوم بتفكيك الأرقام الكبيرة إلى قطع أصغر تناسب الطوب الصغير 8-بت.
حساب البواقي (Modulo Math): يحسب النتيجة باستخدام هذه القطع الصغيرة في العديد من "الخزائن" (باستخدام أعداد أولية مختلفة).
إعادة التجميع (Reassembly): يستخدم نظرية الباقي الصينية (CRT) لدمج كل تلك النتائج الصغيرة مرة أخرى في إجابة واحدة ضخمة ودقيقة.

ما تفعله هذه الورقة البحثية فعلياً: "مفتش السلامة"

بينما كنا نعلم أن هذه الطريقة يمكنها أن تعمل، لم يكن لدينا كتاب قواعد صارم يحدد مدى جودة عملها في كل حالة. تعمل هذه الورقة كـ مفتش سلامة.

قام المؤلفون بإجراء تحليل خطأ حتمي (deterministic error analysis). وهذا يعني أنهم لم يكتفوا بالتخمين أو إجراء اختبارات عشوائية؛ بل استخدموا رياضيات صارمة لكتابة معادلة تتنبأ بأقصى "شرخ" (خطأ) ممكن في الجدار النهائي.

النتائج الرئيسية من عملية التفتيش:

المعادلة: لقد استنتجوا معادلة محددة تخبرك بدقة مدى دقة النتيجة بناءً على شيئين:
1. "عرض" الأرقام التي تضربها (توزيع الأس/الأسس).
2. عدد "الخزائن" (المقامات) التي استخدمتها.
المقايضة (Trade-off): تثبت الورقة أنه إذا كانت الأرقام "واسعة" جداً (بعضها ضخم وبعضها صغير)، فستحتاج ببساطة إلى زيادة عدد الخزائن (المقامات) للحفاظ على صغر الخطأ.
التحقق من الصحة: اختبروا هذه المعادلة على وحدة معالجة رسومات قوية من نوع NVIDIA (RTX 4090). وكانت الأخطاء الفعلية التي رصدها الكمبيوتر دائماً أصغر من أرقام "الحالة الأسوأ" التي توقعتها معادلتهم. وهذا يثبت أن مخطط السلامة الخاص بهم دقيق وموثوق.

لماذا يهم هذا الأمر (وفقاً للورقة البحثية)

تدعي الورقة أن هذا التحليل هو أساس لـ الضبط التلقائي (automatic tuning).

فكر في الأمر كطاقم بناء ذاتي القيادة. في السابق، كان على الإنسان أن يخمن عدد الطوبات المستخدمة. الآن، مع هذه المعادلة، يمكن للكمبيوتر أن ينظر إلى الأرقام التي سيضربها، ويحسب "عرض" البيانات، ويقرر تلقائياً: "حسناً، لهذه المهمة المحددة، أحتاج إلى 15 خزانة لأكون آمناً. أما بالنسبة لتلك المهمة الأخرى، فأنا أحتاج 5 فقط".

يسمح هذا للكمبيوتر بالحصول على أعلى سرعة ممكنة دون التضحية بالدقة، مما يضمن أن طريقة "الطوب الصغير" سريعة وموثوقة للحوسبة العلمية.

الملخص

الهدف: استخدام رقائق كمبيوتر سريعة ومنخفضة الدقة للقيام بعمليات حسابية بطيئة وعالية الدقة.
الطريقة: استخدام خدعة رياضية (CRT) لدمج العديد من الحسابات البسيطة الصغيرة في عملية واحدة كبيرة ودقيقة.
مساهمة الورقة: توفر ضماناً رياضياً صارماً (حد الخطأ) يخبرنا بالضبط مدى دقة النتيجة وعدد الحسابات الصغيرة المطلوبة للوصول إلى مستوى الدقة المطلوب.
النتيجة: ثبت أن الطريقة موثوقة، وتسمح المعادلة الجديدة للحواسيب بضبط إعداداتها تلقائياً لتحقيق أفضل توازن بين السرعة والدقة.

ملخص تقني: تحليل الخطأ في محاكاة ضرب المصفوفات باستخدام مخطط Ozaki-II

بيان المشكلة
توفر أجهزة الذكاء الاصطناعي الحديثة، ولا سيما وحدات معالجة الرسومات (GPUs) المزودة بمحركات مصفوفات INT8، إنتاجية استثنائية للحسابات منخفضة الدقة، مما يتفوق بشكل كبير على العمليات الحسابية الأصلية أحادية الدقة (FP32) ومزدوجة الدقة (FP64). ومع ذلك، تتطلب حسابات الأداء العالي (HPC) الكلاسيكية والعديد من أعباء عمل تعلم الآلة الموثوقية العددية للدقة الأعلى. وبينما توجد طرق محاكاة لإعادة بناء نتائج عالية الدقة باستخدام تسلسلات من العمليات منخفضة الدقة، فإن دقة هذه الطرق ليست مضمونة عبر جميع توزيعات المدخلات. وتحديداً، أظهر مخطط Ozaki-II، الذي يستفيد من نظرية الباقي الصينية (CRT) لمحاكاة ضرب المصفوفات، أداءً عالياً ولكنه يفتقر إلى تحليل خطأ حتمي صارم. وقد أشارت دراسات سابقة إلى أن دقة المخطط تتدهور عندما تمتلك مصفوفات المدخلات توزيع أسس واسع النطاق، مما يستلزم عدداً كبيراً من عمليات الضرب منخفضة الدقة للحفاظ على الدقة. وبدون وجود حد نظري، يصعب تحديد عدد المقاسات (moduli) المطلوبة لتحقيق هدف دقة معين.

المنهجية
يقدم البحث تحليلاً حتمياً صارماً للخطأ لمخطط Ozaki-II المطبق على ضرب المصفوفات العامة (GEMM) في كل من الدقة الأحادية (SGEMM) والمزدوجة (DGEMM). وتتضمن المنهجية ما يلي:

صياغة مخطط Ozaki-II رسمياً: يفصل المؤلفون عملية المحاكاة، التي تقوم بتحويل مصفوفات الفاصلة العائمة $A$ و $B$ إلى مصفوفات صحيحة $A'$ و $B'$ عبر القياس القطري والتقليم. ثم يتم تفكيك هذه الأعداد الصحيحة بمقياس أعداد أولية فيما بينها $p_\ell$ . ويتم حساب النواتج باستخدام محركات مصفوفات INT8، ثم تُعاد صياغتها باستخدام نظرية الباقي الصينية (CRT) لتشكيل تقريب صحيح للمنتج، والذي يتم إعادة قياسه أخيراً إلى تنسيق الفاصلة العائمة.
اشتقاق حدود الخطأ: يقوم المؤلفون بتفكيك إجمالي الخطأ إلى ثلاثة مكونات رئيسية:
- خطأ التقليم (Truncation Error): الناجم عن تحويل مدخلات الفاصلة العائمة إلى أعداد صحيحة مُقاسة.
- خطأ التراكم (Accumulation Error): الناتج عن جمع النواتج المقياسية في حسابات الفاصلة العائمة عالية الدقة.
- خطأ الاختزال النهائي (Final Reduction Error): الذي يحدث أثناء خطوات إعادة بناء نظرية الباقي الصينية وإعادة القياس.
البراهين النظرية: يقدم البحث براهين رسمية لسلسلة من التمهيدات (lemmas) التي تثبت تفرد الحل المرشح، وحدود أخطاء التقليم والتراكم، وصحة عمليات التقريب المستخدمة في إعادة البناء. وتتوج هذه التمهيدات بـ النظرية 2، التي توفر حداً علوياً حتمياً للخطأ $|AB - C_b|$ ، حيث $C_b$ هي النتيجة المحسوبة.
التحقق التجريبي: أُجريت تجارب عددية على وحدة معالجة الرسومات NVIDIA GeForce RTX 4090. وتمت مقارنة حدود الخطأ النظرية المستمدة من التحليل مقابل الأخطاء العددية الملحوظة للمصفوفات ذات النطاقات الديناميكية المتفاوتة (المتحكم بها بواسطة المعامل $\phi$ ).

المساهمات الرئيسية

تحليل خطأ حتمي صارم: المساهمة الأساسية هي اشتقاق حد خطأ حتمي (النظرية 2) لمخطط Ozaki-II. ويربط هذا الحد صراحةً بين الخطأ العددي وتوزيع الأسس لمصفوفات المدخلات وعدد المقاسات ( $N$ ) المستخدمة في نظرية الباقي الصينية.
الحدود المنقحة: يقدم البحث شكلين لتقدير الخطأ: حد أكثر إحكاماً (المعادلة 16) يعتمد على مقدار ناتج الضرب الصحيح الوسيط $|A'B'|$ ، وحد آخر أكثر تحفظاً ولكن أقل تكلفة حوسبياً (المعادلة 20) يستبدل هذا المصطلح بحد علوي ثابت.
التحقق من سلوك الدقة: يفسر التحليل نظرياً سبب اعتماد دقة المخطط على توزيع أسس المدخلات، ويؤكد أن زيادة عدد المقاسات يقلل من خطأ التقليم، مما يحسن الدقة.
إثبات صحة تفاصيل التنفيذ: يثبت المؤلفون أن خيارات تنفيذ معينة، مثل استخدام حسابات "double-double" للثوابت والتعامل المحدد مع تجاوز سعة INT8 (wrapping)، لا تؤدي إلى أخطاء غير محدودة من شأنها أن تخل بالنتيجة النهائية.

النتائج

الخطأ النظري مقابل الملحوظ: أظهرت التجارب العددية على RTX 4090 أن أخطاء المحاكاة الملحوظة لكل من SGEMM و DGEMM محصورة باستمرار ضمن التقديرات النظرية المستمدة من النظرية 2.
إحكام الحدود: وُجد أن الحد الأكثر إحكاماً (المعادلة 16) يلتقط نطاق الأخطاء الملحوظة بدقة أكبر مقارنة بالحد الأكثر تحفظاً (المعادلة 20). ومع ذلك، أظهر الحد المحافظ أنه عملي لتقدير الخطأ القوي لأنه يعتمد فقط على نواتج ضرب المصفوفات والمتجهات بدلاً من حساب $|A'B'|$ الذي قد يكون مكلفاً حوسبياً.
المقارنة مع الدقة الأصلية: أوضحت النتائج الدقة النسبية للمحاكاة مقارنة بإجراءات FP32 و FP64 الأصلية، مما يؤكد أن مخطط Ozaki-II يمكنه تحقيق دقة عالية عند تهيئته بعدد مناسب من المقاسات.

الأهمية
يزعم البحث أن هذا التحليل للخطأ يوفر أساساً حاسماً للتطوير المستقبلي لمخطط Ozaki-II. وتحديداً، فإنه يتيح الضبط التلقائي للمعلمات المتعلقة بالدقة، مثل عدد المقاسات، بناءً على توزيع الأسس لمصفوفات المدخلات لتحقيق مستوى مطلوب من الدقة العددية. ومن خلال توضيح العلاقة بين خصائص المدخلات والموثوقية العددية، يعالج هذا التحليل الفجوة بين الأداء العالي للمخطط ودقته المتغيرة، مما يجعله أكثر قابلية للاستخدام في الحوسبة عالية الدقة للأغراض العامة على أجهزة الذكاء الاصطناعي الحديثة. ويشير المؤلفون إلى أن هذا الإطار التحليلي يمكن أيضاً توسيعه ليشمل محاكة ضرب المصفوفات ذات القيم المركبة في العمل المستقبلي.