🔢 mathematics

Limited-Precision Stochastic Rounding

تقدم هذه الورقة تحديثاً شاملاً لأبحاث التقريب العشوائي من عام 2022 إلى عام 2026، مع تركيز خاص على المتغير الجديد ذي الدقة المحدودة، بينما تقدم رؤى حول تطبيقاته الصناعية وتنفيذه المستقبلي في الأجهزة.

المؤلفون الأصليون: El-Mehdi El Arar, Massimiliano Fasi, Silviu-Ioan Filip, Mantas Mikaitis

نُشر 2026-03-09

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: El-Mehdi El Arar, Massimiliano Fasi, Silviu-Ioan Filip, Mantas Mikaitis

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحثية بعنوان "التقريب العشوائي محدود الدقة" (Limited-Precision Stochastic Rounding) باستخدام لغة بسيطة وتشبيهات إبداعية.

الصورة الكبيرة: لماذا نحتاج إلى طريقة جديدة للتقريب؟

تخيل أنك خباز تحاول قياس كمية من الدقيق لصنع كعكة ضخمة. لديك ميزان دقيق للغاية، لكن وصفتك تطلب منك القياس بـ "الأكواب" فقط.

الطريقة القديمة (التقريب القياسي): في كل مرة تقيس فيها كمية صغيرة من الدقيق (مثل 0.4 كوب)، تقوم بتقريبها ببساطة إلى أقرب عدد صحيح. إذا كانت القيمة 0.4، تقربها لأسفل لتصبح 0. وإذا كانت 0.6، تقربها لأعلى لتصبح 1.
- المشكلة: إذا فعلت ذلك 1000 مرة، فإن تلك الأخطاء الصغيرة الناتجة عن "التقريب لأسفل" ستتراكم. قد ينتهي بك الأمر بكعكة أصغر بكثير مما هو مخطط له لأنك كنت تتخلص باستمرار من الفتات الزائد. في الرياضيات، يسمى هذا الانحياز (Bias).
الطالطريقة الجديدة (التقريب العشوائي): بدلاً من التقريب لأسفل دائماً عند 0.4، تقوم برمي عملة معدنية.
- إذا كانت القيمة 0.4 (أي أنها تمثل 40% من الطريق إلى الرقم 1)، فلديك احتمال 40% للتقريب لأعلى لتصبح 1، واحتمال 60% للتقريب لأسفل لتصبح 0.
- السحر: عبر 1000 عملية قياس، سيلغي "التقريب لأعلى" و"التقريب لأسفل" بعضهما البعض بشكل مثالي. إجمالي كمية الدقيق التي ستستخدمها سيكون صحيحاً رياضياً في المتوسط، حتى لو كانت القياسات الفردية خاطئة.

هدف الورقة البحثية: هذه الورقة هي تحديث لكيفية استخدام طريقة "رمي العملة" هذه في الحواسيب الحديثة، خاصة في مجال الذكاء الاصطناعي (AI). وهي تركز على نسخة عملية جديدة تسمى التقريب العشوائي محدود الدقة.

مفاهيم رئيسية مشروحة بالتشبيهات

1. "رمي العملة" مقابل "المسطرة"

التقريب القياسي (التقريب لأقرب قيمة): يشبه استخدام مسطرة تحتوي فقط على علامات البوصة. إذا كان طول قطعة خشب 1.4 بوصة، ستقصها عند 1 بوصة. وإذا كانت 1.6 بوصة، ستقصها عند 2 بوصة. أنت دائماً تقص الجزء "الزائد". مع مرور الوقت، ستفقد الكثير من الخشب.
التقريب العشوائي (SR): يشبه منشاراً سحرياً يقطع أحياناً بشكل أطول قليلاً وأحياناً بشكل أقصر قليلاً، بناءً على مدى قرب القطعة من البوصة التالية.
- إذا كانت القطوة 1.9 بوصة، فالمنشار سيقطع غالباً عند 2.
- إذا كانت القطعة 1.1 بوصة، فالمنشار نادراً ما سيقطع عند 2.
- النتيجة: متوسط طول جميع عمليات القص سيكون صحيحاً تماماً. هذا يمنع "الركود"، حيث يتم تقريب الأرقام الصغيرة جداً إلى الصفر وتختفي تماماً من الحسابات.

2. لمسة "محدود الدقة"

في عالم مثالي، سيكون رمي العملة مبنياً على القيمة الرياضية الدقيقة. لكن الحواسيب سريعة ورخيصة؛ فهي لا تملك دقة لانهائية.

المشكلة: للحصول على الاحتمالية المثالية، قد تحتاج إلى عملة معدنية بدقة 16 رقماً عشرياً. هذا بطيء ومكلف للغاية بالنسبة لشريحة الكمبيوتر.
الحل (التقريب العشوائي محدود الدقة): تقدم الورقة البحثية طريقاً مختصراً. بدلاً من استخدام عملة فائقة الدقة، نستخدم عملة "جيدة بما يكفي" (مثلاً رقم عشوائي مكون من 13 أو 20 بت).
- التشبيه: تخيل أنك تحاول تخمين درجة الحرارة. بدلاً من استخدام ميزان حرارة يقرأ حتى الألف من الدرجة، تستخدم واحداً يقرأ لأقرب جزء من عشرة. ليس دقيقاً تماماً، لكنه سريع، رخيص، ولا تزال الأخطاء تلغي بعضها البعض بشكل جيد بما يكفي للقيام بالمهمة.

3. لماذا يحب الذكاء الاصطناعي هذا؟

الذكاء الاصطناائي الحديث (مثل نماذج اللغات الكبيرة التي تدردش معها) أصبح ضخماً جداً. ولجعله يعمل بسرعة وتكلفة منخفضة، يجبر المهندسون هذه الأنظمة على استخدام أرقام صغيرة جداً (دقة منخفضة).

الخطر: عندما تكون الأرقام ضئيلة جداً، فإن التقريب القياسي يقتلها. الأمر يشبه محاولة سماع همس وسط إعصار؛ سيتم تقريب الهمس ليصبح صمتاً.
الحل: التقريب العشوائي يبقي "الهمس" حياً من خلال "تخمين" أنه أعلى صوتاً مما هو عليه في بعض الأحيان. وهذا يسمح للذكاء الاصطناعي بالتدريب باستخدام أرقام صغيرة جداً دون أن يفقد "عقله".

ما الجديد في هذه الورقة؟

يقوم المؤلفون بتحديث تقرير سابق (من عام 2022) لأن العالم تحرك بسرعة. إليك التحديثات الرئيسية:

1. الأجهزة (Hardware) أصبحت هنا أخيراً!

لسنوات، كان هذا مجرد نظرية رياضية. الآن، يتم بناء شرائح كمبيوتر حقيقية تحتوي على "أزرار" للتقريب العشوائي.

اللاعبون: شركات مثل NVIDIA (عملاق الرقائق)، AMD، Intel، وGoogle، كلها تضع هذه الميزة في أحدث بطاقات الرسوميات ومعالجات الذكاء الاصطناعي الخاصة بها.
العقبة: ليست جميعها تستخدم نفس "العملة". البعض يستخدم 13 بت عشوائياً، والبعض الآخر يستخدم 20 بت. تحلل الورقة كيف تؤثر هذه "العملات" المختلفة على الدقة. الأمر يشبه استخدام مخابز مختلفة لموازين مختلفة قليلاً؛ الكعكة لا تزال طعمها جيد، لكنك تحتاج لمعرفة أي ميزان تستخدم.

2. خدعة "البيانات كعشوائية"

توليد الأرقام العشوائية يستغرق وقتاً وطاقة. تقترح بعض براءات الاخت പുതിയ أن هناك خدعة ذكية: استخدام البيانات نفسها كرقم عشوائي.

التشبيه: بدلاً من رمي عملة لتحديد كيفية تقريب رقم ما، انظر إلى "بصمة" الرقم نفسه (آخر بضعة بتات منه). إذا بدت البصمة "عشوائية"، استخدمها لتقرير ما إذا كنت ستقرب لأعلى أو لأسفل. هذا يجعل العملية أسرع وقابلة للتكرار (ستحصل على نفس النتيجة في كل مرة إذا قمت بتشغيل نفس البيانات).

3. أين يُستخدم هذا أيضاً؟

الأمر لا يقتصر على الذكاء الاصطناعي فقط. توضح الورقة أن التقريب العشوائي يساعد في:

التنبؤ بالطقس: نماذج المناخ تعمل لعقود. التقريب القياسي يخلق "دورات" وهمية حيث يعلق الطقس في حلقة مفرغة. يضيف التقريب العشوائي "ضجيجاً" كافياً لكسر هذه الحلقة، مما يحافظ على واقعية المحاكاة.
الحوسبة العصبية (Neuromorphic Computing): الحواسيب التي تحاكي الدماغ البشري. بما أن الخلايا العصبية الحقيقية "صاخبة" وغير متوقعة، فإن التقريب العشوائي هو وسيلة مثالية لمحاكاتها على شرائح رقمية.

الخلاصة

هذه الورقة هي بمثابة "تقرير عن حالة الاتحاد" لـ التقريب العشوائي (Stochastic Rounding).

تخبرنا أن طريقة "رمي العملة" لتقريب الأرقام قد تخرجت من كونها مجرد خدعة رياضية نظرية لتصبح أداة واقعية. إنها تُبنى الآن داخل الشرائح التي تشغل هواتفنا، وسياراتنا ذاتية القيادة، وأنظمة الذكاء الاصطناعي. ومن خلال استخدام "عملات محدودة الدقة" (أرقام عشوائية سريعة ورخيصة)، يمكن للمهندسين بناء أنظمة ذكاء اصطناعي أسرع، أرخص، وأكثر دقة دون أن تضيع الأرقام في الضجيج.

باختاً: نحن نعلم الحواسيب كيف تتقبل القليل من العشوائية لتصبح أكثر ذكاءً وكفاءة.

إليك ملخص تقني مفصل للورقة البحثية "التقريب العشوائي محدود الدقة" (Limited-Precision Stochastic Rounding) من إعداد إل آرار، وفاسي، وفيليب، وميكايتيس.

1. بيان المشكلة

تعالج الورقة البحثية أوجه القصور في أنماط التقريب الحتمية القياسية (تحديداً التقريب إلى أقرب قيمة، أو RN) في الحسابات العددية واسعة النطاق ومنخفضة الدقة.

تراكم الخطأ: في عمليات الجمع بطول $n$ ، ينمو أسوأ خطأ محتمل لنمط RN خطياً ( $O(n)$ )، بينما ينمو التقريب العشوائي (SR) كـ $O(\sqrt{n})$ باحتمالية عالية.
الركود (Stagnation): في الحسابات منخفضة الدقة، يتسبب نمط RN غالباً في حالة "ركود"، حيث يتم تقريب القيم الصغيرة تماماً إلى الصفر وتفشل في المساهمة في المجموع. يعمل التقريب العشوائي (SR) على تخفيف ذلك من خلال التقريب للأعلى أو للأسفل باحتمالية، مما يضمن مساهمة القيم الصغيرة في توقع المجموع.
فجوة التنفيذ: بينما يتطلب التقريب العشوائي "الدقيق" (Exact SR) أرقاماً عشوائية ذات دقة لانهائية لحساب الاحتمالات بدقة، فإن عمليات التنفيذ العملية في الأجهزة والبرمجيات مقيدة بدقة محدودة. هناك حاجة لفهم، وتوحيد، وتنفيذ التقريب العشوائي محدود الدقة (SR $_{p,r}$ )، حيث تكون الأرقام العشوائية المستخدمة ذات عرض بتات ثابت $r$ .

2. المنهجية

يقدم المؤلفون تحديثاً شاملاً لمسح عام 2022، يغطي أربع سنوات من التقدم (2022–2026) في نظرية وتقنين وتنفيذ التقريب العشوائي (SR).

الإطار النظري:
- يُعرف التقريب العشوائي الدقيق ( $SR_p$ ) حيث تتناسب احتمالية التقريب للأعلى مع المسافة بين الرقم وأقرب مرشحين للقيم العائمة.
- يُعرف التقريب العشوائي محدود الدقة ( $SR_{p,r}$ ) حيث يتم أولاً تقريب المدخل $x$ إلى دقة أعلى $p+r$ قبل اتخاذ القرار العشوائي. يؤدي هذا إلى حدوث انحياز ( $E(SR_{p,r}) \neq x$ ) ولكنه ضروري لجدوى التنفيذ في الأجهزة.
- يحلل حدود الخطأ باستخدام تقنيات المارتينجال (Martingale techniques) ومتباينات التركيز (مثل متباينة بيينيمي-تشيبيشيف)، موضحاً أن التقريب العشوائي ينتج حدود خطأ احتمالية قدرها $O(\sqrt{nu})$ مقارنة بـ $O(nu)$ الحتمية.
تحليل التوحيد القياسي (Standardization):
- يستعرض تقرير IEEE P3109 المرحلي، الذي يحدد ثلاثة متغيرات محدودة الدقة:
  - StochasticA: أبسط اختبار، مع احتمال وجود انحياز صغير.
  - StochasticB: يستخدم $2^{r+1}$ من الفترات الفرعية لتقليل الانحياز.
  - StochasticC: يستبدل عامل الأرضية (floor operator) بالتقريب إلى أقرب عدد زوجي (RNE) ليكون الأقرب إلى التقريب العشوائي الدقيق.
مسح الأجهزة والبرمجيات:
- يصنف التنفيذات عبر كبار الموردين (Graphcore، NVIDIA، AMD، Intel، Huawei، Google) والنماذج البحثية الأولية.
- يحلل عرض البتات ( $r$ ) للأرقام العشوائية المستخدمة في سيناريوهات التحويل المختلفة (مثل تحويل binary32 إلى fp8).
- يراجع المكتبات البرمجية (StochasTorch، Jochastic، Gfloat، sr-float) التي تحاكي التقريب العشوائي على المعالجات المركزية (CPUs) أو وحدات معالجة الرسوميات (GPUs) التي تفتقر إلى الدعم الأصلي.

3. المساهمات الرئيسية

تحديث شامل: تعمل الورقة كمرجع نهائي لأحدث ما توصل إليه العلم في مجال التقريب العشوائي من 2022 إلى 2026، مستشهدة بأكثر من 100 مرجع.
التركيز على التقريب العشوائي محدود الدقة: تنقل التركيز من التقريب العشوائي "الدقيق" نظرياً إلى التقريب العشوائي "محدود الدقة" عملياً، مع تحليل المقايضات بين عرض بتات الأرقام العشوائية ( $r$ ) ودقة الحوسبة.
رسم خارطة مشهد الأجهزة: توفر مقارنة تفصيلية لكيفية تنفيذ مختلف البنى التحتية (NVIDIA Blackwell، AMD MI300، Graphcore IPU) للتقريب العشوائي، بما في ذلك مجموعات التعليمات المحددة (مثل cvt.rs في NVIDIA PTX) واستراتيجيات توليد البتات العشوائية.
رؤى خوارزمية:
- تحدد أن اختيار $r \approx \lceil (\log_2 n)/2 \rceil$ يوفر المقايضة المثلى بين التكلفة والدقة لعمليات الجمع التكراري.
- تناقش استخدام تحويلات هادامار العشوائية (RHTs) لإعادة توزيع القيم المتطرفة في التنسيقات ذات المقياس الدقيق (مثل NVFP4)، والتي تعمل كمقللات للتباين عند دمجها مع التقريب العشوائي.
قابلية التكرار مقابل العشوائية: تسلط الض fact على توجه في براءات الاختراع (NVIDIA، Mellanox، Huawei) لإلغاء مولدات الأرقام العشوائية الزائفة (PRNGs) الخارجية عن طريق استخراج بتات "تبدو عشوائية" مباشرة من البيانات، مما يضمن قابلية التكرار دون الحاجة لإدارة البذور (seeds).

4. النتائج والنتائج المستخلصة

تعلم الآلة (ML): يعد التقريب العشوائي ممكناً حاسماً للتدريب مختلط الدقة (MPT) في النماذج اللغوية الكبيرة (LLMs). فهو يسمح بتقدير غير منحاز للتدرجات في مرحلة التمرير الخلفي (backward pass)، مما يمنع الركود في التنسيقات منخفضة الدقة (4-بت/8-بت). ومع ذلك، لا يُنصح به عموماً في مرحلة التمرير الأمامي (forward pass) حيث قد يعيق التقارب.
الحوسبة العصبية (Neuromorphic Computing): يحاكي التقريب العشوائي بفعالية اللدونة المشبكية ونبضات السيال العصبي في الأنظمة العصبية الرقمية والتماثلية، مما يحسن الدقة في الحسابات ذات النقطة الثابتة حيث يفشل التقريب التقليدي.
محاكاة الطقটা والمناخ: يحافظ التقريب العشوائي على السلوك الإحصائي الصحيح طويل الأمد للأنظمة الديناميكية الفوضوية. على عكس التقريب إلى أقرب قيمة (RN)، الذي يجبر المسارات على الدخول في مدارات دورية قصيرة (استقرار اصطناعي)، يسمح التقريب العشوائي للمسارات بالهروب من الدورات، مما يحافظ على الأمانة الإحصائية حتى في محاكاة مدتها 100 عام بدقة binary16.
الحوسبة العلمية: يقلل التقريب العشوائي من نمو الخطأ بمقدار يصل إلى ثلاثة أوامر قدرية مقارنة بنمط RN في سلاسل التراكم الطويلة (مثل نماذج المناخ).
تنفيذ الأجهزة:
- Graphcore: تستخدم تدفقات بتات عشوائية متغيرة الطول (13–24 بت) تُضاف إلى الجزء الكسري (significand).
- AMD (MI300): تستخدم 20–21 بت عشوائي لتحويلات FP8؛ دقيقة للقيم الطبيعية (normalized)، ومحدودة للقيم تحت الطبيعية (subnormals).
- NVIDIA (Blackwell): تنفذ التقريب العشوائي عبر المعدل .rs في PTX، بإضافة بتات عشوائية إلى موضع التقريب.
- Intel: تصف براءات الاختراع تعليمات تحويل مماثلة تستخدم 13–16 بت عشوائي.

5. الأهمية

تكمن أهمية هذه الورقة في أنها تجسر الفجوة بين التحليل العددي النظري والتنفيذ الصناعي في الأجهزة.

اعتماد الأجهزة: توثق الورقة انتقال التقريب العشوائي من مجرد فضول بحثي إلى ميزة قياسية في مسرعات الذكاء الاصطناعي من الجيل التالي (NVIDIA Blackwell، AMD MI300، Google TPU)، مما يشير إلى تحول جذري في كيفية التعامل مع الحوسبة منخفضة الدقة.
تمكين توسيع نطاق الذكاء الاصطناعي: من خلال إثبات فعالية التقريب العشوائي كآلية لتثبيت التدريب في تنسيقات 4-بت و8-بت، تدعم الورقة توجه الصناعة نحو نماذج التريليون معلمة التي قد يكون تدريبها مستحيلاً لولا ذلك بسبب قيود الذاكرة والدقة.
الاتجاهات المستقبلية: يسلط المؤلفون الضوء على الحاجة إلى توافر أوسع للتقريب العشوائي في الأجهزة، وتحسين توحيد توليد الأرقام العشوائية (أو العشوائية المستمدة من البيانات)، ومزيد من البحث في التفاعل بين التقريب العشائي وتقنيات أخرى مثل RHTs لتعظيم فوائد الحوسبة فائقة انخفاض الدقة.