🤖 machine learning

Fuzzy PyTorch: Rapid Numerical Variability Evaluation for Deep Learning Models

تقدم هذه الورقة Fuzzy PyTorch، وهو إطار عمل قابل للتوسع وفعال يدمج أوضاع التقريب العشوائي والتقريب للأعلى والأسفل عبر Verificarlo لتقييم التباين العددي بسرعة في نماذج التعلم العميق مع تقليل وقت التشغيل بشكل كبير مقارنة بالأدوات الحالية، كل ذلك مع الحفاظ على أداء النموذج.

المؤلفون الأصليون: Inés Gonzalez-Pepe, Hiba Akhaddar, Tristan Glatard, Yohan Chatelain

نُشر 2026-05-26

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Inés Gonzalez-Pepe, Hiba Akhaddar, Tristan Glatard, Yohan Chatelain

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تقوم بخبز كعكة ضخمة ومعقدة (نموذج تعلم عميق) باستخدام ميزان رقمي دقيق للغاية. في العالم الحقيقي، إذا قمت بوزن الدقيق والسكر والبيض بدقة مثالية، فستحصل على نفس الكعكة في كل مرة. ولكن في عالم الحواسيب، فإن "الميزان" (الحسابات ذات الفاصلة العائمة) له قيود ضئيلة؛ فهو لا يستطيع استيعاب أرقام عشرية لانهائية، لذا يتعين عليه تقريب الأرقام. عادةً ما يتم التقريب بطريقة قياسية، ولكن في بعض الأحيان، وبسبب كيفية عمل عقل الكمبيوتر، يمكن لهذا القرار الضئيل في التقريب أن يغير النتيجة النهائية قليلاً.

لفترة طويلة، ظل العلماء قلقين: "إذا غيرنا التقريب ولو بجزء ضئيل جدًا، فهل سيتغير طعم الكعكة؟ هل سيتخذ الذكاء الاصطناعي قرارًا مختلفًا؟" ولمعرفة ذلك، كان عليهم خبز نفس الكعكة آلاف المرات، مع تغيير قواعد التقريب قليلاً في كل مرة لرؤية ما إذا كانت النتائج ستظل مستقرة.

المشكلة: الطهي البطيء
يوضح البحث أن الأدوات الموجودة للقيام باختبار "خبز الكعكة" هذا كانت بطيئة للغاية. تخيل أنك تحاول تذوق كعكتك عن طريق خبزها 100 مرة، ولكن في كل مرة تخبز فيها، يستغرق الفرن 100 ضعف الوقت المعتاد لأنه يفحص كل مكون بدقة متناهية. إذا كانت كعكتك صغيرة، فسيستغرق الأمر يومًا واحدًا. أما إذا كانت كعكة زفاف ضخمة (نموذج ذكاء اصطناعي هائل بمليارات المعلمات)، فسيستغرق الأمر سنوات. هذا جعل من المستحيل اختبار نماذج الذكاء الاصطناعي الحديثة والضخمة.

الحل: PyTorch الضبابي (Fuzzy PyTorch)
ابتكر المؤلفون أداة جديدة تسمى Fuzzy PyTorch. فكر في هذا كـ "مفتاح تقريب فائق السرعة" يمكنك تشغيله على ميزان مطبخك.

بدلاً من الطريقة القديمة والبطيئة التي تفحص كل رقم، يستخدم Fuzzy PyTorch حيلتين ذكيتين (أوضاع التقريب) لتسريع العملية:

التقريب العشوائي (الدفعة اللطيفة): يشبه هذا النظر إلى رقم يقع في المنتصف تمامًا بين علامتين على الميزان. بدلاً من التقريب دائمًا للأعلى أو للأسفل، فإنه يرمي عملة معدنية؛ إذا ظهرت "صورة"، تقرب للأعلى؛ وإذا ظهرت "كتابة"، تقرب للأسفل. هذا يحافظ على دقة النتيجة المتوسطة ولكنه يُدخل "التذبذب" الضئيل المطلوب لاختبار الاستقرار.
التقريب للأعلى والأسفل (القلب السريع): هذه حيلة جديدة، أسرع حتى، ابتكرها المؤلفون. إنها تشبه أخذ رقم تم تقريبه بالفعل ثم رمي عملة معدنية لمعرفة ما إذا كنت ستدفعه للأعلى أو للأسفل بأصغر قدر ممكن. إنها أقل دقة من الطريقة الأولى، ولكنها سريعة للغاية.

كيف يعمل
بنى الفريق مكتبة تسمى PRISM (التقريب الاحتمالي مع إدارة مجموعة التعليمات). تخيل PRISM كعامل خط تجميع عالي السرعة يمكنه التقاط رقم، ورمي عملة معدنية، وتقريبه في جزء من الثانية، باستخدام ميزات السرعة المدمجة في الحاسوب (التعليمات المتجهة/vectorized instructions).

وقد ربطوا هذه المكتبة بـ PyTorch، وهو إطار عمل شهير لبناء الذكاء الاصطناعي. قبل ذلك، كان اختبار هذه النماذج يشبه محاولة الجري في ماراثون وأنت ترتدي حقيبة ظهر مليئة بالطوب. ومع Fuzzy PyTorch، قاموا بإزالة الطوب من الحقيبة.

النتائج: السرعة والأمان
اختبر الفريق هذه الأداة الجديدة على ثلاث "كعكات" مختلفة:

MNIST: مهمة بسيطة للتعرف على الأرقام المكتوبة بخط اليد (كعكة صغيرة وسهلة).
FastSurfer: مهمة معقدة لرسم خرائط الدماغ البشري من صور الرنين المغناطيسي (كعكة متوسطة الحجم وتفصيلية).
WavLM: مهمة لتحديد مرض باركنسون من التسجيلات الصوتية (كعكة ضخمة ومعقدة للغاية).

النتائج:

السرعة: كان Fuzzy PyTorch أسرع بـ 5 إلى 60 مرة من أفضل أداة سابقة (Verrou). في بعض الحالات، الاختبار الذي كان سيستغرق أسبوعًا أصبح يستغرق بضع ساعات فقط.
الدقة: على الرغم من كونه أسرع، إلا أن النتائج كانت بنفس الموثوقية. "التذبذب" الذي أدخله كان مشابهًا للأدوات القديمة، مما يعني أن الباحثين يمكنهم الوثوق بالبيانات.
القابلية للتوسع: نظرًا لسرعته الفائقة، يمكنه الآن التعامل مع نماذج الذكاء الاصطناعي الضخمة اليوم، والتي لم تستطع الأدوات القديمة لمسها ببساطة.

لماذا يهم هذا؟
يخلص البحث إلى أن Fuzzy PyTorch يشبه منح الباحثين فرنًا فائق السرعة. فهو يسمح لهم بالتحقق بسرعة مما إذا كانت نماذج الذكاء الاصطناعي الخاصة بهم قوية وموثوقة دون انتظار أشهر للحصول على النتائج. إنه لا يوفر الوقت فحسب؛ بل يجعل من الممكن دراسة "التباين العددي" (أخطاء التقريب الصغيرة) لأكبر أنظمة الذكاء الاصطناعي الأكثر تعقيدًا في العالم، مما يضمن عملها بشكل صحيح قبل استخدامها في الحياة الواقعية.

كما يشير المؤلفون أيضًا إلى أنهم وجدوا بعض "عدم الاستقرار" في خلفية صور المسح الدماغي أثناء الاختبار، وهو ما استخدموه لتحسين البرمجيات لاحقًا، مما يثبت أن العثور على هذه الأخطاء الصغيرة يمكن أن يؤدي بالفعل إلى ذكاء اصطناعي أفضل وأسرع.

ملخص تقني: PyTorch الضبابي (Fuzzy PyTorch): التقييم السريع للتباين العددي لنماذج التعلم العميق

بيان المشكلة

تُستخدم نماذج التعلم العميق (DL) بشكل متزايد في المجالات عالية الخطورة مثل التصوير الطبي، والاستشعار عن بعد، والمحاكاة العلمية. ومع ذلك، تعتمد هذه النماذج على عمليات حسابية عددية حساسة لدقة الفاصلة العائمة (floating-point precision) وأنماط التقريب. وبينما يعد فهم التباين العددي أمراً ضرورياً لضمان المتانة وإعادة الإنتاجية، فإن الأدوات الحالية لتقييم هذا التباين تواجه تحديات كبيرة في القدرة على التوسع.

تتطلب الطرق الدقيقة التقليدية (مثل الحساب الفتري - interval arithmetic، أو التحقق الرسمي - formal verification) تعديلات واسعة النطاق في الكود البرمجي ولا تتوسع لتشمل أعباء عمل التعلم العميق المعقدة. ومن ناحية أخرى، فإن أدوات الحساب العشوائي (stochastic arithmetic)، التي تُدخل اضطرابات عشوائية محكومة لتقدير التباين، غالباً ما تكون بطيئة للغاية. وتؤدي أدوات مثل Verrou إلى تباطؤ في وقت التشغيل يتراوح بين 10 إلى 1000 ضعف في النماذج التي تحتوي على بضعة ملايين من المعلمات فقط. وهذا يجعل جمع عينات إحصائية كافية للنماذج الكبيرة (مثل النماذج اللغوية الكبيرة - LLMs) أمراً غير ممكن فعلياً، حيث يمكن أن تستغرق التحليلات أياماً أو أسابيع حتى مع استخدام التوازي. هناك حاجة ماسة لإطار عمل يتكامل بسلاسة مع أنظمة التعلم العميق الحالية (تحديداً PyTorch)، ويقلل من العبء الحسابي، ويتوسع ليشمل نماذج تحتوي على مئات الملايين من المعلمات دون المساس بالأداء.

المنهجية

يقترح المؤلفون PyTorch الضبابي (Fuzzy PyTorch)، وهو إطار عمل يدمج الحساب العشوائي في PyTorch من خلال مكتبة C++ مبتكرة تسمى PRISM (التقريب الاحتمالي مع إدارة مجموعة التعليمات - Probabilistic Rounding with Instruction Set Management).

المكونات الأساسية

مكتبة PRISM:
- التنفيذ: تنفذ PRISM نمطين من التقريب: التقريب العشوائي (SR) والتقريب صعوداً-هبوطاً (UD) المقترح حديثاً.
- التحسين: تستفيد المكتبة من مكتبة Highway لاستخدام تعليمات وحدة المعالجة المركزية المتجهة (AVX2, AVX-512)، مما يقلل من العبء الحسابي. وهي تدعم التعليمات القياسية والمتجهة عبر التوزيع الاستاتيكي والديناميكي لضمان قابلية النقل عبر البنى المختلفة.
- العمليات: تغطي العمليات الأساسية للفاصلة العائمة ( $+, -, \times, \div, \sqrt{,}$ و Fused Multiply-Add (FMA)). تستخدم معاملات SR (باستثناء FMA) خوارزميات خالية من أنماط التقريب، بينما يستند تنفيذ FMA إلى Verrou ويعتمد على خوارزمية ErrFmaNearest.
- التعدد في الخيوط (Threading): تخصص PRISM مولداً عشوائياً منفصلاً لكل خيط (thread) لمنع مشاركة حالة البذرة (seed state) والارتباطات في الاضطرابات، مما يتيح أداءً مثالياً متعدد الخيوط دون الحاجة إلى التزامن.
التقريب صعوداً-هبوطاً (UD):
- UD هو نمط مبتكر حيث يتم تقريب نتيجة عملية تم تقريبها بالفعل عشوائياً إلى الرقم التالي أو السابق للفاصلة العائمة باحتمالية متساوية ( $1/2$ ).
  ً وبينما لا يحافظ UD على عمليات الفاصلة العائمة الدقيقة مثل SR، إلا أنه أسرع بكثير على مستوى العملية الفردية.
التكامل مع PyTorch وVerificaro:
- يوسع Fuzzy PyTorch نظام Verificarlo (المعتمد على LLVM) لاستخدام PRISM كخلفية (backend).
- يقوم النظام باستبدال عمليات الفاصلة العائمة القياسية والمتجهة في PyTorch (الإصدار 2.2.1) باستدعاءات لمكتبة PRISM عبر مسارات برمجة (instrumentation passes) جديدة لـ LLVM.
- لضمان التوافق، قام المؤلفون بتعديل كود PyTorch (إزالة كلمة noexcept من فئة Module) وتجميع مكتبات BLAS/LAPACK مفتوحة المصدر (بدلاً من Intel MKL المملوكة لشركة Intel) وتشغيل ONNX runtime باستخدام Verificarlo.
- تم استبعاد وظائف معينة عرضة للمخرجات الخاطئة تحت تأثير الاضطراب (مثل الأس، واللوغاريتم في SLEEF، و torch.argmax تحت نمط UD) للحفاظ على الموثوقية.

المساهمات الرئيسية

تحدد الورقة ثلاث مساهمات رئيسية:

مكتبة PRISM: مكتبة C++ جديدة تنفذ طرق تقريب احتمالية سريعة (SR و UD) للتحليل المنهجي لأخطاء الفاصلة العائمة، مع تحسينها باستخدام تعليمات وحدة المعالجة المركزية المتجهة.
التكامل السلس مع PyTorch: إطار عمل يقوم ببرمجة عمليات التعلم العميق بشفافية، مما يسمح بتقييم الحساب العشوائي بكفاءة دون تغيير بنية النموذج الأساسية.
التقييم الشامل: تحليل مقارن ضد Verrou (أداة رائدة) عبر حالات استخدام متنوعة، بما في ذلك تصنيف أرقام MNIST، وFastSurfer (تقسيم صور الدماغ الكاملة)، وWavLM (تصنيف مرض باركنسون من الكلام).

النتائج

يظهر التقييم أن Fuzzy PyTorch يحقق مكاسب أداء كبيرة مع الحفاظ على خصائص تباين عددي مماثلة للأدوات الموجودة.

كفاءة وقت التشغيل:
- يحقق Fuzzy PyTorch انخفاضات في وقت التشغيل تتراوح بين 5× إلى 60× مقارنة بـ Verrou عبر مختلف نماذج التعلم العميق.
- في اختبارات NAS المتوازية، حقق نمط PRISM UD باستمرار أقل عبء إضافي، بينما أظهر PRISM SR تباطؤات مماثلة أو أقل من Verrou SR و CADNA.
- في مهام التعلم العميق، تراوحت السرعات بين 7× إلى 49× لنمط SR و 5× إلى 60× لنمط UD. والجدير بالذكر أن هذا الأداء تحقق رغم أن Fuzzy PyTorch استخدم مكتبات Netlib BLAS/LAPACK القياسية، بينما اعتمد Verrou على مكتبة Intel MKL عالية التحسين.
- تباين الأداء حسب البنية: كان UD أسرع في النماذج القائمة على الشبكات العصبية الالتفافية (MNIST, FastSurfer)، بينما كان SR أسرع في نموذج WavLM القائم على المحولات (Transformer)، ويرجع ذلك على الأرجح إلى أن SR يتجاوز العمليات الدقيقة، مما يقلل العبء النسبي في طبقات الانتباه الذاتي المعقدة.
التباين العددي والدقة:
- السلسلة التوافقية (Harmonic Series): أظهر PRISM SR تبايناً مماثلاً لـ MCA RR و Verrou SR ومكتبة Fasi & Mikaitis، حيث تقارب مع القيمة المرجعية binary64 المتوقعة. وأظهر PRISM UD تبايناً أعلى (كما هو متوقع لنمط يغير القيم المقربة بالفعل) ولكنه تقارب نحو نتائج binary32.
- مقاييس النماذج: حافظ Fuzzy PyTorch عبر MNIST و FastSurfer و WavLM على أداء نماذج مماثل لـ Verrou.
  - MNIST: تم حصر التباين بفعالية في دالة الخسارة، مع احتفاظ المقاييس بحوالي 6.17 خانة عشرية معنوية.
  - WavLM: أظهرت المقاييس استقراراً عددياً عالياً (~6.17 خانة عشرية معنوية)، رغم أن تحليل احتمالات ما قبل الـ max كشف عن عدم استقرار كامن يخفيه الإجراء النهائي.
  - FastSurfer: ظلت درجات Sørensen–Dice الدنيا مرتفça جداً (~0.9985)، مما يؤكد دقة التقسيم المتسقة رغم التباين المُدخل.
- التمثيلات (Embeddings): أظهر تحليل خرائط الميزات الداخلية أنماط تباين متسقة عبر الأدوات، وإن كان PRVM UD قد أدخل عدم يقين أعلى قليلاً في تمثيلات WavLM.

الأهمية والادعاءات

تدعي الورقة أن Fuzzy PyTorch يوفر حلاً فعالاً، وقابلاً للتوسع، وعملياً لتقييم التباين العددي في التعلم العميق. تكمن أهميته الأساسية في جعل الدراسات المنهقية واسعة النطاق لخصائص الفاصلة العائمة أمراً ممكناً.

القابلية للتوسع: من خلال تقليل العبء الإضافي في وقت التشغيل بمقدار يصل إلى 60×، يتيح الإطار للباحثين إجراء التنفيذات العشوائية المتعددة (عادةً 10 أو أكثر) المطلوبة للحصول على تقديرات إحصائية مستقرة على النماذج الحديثة الكبيرة، وهي مهمة كانت تعتبر سابقاً غير قابلة للتنفيذ حسابياً.
إعادة الإنتاجية والمتانة: تسمت الأداة الباحثين من قياس وإدارة عدم اليقين في الفاصلة العائمة دون المساس بكفاءة الحوسبة، مما يدعم مباشرة الأبحاث حول إعادة الإنتاجية والمتانة في الشبكات العصبية.
التحسين العملي: يسلط المؤلفون الضوء على أن تحليل التباين الفعال يمكن أن يؤدي إلى تحسينات عملية. على سبيل المثال، كشف تحليل FastSurfer باستخدام Fuzzy PyTorch عن مناطق من عدم الاستقرار العددي في الخلفية، والتي تم استغلالها لاحقاً لتنفيذ "القيم غير المعرفة (NaNs) المحافظة والجريئة"، مما حقق مكاسب كبيرة في الكفاءة الحسابية.
الآفاق المستقبلية: على الرغم من كونه يعتمد حالياً على وحدة المعالجة المركزية (CPU)، يتوقع المؤلفون أن النتائج ستعمم على بنيات وحدة معالجة الرسومات (GPU). وقد حددوا دعم GPU كاتجاه مستقبلي، مشيرين إلى التحديات التقنية لأنظمة الأدوات المجزأة، مع التأكيد على ضرية ضرورة هذه التوسعات مع زيادة شيوع الأجهزة التي تدعم أنماط التقريب (مثل AWS Neuron و NVIDIA Blackwell).

باختصار، يسد Fuzzy PyTorch الفجوة بين التحليل العددي الصارم والمتطلبات العملية للتعلم العمماء الحديث، مما يمكّن المجتمع من الانتقال من مجرد الاهتمامات النظرية بشأن دقة الفاصلة العائمة إلى تقييمات قابلة للتنفيذ وقابلة للتوسع لموثوقية النماذج.