Mixed precision solvers with half-precision floating point numbers for Lattice QCD on A64FX processor

إليك ملخص تقني مفصل للورقة البحثية بعنوان: "المحللات ذات الدقة المختلطة باستخدام أرقام الفاصلة العائمة ذات الدقة النصفية (Half-precision) لـ Lattice QCD على معالج A64FX."

1. بيان المشكلة

تعد محاكاة الكروموديناميكا الكمية الشبكية (LQCD) عمليات مكثفة حاسوبياً، حيث يمثل المكون الأكثر استهلاكاً للوقت هو الحل التكراري للأنظمة الخطية الضخمة والمتفرقة (تحديداً مصفوفة فيرميون ويلسون). وبينما تُعد المحللات ذات الدقة المختلطة التي تستخدم الدقة الأحادية (FP32) كمُمهد (Preconditioner) للمحللات ذات الدقة المزدوجة (FP64) أمراً راسخاً، يبحث المؤلفون في جدوى استخدام الدقة النصفية (FP16) لتسريع هذه المحاكاة بشكل أكبر.

التحديات الرئيسية المحددة:

• عدم الاستقرار العددي: يؤدي التطبيق المباشر لـ FP16 في المحللات التكرارية (مثل BiCGStab) إلى عدم استقرار عددي شديد، ويرجع ذلك أساساً إلى نقص التدفق (Underflow). فمع انخفاض قيم متجهات البواقي (Residual vectors) أثناء التكرارات، تتسبب النطاق الديناميكي المحدود لـ FP16 (نطاق الأس من $2^{-14}$ إلى $2^{15}$) في انهيار القيم إلى الصفر، مما يؤدي إلى توقف التقارب.
• الفشل الخوارزمي: تفشل خوارزميات الدقة المختلطة القياسية (المصممة لـ FP32) عند نقلها ببساطة إلى FP16 على معالج A64FX، مما ينتج عنه "ركود" (Stagflation) وزيادة هائلة في عدد التكرارات.
• السياق العتادي: تستهدف الدراسة معالج A64FX (المستخدم في حاسوب Fugaku الفائق)، والذي يتميز بملحق المتجهات القابل للتوسع (SVE) القادر على إجراء عمليات حسابية بنظام FP16 بإنتاجية تبلغ 4 أضعاف FP64. ومع ذلك، فإن استغلال ذلك يتطلب التغلب على قيود الدقة.

2. المنهجية

يقترح المؤلفون استراتيجية إعادة القياس (Rescaling strategy) مدمجة في كل من حلقة التحسين التكراري الخارجية ومحلل BiCGStab الداخلي للحفاظ على الاستقرار العددي مع استخدام FP16.

أ. التعديلات الخوارزمية

1. التحسين التكراري معاد القياس (الحلقة الخارجية):

   • بدلاً من حل $A\tilde{t} = \text{low\_prec}(y)$ مباشرة، يتم إعادة قياس متجه الباقي $r$ بمعامل $\alpha$ بحيث يتوافق مع قيمة مستهدفة $s$ (قريبة من القيمة القصوى الممكن تمثيلها في FP16).
   • يتم إعادة حساب معامل القياس في FP32/FP64 بعد الحل منخفض الدقة لتصحيح أخطاء التقريب وضمان أن التكرار التالي يبدأ بمتجه مُعاد قياسه بشكل صحيح.

2. محلل BiCGStab معاد القياس (الحلقة الداخلية):

   • إعادة قياس الباقي: يتم إعادة قياس متجه الباقي عند كل خطوة تكرارية باستخدام معامل $\gamma$. هذا يمنع عناصر الباقي من الانهيار إلى الصفر (Underflow) مع اقترابها من الصفر.
   • إعادة قياس الحل: يتم إدخال معامل إضافي $\lambda$ لإعادة قياس متجه الحل $x$. هذا يمنع الفيض (Overflow) في الحالات التي تمتلك فيها المنظومة قيمًا ذاتية صغيرة، مما قد يتسبب في تجاوز معيار الحل للحدود المسموحة في FP16.
   • ضبط المعلمات: يقدم المؤلفون معلمات $\sigma$ (لقياس الباقي) و $s$ (لقياس المدخلات) لتحسين استخدام النطاق الديناميكي.

3. تفاصيل التنفيذ:

   • العتاد: معالج A64FX (Fugaku).
   • أنواع البيانات: تم استخدام _Float16 (IEEE 754 binary16) للحسابات للاستفادة من التسريع العتادي، بدلاً من __fp16 (الذي يتعامل مع التخزين فقط).
   • استراتيجية الاختزال (Reduction Strategy): للحفاظ على الدقة أثناء عمليات الاختزال العالمي (مثل الضرب النقطي)، يتم تحويل متجهات FP16 إلى FP32 داخل الخيوط (Threads) ثم اختزالها إلى FP64 عبر عمليات MPI.
   • قاعدة الكود: تم التنفيذ ضمن إطار عمل Lattice QCD المسمى Bridge++، باستخدام فرع QXS المخصص لضبط A64FX.

3. المساهمات الرئيسية

• استقرار محللات FP16: تثبت الورقة أن FP16 يمكن استخدامه بفعالية في LQCD إذا تم تطبيق آليات إعادة قياس محددة لمنع نقص التدفق والفيض، وهي مشكلة لا تظهر في مخططات الدقة المختلطة لـ FP32.
• خوارزمية إعادة قياس مبتكرة: على عكس مكتبات LQCD الحالية (مثل QUDA) التي تركز على FP32، يقدم هذا العمل بروتوكول إعادة قياس محدد لخوارزمية BiCGStab مصمم خصيصاً للنطاق الديناميكي الضيق لـ FP16.
• التحقق من الأداء على A64FX: توفر الدراسة أول عرض عملي لمحللات الدقة المختلطة لـ FP16 على بنية A64FX، مستفيدة من قدرات SVE الخاصة بها.
• تحسين المعلمات: حلل المؤلفون بشكل منهجي تأثير معلمات القياس ($s$ و $\sigma$)، موضحين أن ضبط معيار متجه المدخلات ليكون قريباً من الحد الأقصى لـ FP16 يقلل بشكل كبير من نقص التدفق دون التسبب في الفيض.

4. النتائج

أُجريت التجارب على حاسوب Fugaku الفائق باستخدام شبكة $32^3 \times 64$ مع مصفوفة فيرميون ويلسون ($\kappa = 0.13$).

• استقرار التقارب:
  • بدون إعادة القياس: فشل محلل FP16 في التقارب بكفاءة، حيث عانى من الركود وتطلب حوالي 5,500 عملية ضرب مصفوفة في متجه (MVMs).
  • مع إعادة القياس: تقارب المحلل بشكل مستقر. انخفض إجمالي عمليات MVM إلى ~850–920، وهو رقم يقارب أو يتفوق قليلاً على حالة الدقة المختلطة لـ FP32 (~919 MVMs).
• تخفيف نقص التدفق (Underflow Mitigation):
  • في حالة FP16 غير المعدلة، زاد عدد العناصر ذات القيمة الصفرية في متجه الباقي بسرعة.
  • مع إعادة القياس المقترحة، تم القضاء على نقص التدفق إلى حد كبير، وتم الحفاظ على "انتشار" المعلومات عبر الشبكة.
• مكاسب الأداء:
  • الإنتاجية (Throughput): وصلت إنتاجية MVM لنظام FP16 إلى 8,249 GFlops، مقارنة بـ 3,895 GFlops لـ FP32 و 2,045 GFlops لـ FP64.
  • الزمن المستغرق: حقق محلل الدقة المختلطة لـ FP16 تسريعاً بمقدار ضعفين (2x) مقارنة بمحلل الدقة المختلطة لـ FP32، وتسريعاً بمقدار 3 أضعاف (3x) مقارنة بمحلل FP64 النقي.
  • الوقت الإجمالي: استغرق حل FP16 حوالي 0.46 ثانية، مقارنة بـ 0.92 ثانية (FP32) و 1.39 ثانية (FP64).

5. الأهمية

• الاستعداد للمستقبل في الأجهزة المدفوعة بالذكاء الاصطناعي: مع دمج بنيات الحوسبة عالية الأداء (HPC) بشكل متزايد لوحدات محسنة للذكاء الاصطناعي (مثل Tensor Cores) التي تتفوق في الحسابات منخفضة الدقة، توفر هذه الدراسة مساراً خوارزمياً حرجاً لاستخدام هذه الميزات في المحاكاة العلمية مثل LQCD.
• الكفاءة في Fugaku NEXT: مع التخطيط لاستخدام حاسوب اليابان من الجيل التالي (Fugaku NEXT) لمعالجات NVIDIA GPU المزودة بـ Tensor Cores، فإن القدرة على استخدام FP16 بفعالية تعد أمراً ضرورياً لتعظيم الأداء.
• القابلية العامة للتطبيق: لا تقتقتصر تقنيات إعادة القياس المقترحة على مصفوفة فيرميون ويلسون أو BiCGStab؛ بل يرى المؤلفون أن هذه الطرق يمكن أن تفيد الممهدات والمحللات التكرارية الأخرى في الحوسات العلمية حيث يمثل نقص التدفق عائقاً.
• الجدوى العملية: تثبت الدراسة أن FP16 ليس مجرد إمكانية نظرية بل هو خيار عملي وعالي الأداء لـ LQCD، بشرط إدارة الاستقرار العددي من خلال إعادة القياس الخوارزمي بدلاً من الاعتماد فقط على دقة العتاد.

الخلاصة: نجحت الورقة في سد الفجوة بين الأداء النظري العالي لـ FP16 في بنيات SIMD الحديثة ومتطلبات الاستقرار العددي لـ Lattice QCD، محققة تحسيناً في الأداء بمقدار ضعفين مقارنة بأحدث حلول الدقة المختلطة لـ FP32 المستخدمة حالياً.