Hardware-Aware FP4 FlashAttention-4
تقدم هذه الورقة البحثية تقنية FlashAttention-4 بنظام FP4 المدركة للأجهزة، وهي طريقة تتغلب على قيود نوى التنسور (tensor cores) من نوع FP4 في معمارية Blackwell عبر توظيف تقنية Direct-P للاستدلال غير السببي ومسار سببي مع تدرجات FP8، مما يحقق سرعة في إنتاجية التمرير الأمامي تصل إلى 2.13 ضعفاً وسرعة في تحديثات التدريب على وحدة معالجة رسومية واحدة تصل إلى 1.14 ضعفاً، مع تجنب مشكلات التباعد الملحوظة في تدريب MXFP4.