🤖 machine learning

Search Your Block Floating Point Scales!

تقدم هذه الورقة ScaleSearch، وهي استراتيجية مبتكرة تعمل على تحسين عوامل قياس الفاصلة العائمة الكتلية (Block Floating Point) من خلال بحث دقيق لبتات المانتيسا (mantissa bits) لتقليل خطأ التكميم بشكل كبير وتحسين أداء النماذج التوليدية منخفضة الدقة، بما في ذلك خوارزمية ScaleSearchAttention المتخصصة التي تحقق فقدانًا يقارب الصفر في الأداء.

المؤلفون الأصليون: Tanmaey Gupta, Hayden Prairie, Xiaoxia Wu, Reyna Abhyankar, Qingyang Wu, Austin Silveria, Pragaash Ponnusamy, Jue Wang, Ben Athiwaratkun, Leon Song, Tri Dao, Daniel Y. Fu, Chris De Sa

نُشر 2026-05-13

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Tanmaey Gupta, Hayden Prairie, Xiaoxia Wu, Reyna Abhyankar, Qingyang Wu, Austin Silveria, Pragaash Ponnusamy, Jue Wang, Ben Athiwaratkun, Leon Song, Tri Dao, Daniel Y. Fu, Chris De Sa

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحثية بعنوان "!Search Your Block Floating Point Scales" باستخدام لغة بسيطة وتشبيهات من الحياة اليومية.

الصورة الكبيرة: حزم حقيبة السفر بكفاءة

تخيل أنك تحاول حزم حقيبة سفر (ذاكرة الكمبيوتر) للرحلة. لديك الكثير من الأغراض (البيانات) لتضعها في الداخل، لكن الحقيبة صغيرة. لجعل كل شيء يتسع، عليك ضغط هذه الأغراض (وهذا ما يسمى بـ التكميم - quantization).

في الماضي، عند حزم مجموعة من الأغراض، كنت تنظر إلى أكبر قطعة في المجموعة وتقول: "حسناً، سأقوم بتصغير بقية القطع حتى تتناسب هذه القطعة الكبيرة تماماً". هذه هي الطريقة القياسية المستخدمة في شرائح الذكاء الاصطناعي الحديثة.

المشكلة:
لاحظ المؤلفون أنه مجرد كون القطعة الأكبر قد تناسب الحجم، لا يعني بالضرورة أن بقية القطع قد حُزمت بكفاءة. أحياناً، يؤدي تصغير كل شيء بناءً على القطعة الأكبر إلى ترك مساحات فارغة كثيرة أو ضغط القطع الصغيرة بشكل مبالغ فيه، مما يجعل من الصعب التعرف عليها لاحقاً. الأمر يشبه محاولة وضع دب كبير (دب قطني) وزر صغير في صندوق واحد؛ إذا جعلت حجم الصندوق على مقاس الدب، فسيضيع الزر وسط الفوضى.

الحل: "ScaleSearch" (المُعلب الذكي)

تقدم الورقة البحثية استراتيجية جديدة تسمى ScaleSearch. بدلاً من مجرد النظر إلى أكبر قطعة ووضع قاعدة واحدة، يقوم الخوارزمي باستخدام "كشاف بحث" صغير للتحقق من عدة طرق مختلفة لحزم الحقيبة.

الطريقة القديمة: "أكبر قطعة طولها 10 بوصات. سأجعل المقياس الخاص بي 10".
الطريقة الجديدة (ScaleSearch): "أكبر قطعة طولها 10 بوصات. ولكن انتظر... إذا جعلت المقياس 9.5، فستظل القطعة الكبيرة مناسبة، لكن القطع المتوسطة ستصبح أكثر وضوحاً. وإذا جعلت المقياس 10.5، فستبدو القطع الصغيرة أفضل. دعني أختبر سريعاً هذه الخيارات القليلة وأختار الخيار الذي يجعل المجموعة الكاملة تبدو في أفضل حال".

تظهر الورقة البحثية أنه من خلال عملية البحث الصغيرة والسريعة هذه، يمكن للكمبيوتر حزم البيانات بدقة أكبر بكبثير، مما يقلل من "خطأ التكميم" (الفوضى الناتجة عن الضغط) بنسبة تقارب 27%.

الأجهزة الخاصة: NVFP4

تعمل هذه الحيلة تحديداً بفضل شرائح الكمبيوتر الجديدة فائقة السرعة (بنية NVIDIA Blackwell) التي تستخدم تنسيقاً يسمى NVFP4.

تخيل طريقة الحزم القديمة كأنها استخدام مسطرة بها علامات كبيرة فقط (1، 2، 3). أما الشرائح الجديدة، فهي تمتلك مسطرة بها علامات دقيقة وصغيرة جداً (1.0، 1.1، 1.2، إلخ). ScaleSearch هو التقنية التي تستخدم تلك العلامات الدقيقة والرفيعة لإيجال المقاس المثالي، بدلاً من مجرد التخمين باستخدام العلامات الكبيرة.

ترقية "الانتباه": ScaleSearchAttention

يجب على نماذج الذكاء الاصطناي (مثل روبوتات الدردشة) أن تنتبه للكلمات التي قالتها بالفعل لتفهم الكلمة التالية. هذه "الذاكرة" تسمى KV Cache. تخزين هذه الذاكرة يستهلك مساحة كبيرة ويبطئ العمل.

ابتكر المؤلفون نسخة خاصة تسمى ScaleSearchAttention.

ماذا تفعل: تطبق منطق "المُعلب الذكي" على ذاكرة الذكاء الاصطناعي.
النتيجة: تسمح للذكاء الاصطناعي بتخزين ذاكرته بتنسيق مدمج جداً (4-bit) دون فقدان قدرته على فهم السياق.
التشبيه: تخيل أمين مكتبة يضطر عادةً لكتابة عناوين كل الكتب بالتفصيل الممل (بطيء وضخم). باستخدام هذه الطريقة الجديدة، يستخدم أمين المكتبة رمز اختصار ذكي وصغير وسريع الكتابة، لكنه يراجع الرمز مرتين للتأكد من أنه لم يفت أي تفاصيل مهمة.

ماذا أثبتوا؟ (النتائج)

اختبرت الورقة البحثية ذلك على نماذج ذكاء اصطناعي حقيقية (مثل Llama و Qwen) وأدوات توليد الفيديو (مثل Mochi).

رياضيات واستنتاج أفضل: عندما استخدموا ScaleSearch في المسائل الرياضية، أصبح الذكاء الاصطناعي أذكى بشكل ملحوظ. في أحد النماذج، قفزت الدرجة في اختبار الرياضيات بمقدار 15 نقطة مقارنة بالطريقة القياسية.
لغة أفضل: عندما كتب الذكاء الاصطناعي قصصاً أو أجاب على أسئلة، ارتكب أخطاء أقل. انخفضت "الحيرة" (Perplexity - وهو مقياس لمدى ارتباك الذكاء الاصطناي)، مما يعني أن الذكاء الاصطناعي أصبح يبدو أكثر طبيعية وبشرية.
السرعة: الجزء الأفضل؟ عملية "البحث" هذه سريعة جداً لدرجة أنها لا تبطئ الكمبيوتر تقريباً. الأمر يشبه التحقق من ثلاث طرق مختلفة لربط حذائك؛ يستغرق الأمر جزءاً من الثانية ولكنه يضمن عدم تعثرك لاحقاً. يعمل النظام بـ 98% من سرعة الطريقة القياسية.

الملخص

تقول الورقة البحثية: "لا تكتفِ بالتخمين حول كيفية تصغير بياناتك بناءً على القطعة الأكبر فقط. خذ لحظة وجيزة للتحقق من بعض الخيارات القريبة، وستحصل على نتيجة أكثر وضوحاً ودقة مع عدم وجود عقوبة في السرعة تقريباً".

يطلقون على هذا اسم ScaleSearch، وعند تطبيقه على ذاكرة الذكاء الاصطناعي، يطلقون عليه ScaleSearchAttention. إنه يجعل نماذج الذكاء الاصطناعي أكثر ذكاءً وكفاءة دون الحاجة إلى أجهزة جديدة.

ملخص تقني: ابحث عن مقاييس النقطة العائمة الكتلية الخاصة بك!

بيان المشكلة

يعد التكميم (Quantization) تقنية قياسية لتسريع استنتاج النماذج التوليدية، ومع ذلك، يظل الحفاظ على الدقة عند عرض نطاق بتات منخفض للغاية تحديًا. وبينما توفر تنسيقات النقطة العائمة الكتلية (Block Floating Point - BFP) توازنًا بين نطاق الديناميكية، وكفاءة الذاكرة، والإنتاجية، تعتمد خوارزميات BFP القياسية على مقياس ثابت يتم تحديده بواسطة القيمة المطلقة القصوى داخل الكتلة. يلاحظ المؤلفون أن هذه الاستراتيجية المعتمدة على "المقياس الأقصى" (max-scaling) غالبًا ما تكون غير مثالية، مما يؤدي إلى أخطاء تكميم غير ضرورية. وتبرز أهمية هذه المشكلة بشكل خاص مع ظهور بنية NVIDIA Blackwell، التي تقدم دعمًا عتاديًا لتنسيقات BFP ذات المقياس الدقيق (microscaling) مثل NVFP4. وخلافًا لـ BFP التقليدي، يتضمن NVFP4 بتات مانتيسا (mantissa bits) ضمن مقياس الكتلة ذو الـ 8 بت (تنسيق E4M3)، مما يوفر دقة أدق لاختيار المقياس تفشل استراتيجية "المقياس الأقصى" القياسية في استغلالها.

المنهجية

ScaleSearch (البحث عن المقياس)

المساهمة الجوهرية هي ScaleSearch، وهي خوارزمية تستفيد من بتات المانتيسا في تنسيقات المقياس الدقيق لإجراء بحث دقيق عن المقياس الأمثل.

الآلية: بدلاً من اختيار المقياس بجمود بناءً على القيمة القصوى للكتلة ( $s = \text{round}(\|x\|_\infty / 6.0)$ )، تقوم ScaleSearch باستكشاف نطاق مجاور من المقاييس حول هذه القيمة الافتراضية. وهي تعامل المقياس كإزاحة صحيحة $f$ تُطبق على التمثيل البتي للمقياس الافتراضي: $s(f) = \text{reinterpret}(\text{reinterpret}(s, \text{int8}) + f, \text{fp8}_{UE4M3})$ .
استراتيجية البحث: تستكشف الخوارزمية بشكل شامل نطاقًا صغيرًا من الإزاحات (على سبيل المثال، $f \in [-2, 6]$ ) للعثور على المقياس الذي يقلل من متوسط مربع الخطأ (MSE) لتوزيع الكتلة المعطى.
الأساس المنطقي: يكشف التحليل التجريبي على كل من البيانات الغاوسية الاصطناعية وتنشيطات الشبكة العصبية الحقيقية (مثل حالات Key في Llama 3.1) عن توزيع ثنائي النمط للإزاحات المثلى. فبينما يقوم المقياس الافتراضي (الإزاحة 0) بربط أكبر قدر مطلق بالقيمة 6 في FP4، فإن جزءًا كبيرًا من الكتل يتم تمثيله بشكل أفضل عبر ربط أكبر قدر مطلق بالقيمة 4، مما يتطلب عامل مقياس أكبر بنحو 1.5 مرة. تحدد ScaleSearch هذه التعيينات المثلى.

ScaleSearchAttention

لتوسيع هذه الفوائد لتشمل آلية الانتباه وذاكرة KV cache، يقترح المؤلفون ScaleSearchAttention، وهو خوارزمية انتباه FP4 شاملة (end-to-end) مصممة للنماذج اللغوية السببية تتجنب أعباء إعادة التكميم.

تنفيذ NVFP4 الأصلي: تقوم بإجراء عمليات ضرب المصفوفات QKT و PV مباشرة على Tensor Cores باستخدام دقة NVFP4 مع تراكم FP32.
معالجة عدم الاتساق (IP) وتقليل القدر (Magnitude Reduction): للتخفيف من القيم المتطرفة وتقليل خطأ التكميم في ت tensors Q و K، تستخدم الطريقة تحويلات هادامارد (Hadamard transforms) (بناءً على QuIP#) وزوج تحويل خطي إضافي ( $Q' = QR^{-T}, K' = KR$ ) يحافظ على درجات الانتباه مع تقليل متوسط مربع القدر للمصفوفات المسقطة.
التخزين المؤقت المعتمد على دقة الانتباه (Attention-Sink-Aware Mixed-Precision Caching): إدراكًا منها بأن درجات الانتباه تتركز على الرموز الأولية والحديثة (Attention Sink)، تقوم الطريقة بتخزين الكتل الأولى والأخيرة من ذاكرة KV cache بدقة كاملة، بينما يتم تخزين الكتل المتوسطة بتنسيق NVFP4 المضغوط. يضمن ذلك دقة عالية للرموز الحرجة دون زيادة استهلاك الذاكرة مع طول التسلسل.

المساهمات الرئيسية

خوارزمية ScaleSearch: تقنية للبحث عن المقياس في تكميم النقطة العائمة الكتلية تعمل على تقليل خطأ التكميم لكل كتلة من خلال استكشاف المقاييس المجاورة الممثلة. وهي تستغل تحديدًا دقة المانتيسا في تنسيق مقياس NVFP4 E4M3.
ScaleSearchAttention: آلية انتباه FP4 محسنة بشكل مشترك تتيح الاستنتاج الشامل مع تدهور يقترب من الصفر في الدقة. وهي تدمج ScaleSearch، ومعالجة عدم الاتساق، والتخزين المؤقت مختلط الدقة لآلية الانتباه لتنفيذ عمليات QKT و PV مباشرة في NVFP4 على Tensor Cores.
التحقق التجريبي: تجارب واسعة النطاق تظهر مكاسب متسقة في الارتياب (perplexity) ودقة الاختبارات مقارنة بالنماذج المرجعية لـ FP4 (مثل SageAttention3 و Naive-FP4) عبر النماذج اللغوية الكبيرة ونماذج الانتشار.

النتائج التجريبية

التكميم بعد التدريب (PTQ)

النماذج اللغوية: في نموذج Qwen3-8B، حسنت ScaleSearch الأداء بمقدار يصل إلى 15 نقطة في اختبار MATH-500 مقارنة بتكميم NVFP4 القياسي. كما سدت الفجوة بشكل كبير في اختبارات GPQA و MMLU.
نماذج الانتشار: عند تطبيقها على نماذج Mochi و CogVideoX باستخدام SageAttention3، حسنت ScaleSearch مقاييس VQA-a و VQA-t و FScore مع مطابقة درجات المحاذاة ذات الدقة الكاملة (CLIPSIM, CLIP-T).

الانتباه والارتياب (Perplexity)

الارتياب (Wikitext-2): خفضت ScaleSearchAttention الارتياب بنسبة تصل إلى 22% لنموذج Llama 3.1 70B مقارنة بتكميم FP4 العادي. وبالنسبة لـ Llama 3.1 70B، حققت ارتيابًا قدره 2.6348، وهو تحسن كبير عن SageAttention3 (3.3899) و Naive-FP4 (3.4000).
GPQA Diamond: في نموذج Llama 3.1 8B Instruct، حققت ScaleSearchAttention دقة بلغت 32.32%، متفوقة على SageAttention3 (26.26%) ومطابقة للنموذج المرجعي ذي الدقة الكاملة (31.81%).

الكفاءة والأعباء

عبء التكميم: تفرض ScaleSearch عبئًا ضئيلاً قدره 1.74x خلال مرحلة التكميم من FP32 إلى NVFP4 (0.0449 مللي ثانية مقابل 0.0258 مللي ثانية للنموذج المرجعي) لنطاق بحث محدود.
الإنتاجية: في نوى الانتباه (attention kernels)، تحقق ScaleSearch نسبة 98.3% من إنتاجية النموذج المرجعي (SageAttention3) للانتباه غير السببي عند أطوال تسلسل تبلغ 32K، مما يظهر تأثيرًا ضئيلاً على وقت التشغيل.
زمن الاستجابة (Latency): زاد زمن الاستجداء النهائي لتوليد النص إلى فيديو بشكل طفيف فقط (على سبيل المثال، من 353.40 ثانية إلى 364.68 ثانية لنموذج Mochi)، مما يؤكد عملية الطريقة لأعباء العمل الواقعية.

الأهمية

يزعم البحث أن ScaleSearch تعالج عدم المثالية الجوهري في استراتيجيات قياس BFP القياسية من خلال استخدام بتات المانتيسا التي لم تكن مستغلة سابقًا في تنسيقات المقياس الدقيق. ومن خلال البحث المنهجي عن المقياس الأمثل بدلاً من الاعتماد على قيمة قصوى تقريبية، تقلل الطريقة بشكل كبير من خطأ التكميم. وتوضح مقدمة ScaleSearchAttention أن هذه المكاسب يمكن توسيعها لتشمل آلية الانتباه المستهلكة للذاكرة والحوسبة، مما يسمح باستنتاج عالي الإنتاجية ومنخفض الدقة مع فقدان يقترب من الصفر في الدقة. ويضع المؤلفون هذا العمل كخطوة نحو الاستغلال الكامل لقدرات العتاد الناشئة ذات الـ 4 بت (مثل NVIDIA Blackwell) من أجل الذكاء الاصط์ناعي التوليدي الفعال.