🤖 machine learning

AdaSplash-2: Faster Differentiable Sparse Attention

يقدم AdaSplash-2 تهيئة جديدة تعتمد على المدرج التكراري وتنفيذًا لوحدة معالجة الرسومات مدركًا للتناثر لتسريع انتباه $\alpha$ -entmax بشكل جذري، مما يتيح سرعات تدريب مقاربة لـ FlashAttention-2 عند مستويات التناثر المتوسطة إلى العالية مع تحقيق أداء فائق في إعدادات السياق الطويل.

المؤلفون الأصليون: Nuno Gonçalves, Hugo Pitorro, Vlad Niculae, Edoardo Ponti, Lei Li, Andre Martins, Marcos Treviso

نُشر 2026-04-17

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Nuno Gonçalves, Hugo Pitorro, Vlad Niculae, Edoardo Ponti, Lei Li, Andre Martins, Marcos Treviso

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تدير مكتبة ضخمة (نموذج ذكاء اصطناعي من نوع Transformer) حيث يتعين على كل كتاب (كلمة في جملة) قراءة كل الكتب الأخرى لفهم السياق.

في المكتبة التقليدية، يعد هذا كابوساً. إذا كان لديك 1,000 كتاب، فسيتعين عليك قراءة 1,000,000 من الروابط الثنائية. وإذا كان لديك 100,000 كتاب، فإن عدد الروابط سينفجر ليصل إلى 10 مليارات. هذه هي العقبة التربيعية (Quadratic Bottleneck) التي تبطئ نماذج الذكاء الاصطناٍ الحديثة عندما تحاول قراءة المستندات الطويلة.

لحل هذه المشكلة، اخترع الباحثون الانتباه المتفرق (Sparse Attention). فبدلاً من قراءة كل كتاب، يتعلم الذكاء الاصطناعي تجاهل الكتب غير ذات الصلة والتركيز فقط على الكتب المهمة. هذا يشبه أمين مكتبة يسحب فقط أهم 5 كتب ذات صلة للاستعلام، متجاهلاً البقية.

ومع ذلك، كانت هناك مشكلة. "خوارزمية أمين المكتبة الذكي" التي كانوا يستخدمونها (تسمى $\alpha$ -entmax) كانت بطيئة جداً في تحديد أي الكتب يجب اختيارها. فقد تطلبت الكثير من الحسابات المعقدة، مثل أمين مكتبة يحاول حساب الاحتمالية المثالية لكل كتاب قبل أن يقرر ما الذي سيتجاهله. كانت هذه العملية الحسابية بطيئة لدرجة أنها ألغت المكاسب في السرعة الناتجة عن تجاهل الكتب.

إليك ADASPLASH-2: "أمين المكتبة فائق السرعة".

تقدم هذه الورقة البحثية طريقة جديدة وأسرع لتشغيل خوارزمية أمين المكتبة الذكي. وإليك كيف تعمل، باستخدام بعض التشبيهات من الحياة اليومية:

1. المشكلة: "لعبة التخمين"

لتحديد الكتب التي يجب تجاهلها، تحتاج الخوارزمية إلى إيجاد "درجة قطع" محددة (تسمى $\tau$ ).

الطريقة القديمة: تخيل أنك تحاول إيجاد درجة الحرارة الدقيقة التي يغلي عندها الماء. عليك الاستمرار في التخمين، والتحقق، وتعديل تخمينك مراراً وتكراراً. هذا يستغك وقتاً طويلاً.
المشكلة: في النسخة السابقة (ADASPLASH)، كان على الكمبيوتر مسح قائمة الدرجات بالكامل عدة مرات للعثور على نقطة القطع هذه. كانت دقيقة ولكنها بطيئة.

2. الحل: "اختصار المدرج التكراري" (The Histogram Shortcut)

ابتكر مؤلفو ADASPLASH-2 خدعة بارعة: المدرج التكراري (Histogram).

بدلاً من النظر في كل درجة على حدة، تخيل أن لديك دلواً ضخماً يحتوي على 100 فتحة (Bins).

بينما يقوم الكمبيوتر بمسح الدرجات، فإنه لا يخزن الأرقام الدقيقة. بدلاً من ذلك، يقوم فقط بإسقاط كرة في الفتحة التي تطابق نطاق الدرجة.
السحر: بحلول الوقت الذي ينتهي فيه من المسح، يكون قد أنشأ "خريطة" سريعة (مدرج تكراري) توضح أين تتجمع جميع الدرجات.
النتيجة: تمنح هذه الخريطة الكمبيوتر تخميناً جيداً جداً لدرجة القطع على الفور. الأمر يشبه النظر إلى توزيع الكرات وقول: "حسناً، نقطة الغليان تقع بالتأكيد بين 90 و95 درجة"، دون الحاجة إلى قياس كل قطرة ماء على حدة.

ولأن هذه "الخريطة" تُبنى فوراً في الذاكرة الداخلية فائقة السرعة للكمبيوتر (SRAM)، فإن الخوارزمية تحتاج فقط إلى تحقق أو اثنين سريعي التنفيذ للعثور على الإجابة الدقيقة، بدلاً من عشرات المرات.

3. خدعة "تخطي الصناديق الفارغة"

بمجرد أن يعرف الكمبيوتر نقطة القطع، فإنه يعرف أي الكتب (أو كتل البيانات) غير ذات صلة.

الطريقة القديمة: كان الكمبيوتر سيظل يمر بجانب الأرفف الفارغة، ويفحصها، ثم يدرك أنها فارغة، ثم يكمل طريقه. هذا يهدر الوقود (الطاقة والوقت).
الطريقة الجديدة: يستخدم ADASPLASH-2 قناعاً مضغوطاً بالبتات (Bit-packed mask). فكر في هذا كقائمة مراجعة عالية الكفاءة حيث يخبر الرقم "1" أو "0" الكمبيوتر بالضبط أي الأرفف يجب زيارتها. إذا كان الرف فارغاً، فإن الكمبيوتر يتخطى عملية القيادة إلى ذلك الرف تماماً، ولا يقوم حتى بتحميل البيانات في الذاكرة.

لماذا يهم هذا الأمر؟

السرعة: في المواقف التي يقرأ فيها الذك الذكاء الاصطناٍ مستندات طويلة جداً (مثل رواية كاملة أو عقد قانوني)، أصبح "أمين المكتبة الذكي" (ADASPLASH-2) الآن أسرع من "أمين المكتبة الغبي" القياسي (FlashAttention-2) الذي يقرأ كل شيء.
سياق أطول وأذكى: لأن الذكاء الاصطناعي يمكنه التعامل مع النصوص الطويلة بكفاءة أكبر دون أن يتعثر في العمليات الحسابية، فإنه يصبح في الواقع أكثر ذكاءً في المهام الطويلة. فهو يتوقف عن الارتباك بسبب التفاصيل غير ذات الصلة ويركز على القصة.
لا توجد مقايضة: عادةً ما تجعل عملية تسريع الأشياء الأمور أقل دقة. ولكن هنا، الطريقة الجديدة فعالة للغاية لدرجة أن الذكاء الاصطناعي يعمل بنفس الكفاءة (أو بشكل أفضل) في المهام القصيرة، وبشكل أفضل بك كثيراً في المهام الطويلة.

الخلاصة

ADASPLASH-2 هو بمثابة ترقية لأمين المكتبة من شخص يقرأ كل صفحة من كل كتاب للعثات الإجابة، إلى مساعد فائق الذكاء يقوم بـ:

مسح سريع لظهور الكتب لإعطاء تخمين تقريبي (المدرج التكراري).
معرفة الكتب التي يجب سحبها من الرف بدقة فورية.
تجاهل الأرفف الفارغة تماماً.

هذا يسمح لنماذج الذكاء الاصطناعي بقراءة كتب أطول، وفهم قصص معقدة، والقيام بكل ذلك في طرفة عين.

إليك ملخص تقني مفصل لورقة البحث "ADASPLASH-2: Faster Differentiable Sparse Attention".

1. بيان المشكلة

تواجه نماذج المحولات (Transformers) اختناقاً حوسبياً بسبب التعقيد الزمني والمكاني التربيعي لآلية الانتباه الذاتي ( $O(n^2)$ )، لا سيما في سيناريوهات السياق الطويل. وبينما قامت FlashAttention (والأجيال اللاحقة منها) بتحسين آلية softmax القياسية عبر دمج العمليات والاستفادة من الذاكرة على الشريحة، إلا أن الـ softmax تظل بطبيعتها كثيفة (حيث يتلقى كل رمز احتمالية غير صفرية). وتتسبب هذه الكثافة في تشتت كتلة الانتباه عبر رموز غير ذات صلة في السياقات الطويلة، مما يؤدي إلى انهيار التمثيل وضعف التعميم.

تعد آلية $\alpha$ -entmax attention بديلاً واعداً لأنها تنتج مخرجات متفرقة تعتمد على المدخلات (أصفار دقيقة) مع بقائها قابلة للاشتقاق. ومع ذلك، فإن حساب ثابت التطبيع ( $\tau$ ) لـ $\alpha$ -entmax يتطلب طرقاً تكرارية لإيجاد الجذور (على عكس صيغة log-sum-exp المغلقة لـ softmax). وقد عانت المحاولات السابقة لتنفيذها على وحدات معالجة الرسومات (مثل ADASPLASH) من أعباء حوسبية عالية بسبب الدورات المتعددة المطلوبة للتقارب حول قيمة $\tau$ ، مما منعها من مضاهاة سرعة نوى (kernels) الـ softmax المحسنة مثل FlashAttention-2.

2. المنهجية: ADASPLASH-2

يقترح المؤلفون ADASPLASH-2، وهو خوارزمية مدركة للأجهزة (hardware-aware) تقلل بشكل جذري من تكلفة حساب مُطبع $\alpha$ -entmax (المسمى $\tau$ ) من خلال الاستفادة من ذاكرة SRAM على الشريحة والتهيئة القائمة على المدرج التكراري (Histogram-based initialization).

الابتكارات الجوهرية

التهيئة بالمدرج التكراري على الشريحة:
- بدلاً من التكرار فوق الدرجات الخام لإيجاد $\tau$ ، تقوم الخوارزمية بتمرير درجات الانتباه عبر ذاكرة SRAM الموجودة على الشريحة.
- تقوم ببناء مدرج تكراري (Histogram) مضغوط للدرجات (مقسمة إلى $B$ من الفئات/Bins) بالكامل داخل SRAM. يمثل هذا المدرج توزيع الدرجات دون الحاجة لتجسيد مصفوفات كثيفة وسيطة.
- الضمان النظري: يثبت المؤلفون أن حل $\tau$ على هذا المدرج التكراري يعطي حداً أدنى مؤكداً ( $\tau_h \leq \tau^*$ ) للمُطبع الحقيقي. وهذا يوفر تقديراً أولياً عالي الجودة.
التقارب السريع (1–2 دورة):
- نظرًا لأن التهيئة بالمدرج التكراري قريبة للغاية من الجذر الحقيقي، فإن المحلل الهجين (الذي يجمع بين طرق Halley وNewton وSecant اعتماداً على قيمة $\alpha$ ) يتقارب نحو الحل الدقيق عادةً في دورة واحدة أو دورتين فقط.
- يتناقض هذا مع الطرق السابقة التي كانت تتطلب دورات عديدة، مما يحول مشكلة متعددة الدورات إلى عملية تقترب من الدورة الواحدة.
تنفيذ متفرق (Sparsity-Aware) على وحدة معالجة الرسومات:
- قناع الكتل المعبأ بالبتات (Bit-Packed Block Masking): خلال مرحلة الصقل، تنشئ الخوارمة قناعاً ثنائياً يشير إلى كتل مصفوفة الانتباه التي تحتوي على أوزان غير صفرية. يتم تخزين هذا القناع باستخدام التعبئة بالبتات (32 كتلة لكل int32) لتقليل عبء الذاكرة.
- التنقل الفعال: تستخدم مرحلة التمرير الخلفي (backward pass) وحساب المخرجات النهائي تعليمات GPU الأصلية (fns - البحث عن العنصر التالي، popc - حساب عدد البتات المفعلة) للتنقل عبر الكتل غير الصفرية فقط، وتخطي الكتل الصفرية بهامش خطأ ضئيل.
استراتيجية المحلل الهجين:
- تشتق الورقة خصائص النعومة لدالة $\alpha$ $α$ -entmax لاختيار خطوة البحث عن الجذر المثلى:
  - $\alpha \leq 1.5$ : تستخدم طريقة Halley (تستخدم المشتق الثاني).
  - $1.5 < \alpha \leq 2$ : تستخدم طريقة Newton (تستخدم المشتق الأول).
  - $\alpha > 2$ : تستخدم طريقة Secant.
- كما يوجد نظام حماية احتياطي (fallback) يعتمد على طريقة التنصيف (bisection) لضمان الاستقرار إذا خرجت خطوة التحديث عن الحدود الصالحة.

3. المساهمات الرئيسية

الكفاءة الخوارزمية: تقديم تهيئة قائمة على المدرج التكراري تقلل عدد دورات حساب $\tau$ من عدة دورات إلى دورة أو دورتين عادةً، مما يسمح لـ $\alpha$ -entmax بمنافسة softmax في السرعة.
تحسين الأجهزة: تصميم نواة Triton تستغل هرميات ذاكرة وحدة معالجة الرسومات (HBM $\to$ SRAM) وهياكل البيانات المعبأة بالبتات للتعامل مع التفرع الديناميكي بكفاءة.
الضمانات النظرية: تقديم براهين لخاصية الحد الأدنى للمدرج التكراري واستمرارية المشتقات لقيم $\alpha$ المختلفة، مما يضمن استقرار المحلل الهجين.
طفرة في الأداء: إثبات أن ADASPLASH-2 تضاهي أو تتجاوز FlashAttention-2 في إنتاجية التدريب عندما يكون التفرع (block sparsity) متوسطاً إلى عالياً (>60%)، وهي حالة شائعة في تدريب السياقات الطويلة.

4. النتائج التجريبية

قيم المؤلفون ADASPLASH-2 على اختبارات قياسية اصطناعية، ومهام نمذجة اللغة، وتقييمات السياق الطويل.

كفاءة وقت التشغيل:
- التفرع المتوسط إلى العالي: في الأنظمة التي تزيد فيها نسبة التفرع عن 60%، تتفوق ADASPLASH-2 على كل من تنفيذات CUDA وTriton لـ FlashAttention-2.
- التسريع: عند التفرع العالي، تحقق تسريعاً يزيد عن ضعفين (>2x) مقارنة بـ FlashAttention-2.
- التمرير الخلفي (Backward Pass): تشهد مرحلة التمرير الخلفي أكبر المكاسب لأن التنقل المدرك للتفرع يتخطى الكتل الصفرية، مما يعوض التكلفة الأعلى قليلاً لعملية تطبيع المرحلة الأمامية.
نمذجة اللغة (نماذج تعتمد على LLaMA-3):
- السياق الطويل (RULER & HELMET): النماذج المدربة باستخدام $\alpha$ -entmax (وتحديداً مع ترميز التموضع NAPE) تتفوق بشكل كبير على نماذج softmax المرجعية في مهام السياق الطويل (تصل إلى 32 ألف رمز). وتظهر مكاسب جوهرية في تتبع المتغيرات (Variable Tracking) واستخراج الكلمات (Word Extraction)، وهي مهام تتطلب انتباهاً دقيقاً لنطاقات محددة.
- السياق القصير: النماذج المدربة باستخدام ADASPLASH-2 تضاهي أو تحسن قليلاً من نماذج softmax المرجعية في الاختبارات القياسية ذات السياق القصير (مثل ARC، CSQA، LAMBADA)، مما يثبت أن التفرع لا يضعف الأداء في الأنظمة الكثيفة.
- التعلم داخل السياق (ICL): يُظهر نموذج $\alpha$ -entmax + NAPE أداءً فائقاً في التعلم من أمثلة قليلة (few-shot) مع زيادة طول السياق، مما يشير إلى أن التفرع يساعد النموذج على التركيز على الأمثلة ذات الصلة داخل السياق.

5. الأهمية والأثر

القابلية للتوسع: يزيل ADASPLASH-2 عائقاً رئيسياً أمام تدريب آليات الانتباه المتفرقة على نطاق واسع. فهو يسمح للباحثين باستخدام المزايا النظرية لـ $\alpha$ -entmax (التفرع الديناميكي، وتحسين التعميم في السياق الطويل) دون التضحية بسرعة التدريب.
حلول السياق الطويل: من خلال تمكين التدريب الفعال للانتباه المتفرق، يقدم هذا العمل مساراً عملياً لحل مشكلة "تشتت الانتباه" في النماذج اللغوية الكبيرة، حيث تفشل softmax في التمييز بين الرموز ذات الصلة في التسلسلات الطويلة جداً.
التصميم المشترك مع الأجهزة (Hardware Co-Design): تعمل هذه الورقة كنموذج لتصميم نوى الانتباه التي ليست سليمة خوارزمياً فحسب، بل محسنة خصيصاً لهياكل ذاكرة GPU الحديثة (استخدام SRAM، التعبئة بالبتات، والتوازي على مستوى التعليمات).

باختصار، نجحت ADASPLASH-2 في سد الفجوة بين المزايا النظرية للانتباه المتفرق والقابل للاشتقاق وبين المتطلبات العملية لتدريب وحدات معالجة الرسومات عالية الأداء، مما يجعلها بديلاً قابلاً للتطبيق لـ softmax في تدريب المحولات ذات السياق الطويل.