💬 NLP

DashAttention: Differentiable and Adaptive Sparse Hierarchical Attention

يقدم DashAttention آلية انتباه هرمية متفرقة، تكيفية وكاملة القابلية للتفاضل باستخدام $\alpha$ -entmax لاختيار أعداد متغيرة من كتل الـ KV ديناميكيًا، مما يحقق دقة فائقة في نمذجة السياقات الطويلة وسرعة استنتاج أعلى مقارنة بالطرق الحالية مثل NSA وInfLLMv2.

المؤلفون الأصليون: Yuxiang Huang, Nuno M. T. Gonçalves, Federico Alvetreti, Lei Li, Xu Han, Edoardo M. Ponti, André F. T. Martins, Marcos V. Treviso

نُشر 2026-05-19

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yuxiang Huang, Nuno M. T. Gonçalves, Federico Alvetreti, Lei Li, Xu Han, Edoardo M. Ponti, André F. T. Martins, Marcos V. Treviso

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول قراءة موسوعة ضخمة مكونة من 100,000 صفحة للإجابة على سؤال واحد.

المشكلة: معضلة "الكل" مقابل "أفضل K"
تتعامل نماذج الذكاء الاصطناعي الحالية (نماذج اللغات الكبيرة) مع هذا الأمر بطريقتين، وكلتاهما تشوبهما العيوب:

نهج "قراءة كل شيء" (الانتباه الكامل - Full Attention): يحاول النموذج قراءة كل كلمة في الموسوعة للعثور على الإجابة. هذا النهج دقيق ولكنه بطيء ومكلف للغاية، مثل محاولة قراءة الكتاب بأكمله لمجرد العثور على وصفة واحدة.
نهج "اختيار أفضل 5" (الانتباه المتفرق Top-K Sparse Attention): يقوم النموذج بمسح سريع لجدول المحتويات، ويختار أهم 5 فصول يعتقد أنها ذات صلة، ويتجاهل الباقي. هذا النهج سريع، لكنه جامد. ماذا لو كانت الإجابة موجودة بالفعل في الفصل السادس؟ أو ماذا لو تطلب الأمر قراءة 20 صفحة مختلفة ومبعثرة؟ كما أنه بمجرد اختيار تلك الفصول الخمسة، لا يمكن للنموذج "التعلم" من الفصول التي تجاهلها، مما يجعل عملية التدريب متعثرة.

الحل: DashAttention
يقترح مؤلفو هذه الورقة طريقة جديدة تسمى DashAttention. فكر في DashAttention كأمين مكتبة ذكي ومتكيف، لا يكتفي فقط باختيار عدد ثابت من الكتب، بل يقرر كم عدد الكتب التي سيستخرجها بناءً على مدى تعقيد السؤال.

إليك كيف يعمل DashAttention، مقسماً إلى ثلاث مراحل باستخدام تشبيه بسيط:

المرحلة 0: "ملخص الفصل" (تلخيص الكتل المحلية - Local Chunk Summarization)

بدلاً من النظر في كل كلمة فوراً، يقوم النموذج أولاً بتقسيم النص الضخم إلى "كتل" صغيرة (مثل الفصول).

الطريقة القديمة: كانت تعتمد فقط على أخذ متوسط جميع الكلمات في الفصل (مثل القول: "هذا الفصل يدور غالبط حول القطط").
طريقة DashAttention: يستخدم "قارئاً" صغيراً ومتعلماً لمسح الفصل وكتابة ملخص ذكي ودقيق. إنه يشبه أمين مكتبة بشري يقرأ فصلاً ويكتب ملخصاً من جملتين يجسد جوهر المحتوى، وليس مجرد المتوسط. والأهم من ذلك، أن هذا الملخص مرن؛ فإذا بدأ النموذج في التدريب، فإنه يتعلم كتابة ملخصات أفضل بمرور الوقت.

المرحلة 1: "الحارس المتكيف" (توجيه Entmax)

الآن، أصبح لدى النموذج قائمة بملخصات الفصول. عليه أن يقرر أي الفصول سيقرأها بالتفصيل.

الطريقة القديمة (Top-K): يتبع النموذج قاعدة صارمة: "اختر دائماً 5 فصول بالضبط". إذا كان السؤال بسيطاً، فإنه يضيع الوقت في قراءة 5 فصول. وإذا كان السؤال صعباً، فإنه يفقد معلومات مهمة لأنه مقيد بـ 5 فصول فقط.
طريقة DashAttention: يستخدم النموذج أداة رياضية خاصة تسمى $\alpha$ -entmax. تخيل حارساً ينظر إلى السؤال والملخصات.
- إذا كان السؤال بسيطاً ("ما هي عاصمة فرنسا؟")، يقول الحارس: "مطلوب فصل واحد فقط"، ويغلق الأبواب أمام البقية.
- إذا كان السؤال معقداً ("تتبع تاريخ طرق التجارة عبر ثلاث قارات")، يقول الحارس: "حسناً، نحتاج إلى 15 فصلاً"، ويفتح البوابة على مصراعيها.
- السر السحري: هذا الحارس "قابل للتفاضل" (Differentiable). وهذا يعني أن النموذج يمكنه تعلم كيف يكون حارساً أفضل. إذا اختار الفصول الخاطئة أثناء التدريب، فإنه يتلقى إشارة لتعديل استراتيجية الحراسة الخاصة به. إنه ليس مفتاح تشغيل/إيقاف حاد (نعم/لا)، بل هو قرص دوار سلس وقابل للتعلم.

المرحلة 2: "الغوص العميق" (Softmax المستحث بالأولوية - Prior-Induced Sparse Softmax)

أخيراً، يقرأ النموذج الفصول المحددة التي اختارها الحارس.

يأخذ "الأصوات" من الحارس (المرحلة 1) ويستخدمها لتوجيه قراءة تفصيلية للنص المختار.
يضمن أنه على الرغم من تجاوزه لمعظم الكتاب، إلا أنه لا يفقد تسلسل القصة. فهو يسد الفجوات بحيث تكون الإجابة النهائية دقيقة تماماً كما لو كان قد قرأ الكتاب بأكمله، لكنه فعل ذلك بسرعة أكبر بكثير.

لماذا يعد هذا أفضل؟ (النتائج)

تزعم الورقة أن DashAttention يتفوق في ثلاثة مجالات رئيسية:

اختيار أذكى: على عكس قاعدة "أفضل 5" الجامدة، يتكيف DashAttention. فهو يبذل "جهداً ذهنياً" أكبر في الأسئلة الصعبة وأقل في الأسئلة السهلة. وهذا يجعله أفضل بكثير في العثور على "الإبر في كومة القش" (مهام الاسترجاع).
لا يوجد "تشتت": في النصوص الطويلة، غالباً ما تفقد نماذج الذكاء الاصطناعي القياسية تركيزها وتوزع انتباهها بشكل ضعيف، مثل شعاع كشاف يصبح واسعاً جداً لدرجة أنه لا يستطيع رؤية أي شيء بوضوح. DashAttention يحافظ على تركيز الشعاع، مما يضمن بقاء النموذج حاداً حتى مع كميات هائلة من النصوص.
السرعة: نظرًا لأنه يتخطى قراءة الأجزاء غير ذات الصلة، فهو سريع للغاية.
- قام المؤلفون ببناء نسخة متخصصة لشرائح الكمبيوتر (GPUs) تعمل أسرع بمقدار 3.36 مرة من المعيار الصناعي الحالي (FlashAttention-3) عند التعامل مع النصوص الطويلة جداً.
- يحقق نفس دقة قراءة الكتاب بأكمله، ولكنه يستخدم فقط 25% من قدرة الحوسبة (تشتت بنسبة 75%).

الملخص

DashAttention يشبه الترقية من أمين مكتبة مقيد بقواعد صارمة يختار دائماً 5 كتب، إلى مساعد ذكي ومتكيف يقرأ جدول المحتويات، ويقرر بالضبط عدد الفصول المطلوبة للسؤال المحدد، ثم يغوص بعمق فقط في تلك الفصول. إنه أسرع، وأذكى، ويتعلم بشكل أفضل من الطرق السابقة، مما يجعل من الممكن للذكاء الاصطناعي التعامل مع كميات هائلة من المعلومات دون أن يشعر بالإرهاق أو البطء.

ملخص تقني: DashAttention

بيان المشكلة

تعالج طرق الانتباه الهرمي الحالية، مثل NSA وInfLLMv2، الاختناقات الحسابية في نمذجة السياق الطويل من خلال اختيار أفضل $k$ من كتل المفاتيح والقيم (KV) ذات الصلة بناءً على درجات انتباه خشنة، يتبعها انتباه "softmax" دقيق على الرموز المختارة. ومع ذلك، تعاني هذه النهج من قيودتين رئيسيتين:

الميزانية الثابتة والافتقار إلى المرونة: تفترض عملية "top- $k$ " وجود عدد ثابت من الرموز ذات الصلة لأي استعلام (query)، مما يؤدي إلى الفشل في التكيف مع المتطلبات المعلوماتية المتباينة عبر الرموز، ورؤوس الانتباه، والطبقات.
عدم القابلية للاشتقاق: تؤدي عملية اختيار "top- $k$ " الصلبة إلى قطع تدفق التدرج (gradient flow) بين مرحلة التوجيه الخشنة ومرحلة الانتباه الدقيق على مستوى الرمز. وهذا يمنع النموذج من تعلم كيفية تعديل درجات التوجيه لتغيير عضوية الكتلة، مما يخلق انفصالاً بين الاختيار المتفرق والانتباه النهائي.
التشتت (Dispersion): تشير الأعمال النظرية الحديثة إلى أن انتباه "softmax" القياسي يمكن أن يكون "مشتتاً" في السياقات الطويلة، حيث تنمو إنتروبيا شانون لتوزيع الانتباه لوغاريتمياً مع طول التسلسل، مما يجعل نمذجة الاعتماد طويل المدى أمراً صعباً. وبينما يخفف "top- $k$ " من ذلك، فإن الأساليب الهرمية الحالية التي تجمع الرؤوس عبر "softmax" قبل الاختيار يمكن أن تعيد إدخال التشتت.

المنهجية: DashAttention

DashAttention (الانتباه الهرمي المتفرق والقابل للتكيف والاشتقاق) هو آلية متعددة المراحل مصممة لتكون قابلة للاشتقاق بالكامل ومتفرقة بشكل تكيفي. وهي تستبدل توجيه "top- $k$ " الصلب بتحويل $\alpha$ -entmax، مما يسمح للنموذج بتعلم عدد الكتل ذات الصلة ديناميكياً بناءً على المدخلات.

تتكون البنية من ثلاث مراحل:

المرحلة 0: تلخيص الكتل المحلية (Local Chunk Summarization)

يتم تقسيم السياق إلى كتل متصلة بحجم $B$ . وبدلاً من استخدام تجميع المتوسط البسيط أو MLP متعلم (والذي قد يصعب تكييفه من النماذج سابقة التدريب)، يستخدم DashAttention آلية انتباه محلية متعلمة. يقوم متجه استعلام $\bar{q}$ متعلم بالانتباه إلى المفاتيح داخل كل كتلة عبر انتباه الضرب النقطي المقياس المحلي (SDPA).

التهيئة: يتم تهيئة $\bar{q}$ عند الصفر، مما يجعل الآلية تتصرف كـ "تجميع متوسط منتظم" في بداية التدريب.
التكيف: مع تقدم التدريب، يتعلم $\bar{q}$ وزن الرموز داخل الكتلة، مما يخلق ملخصات أكثر تعبيراً.
الكفاءة: بمجرد توليد الكتلة بالكامل، يصبح ملخصها ثابتاً ويتم تخزينه مؤقتاً (cached)، مما يضمن عدم إعادة الحساب أثناء الاستنتاج.

المرحلة 1: توجيه الكتل باستخدام Entmax

لكل استعلام، يحسب النموذج الدرجات (logits) مقابل ملخصات الكتل. بدلاً من تطبيق تقليص "top- $k$ ", يتم تحويل هذه الدرجات باستخدام $\alpha$ -entmax:
$\hat{w} = \alpha\text{-entmax}(\gamma \bar{z})$

التفرق التكيفي: ينتج $\alpha$ -entmax ناقل احتمالية متفرق حيث يتم تحديد عدد العناصر غير الصفرية (الدعم/support) بواسطة درجات المدخلات نفسها، وليس بواسطة معلم ثابت.
القابلية للاشتقاق: على عكس "top- $k$ ", فإن $\alpha$ -entmax قابل للاشتقاق بالكامل. وهذا يسم يسمح للتدرجات بالتدفق عائدة عبر قرار التوجيه إلى مرحلة تلخيص الكتلة (المرحلة 0).
التعامل مع GQA: في إعدادات انتباه الاستعلام المجموع (GQA)، يتم حساب متوسط احتمالات التوجيه لرؤوس الاستعلام التي تشترك في رأس KV واحد لإنتاج دعم متفرق مشترك.

المرحلة 2: Softmax المتفرق المستحث بالسابقة (Prior-Induced Sparse Softmax)

تقوم المرحلة النهائية بتنقية الانتباه على مستوى الرمز ولكن فقط ضمن الكتل المختارة في المرحلة 1. وللحفاظ على القابلية للاشتقاق والتعامل مع الانتقال من التوجيه الخشن إلى الانتباه الدقيق، تقدم الطريقة "softmax مستحثة بالسابقة":

الصياغة التباينية: يُنظر إلى "softmax" القياسي على أنه تعظيم لـ $z^\top p - KL(p \| u)$ . يقوم DashAttention بتعديل التوزيع المرجعي $u$ إلى توزيع $g$ مشتق من درجات التوجيه $w$ من المرحلة 1.
القناع الديناميكي: من خلال بناء $g$ بحيث تكون $g_{i,j} = 0$ كلما كانت درجة التوجح $w_{i,j} = 0$ ، يصبح انتباه "softmax" الناتج متفرقاً بطبيعته. يتم حجب الكتل ذات الاحتمالية الصفرية فعلياً.
التعامل مع القطر: بالنسبة للكتل القريبة من القطر (التي قد لا تمتلك ملخصات)، يتم الحفاظ على فرع منفصل. يتحكم معلم فائق $\sigma$ في قوة السابقة (prior)، مما يسمح للنموذج بالموازنة بين الاعتماد على درجات التوجيه والأساس المنتظم.
التنفيذ: يتم تنفيذ هذه المرحلة باستخدام نواة (kernel) "FlashAttention" معدلة تمر عبر الكتل النشطة المحددة بقناع مضغوط (bit-packed mask)، مع إضافة انحياز التوجيه إلى الدرجات قبل عملية "softmax".

المساهمات الرئيسية

الانتباه الهرمي القابل للاشتقاق: يقدم DashAttention آلية انتباه متفرقة قابلة للاشتقاق من البداية إلى النهاية. ومن خلال استخدام $\alpha$ -entmax للتوجيه الخشن، فإنه يلغي حظر التدرج المتأصل في أساليب "top- $k$ ", مما يمكّن النموذج من تعلم أنماط التفرق المثلى.
تخصيص التفرق التكيفي: على عكس الأساليب ذات الميزانية الثابتة، يقوم DashAttention بتخصيص التفرق ديناميكياً عبر الرموز، والرؤوس، والطبقات. فالاستعلامات المعلوماتية يمكنها الانتباه إلى المزيد من الكتل، بينما تنتبه الاستعلامات الحادة إلى عدد أقل، مما يحسن ميزانية الحوسبة لكل حالة.
خاصية عدم التشتت: تثبت التحليلات النظرية أن استخدام DashAttention لـ $\alpha$ -entmax لتجميع الرؤوس يمنع ظاهرة التشتت الشائعة في انتباه "softmax" الهرمي، مما يحسن نظرياً قدرات نمذجة السياق الطويل.
تنفيذ فعال على وحدة معالجة الرسومات (GPU): يقدم المؤلفون تنفيذاً يعتمد على "Triton" مع ثلاث نوى مدمجة (واحدة لكل مرحلة). هذا التصميم متوافق مع مكتبات الانتباه الفعالة الحالية (مثل FlashAttention) ويدعم كل من مرحلة التعبئة المسبقة (prefill) والاستنتاج التدريجي (incremental decoding).

النتائج التجريبية

قيم المؤلفون DashAttention على نماذج MiniCPM-4 (بأحجام 1B و3B و8B بارامتر) مع سياق بطول 16K، مقارنة بـ Full Attention وNSA وInfLLMv2.

أداء المهام: في اختبارات RULER وHELMET، تفوق DashAttention باستمرار على NSA وInfLLMv2، خاصة في مهام استرجاع السياق الطويل الصعبة (مثل MK1–MK3). وعند تفرق بنسبة 75%، حقق دقة مماثلة لـ Full Attention.
التعميم: في المهام العامة ذات السياق القصير (MMLU، GSM8K، إلخ)، كان أداء DashAttention على قدم المساوايد مع نماذج Full Attention، مما أظهر عدم وجود تدهور كبير في القدرات العامة.
الكفاءة:
- التعبئة المسبقة (Prefill): حقق DashAttention تسريعاً يتراوح بين 1.34× إلى 3.09× مقارنة بـ FlashAttention-3.
- الاستنتاج (Decoding): في الأنظمة المقيدة بالذاكرة، حقق تسريعاً يصل إلى 3.36× مقارنة بـ FlashAttention-3 و1.35× مقارنة بـ InfLLMv2.
حد باريتو (Pareto Frontier): هيمن DashAttention على منحنى المقايضة بين الدقة والتفرق، حيث حافظ على دقة أعلى من النماذج المرجعية عند مستويات تفرق عالية (مثلاً ~90%).
السلوك الديناميكي: أكدت دراسات الاستئصال (Ablation studies) أن DashAttention يخصص طبيعياً تفرقاً أكبر للطبقات الوسطى وأقل للطبقات المبكرة، مما يحاكي استراتيجيات تخصيص الميزانية المثلى دون ضبط صريح.

الأهمية والادعاءات

يزعم البحث أن DashAttention يوفر استراتيجية فعالة من حيث التكلفة لنمذجة السياقات الطويلة من خلال توحيد فوائد الانتباه المتفرق (الكفاءة) والانتباه الكثيف (المرونة والقابلية للاشتقاق).

الميزة النظرية: يعالج مشكلة "التشتت" في نمذجة السياق الطويل من خلال ضمان بقاء آلية الانتباه غير مشتتة عبر تجميع $\alpha$ -entmax.
الميزة العملية: يسد الفجوة بين الانتباه المتفرق النظري والنشر العملي من خلال توفير طريقة قابلة للتدريب والاشتقاق بالكامل يمكن تكييفها من نماذج "softmax" سابقة التدريب دون تغيير هيكلي.
الأداء: يحقق الأسلوب حد باريتو متفوقاً، حيث يقدم دقة أفضل عند مستويات التفرق العالية مقارنة بالأسالهم الهرمية الحالية، بينما يوفر أيضاً سرعات استنتاج كبيرة.

يشير المؤلفون إلى قيد: لم يتم دمج النوى (kernels) بعد في أطر الخدمة الرئيسية مثل vLLM أو SGLang، وهو ما تم تحديده كعمل مستقبلي. كما اقترحوا إمكانيات توسيع لآليات النماذج الهجينة.