🤖 AI

S2O: Early Stopping for Sparse Attention via Online Permutation

تُعد S2O طريقة انتباه متناثرة مبتكرة تجمع بين التبديل عبر الإنترنت لتحميل الرموز غير المتجاورة ذات الأولوية العالية وبين آلية التوقف المبكر لتخطي الكتل منخفضة المساهمة ديناميكيًا، مما يقلل بشكل كبير من التكلفة الحسابية وزمن الاستجابة في استدلال السياق الطويل مع الحفاظ على الدقة.

المؤلفون الأصليون: Yu Zhang, Songwei Liu, Chenqian Yan, Sheng Lin, Beichen Ning, Fangmin Chen, Xing Wang

نُشر 2026-05-06

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yu Zhang, Songwei Liu, Chenqian Yan, Sheng Lin, Beichen Ning, Fangmin Chen, Xing Wang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول قراءة كتاب ضخم يتكون من 128,000 صفحة (سياق طويل جدًا) للإجابة على سؤال واحد. في عالم الذكاء الاصطناعي، هذا هو بالضبط ما تفعله النماذج اللغوية الكبيرة (LLM).

المشكلة هي أن نماذج الذكاء الاصطناعي التقليدية تحاول مقارنة كل صفحة بـ كل صفحة أخرى لإيجاد الروابط. هذا يشبه محاولة مقارنة كل كلمة في الكتاب بكل كلمة أخرى. ومع زيادة طول الكتاب، لا يزداد العمل المطلوب فحسب، بل ينفجر بشكل هائل. هذه هي "عنق الزجاجة التربيعية" المذكورة في الورقة البحثية.

لتسريع العملية، حاول المهندسون استخدام "الانتباه المتفرق" (Sparse Attention). تخيل أنك تقول للذكاء الاصطناعي: "لا تقرأ الكتاب بأكمله؛ اقرأ فقط الفصول التي تبدو مهمة". ومع ذلك، فإن الأساليب الحالية تشبه قراءة فصول كاملة دفعة واحدة. فحتى لو كان الفصل مملًا في معظمه، فإن الذكاء الاصطناعي يقرأ كل كلمة فيه بمجرد أن يقرر أن هذا الفصل "مهم". وهذا يترك الكثير من الجهد الضائع داخل تلك الفصول.

وهنا يأتي دور S2O (الانتباه المتفرق عبر الترتيب عبر الإنترنت - Sparse Attention via Online Permutation).

يقترح مؤلفو هذه الورقة طريقة أذكى لقراءة الكتاب. إليك كيف يسيرون في الأمر، باستخدام تشبيهات بسيطة:

1. "كتالوج المكتبة" مقابل "تحريك الكتب"

تخيل مكتبة حيث الكتب ثقيلة ويصعب تحريكها.

الأساليب القديمة (الترتيب غير المتصل/Offline Permutation): لكي تجد أفضل الكتب، تقوم فعليًا بنقل الكتب الأكثر أهمية إلى مقدمة الرف ووضع الكتب المملة في الخلف. يتطلب هذا وقتًا وجهدًا كبيرين لمجرد إعادة ترتيب الرفوف.
S2O (الترتيب عبر الإنترنت/Online Permutation): بدلاً من تحريك الكتب الثقيلة، تقوم بإنشاء بطاقة كتالوج صغيرة وخفيفة الوزن (قائمة من الأرقام). تخبر هذه البطاقة أمين المكتبة: "اذهب إلى الرف 5، ثم اقفز إلى الرف 102، ثم اذهب إلى الرف 4". أنت لا تحرك الكتب، بل تغير فقط الترتيب الذي تزور به الرفوف. هذا يسمى "الترتيب عبر الإنترنت". إنه سريع للغاية لأنك لا تقوم بتدوير بيانات ثقيلة، بل تقرأ مجرد قائمة تعليمات صغيرة.

2. اكتشاف "الخطوط" (The Stripe Discovery)

لاحظ الباحثون شيئًا مثيرًا للاهتمام حول كيفية "تفكير" الذكاء الاصطناعي. عندما تنظر إلى خريطة الانتباه الخاصة بالذكاء الاصطناعي (خريطة حرارية توضح ما يركز عليه)، فإنها لا تبدو ككتل صلبة من الأهمية. بدلاً من ذلك، تبدو مثل خطوط رفيعة.

المشكلة: الأساليب الحالية تقرأ في "كتل" (مثل قطعة مربعة من الصفحة). إذا كانت الكتلة تحتوي على خط رفيع من الأهمية، فإن الذكاء الاصطناعي لا يزال يقرأ الكتلة بأكملها، مما يهدر الوقت في المساحة الفارغة حول الخط.
حل S2O: بما أن S2O يستخدم "بطاقة الكتالوج" للقفز هنا وهناك، فإنه يستطيع اختيار الكلمات التي تشكل هذه الخطوط الرفيعة بدقة ويتجاهل المساحات الفارغة بينها. إنه يركز انتباه الذكاء الاصطناعي بشكل أكثر إحكامًا على "جوهر" المعلومات مما كان عليه من قبل.

3. قاعدة "التوقف المبكر" (The Early Stop Rule)

هذه هي الخدعة الرئيسية الثانية.

الطريقة القديمة: يقرر الذكاء الاصطناعي: "سأقرأ أهم 10% من الصفحات"، ثم يجبر نفسه على قراءتها جميعًا، حتى لو كانت الصفحات الأخيرة في تلك الـ 10% الأعلى أهمية لا تستحق القراءة تقريبًا.
طريقة S2O: يقرأ الذكاء الاصطناعي الصفحات حسب ترتيب أهميتها (بفضل بطاقة الكتالوج). يقوم بحساب "قيمة" تراكمية لما جمعه. وبمجرد أن يصل إلى صفحة جديدة تضيف قيمة ضئيلة جدًا (ينخفض السجل تحت حد أدنى صغير)، يقول: "توقف! لقد حصلنا على ما يكفي." ثم يتخطى بقية القائمة تمامًا. هذا هو "التوقف المبكر".

النتائج: قارئ أسرع وأذكى

من خلال الجمع بين هاتين الخدعتين (القفز إلى الأماكن الصحيحة دون تحريك البيانات، والتوقف بمجرد انخفاض القيمة)، يحقق S2O ما تسميه الورقة البحثية "سقف تفرق أعلى" (higher sparsity ceiling).

في اختباراتهم باستخدام نموذج يسمى Llama-3.1-8B بسياق 128K (كتاب طويل جدًا):

الدقة: ارتكب أخطاءً أقل (خطأ أقل) من الطرق الأخرى عند القيام بنفس القدر من العمل.
السرعة: كان أسرع بمقدار 3.81 مرة في المهمة النهائية (end-to-end) مقارنة بالطريقة القياسية.
الكفاءة: قلل من الجهد الحسابي المطلوب بمعامل قدره 3.31 مع الحفاظ على نفس المستوى من الدقة.

باختًا: S2O يشبه أمين مكتبة فائق الكفاءة لا يقوم بتحريك الكتب، بل يستخدم قائمة ذكية وديناميكية لزيارة الكلمات التي تستحق القراءة فقط، ويعرف تمامًا متى يتوقف عن القراءة لأن بقية الكتاب لن يضيف أي شيء جديد. هذا يسمح للذكاء الاصطناعي بمعالجة كميات هائلة من النصوص بشكل أسرع وأكثر دقة.

ملخص تقني: S2O – التوقف المبكر لآلية الانتباه المتناثر عبر الترتيب عبر الإنترنت (Online Permutation)

بيان المشكلة

تحد التعقيد الزمني التربيعي لآليات الانتباه (Attention Mechanisms) في النماذج اللغوية الكبيرة (LLMs) من كفاءة الاستدلال مع السياقات الطويلة. وعلى الرغم من ظهور "الانتباه المتناثر كتلويًا" (Block-sparse attention) كحل عملي من خلال الدمج في مسار تبليط FlashAttention، إلا أنه يواجه "حداً عملياً للتناثر". تعتمد الطرق الحالية على كتل حسابية ذات أحجام ثابتة، والتي غالبًا ما تحتوي على فائض كبير في البيانات داخل الكتل نفسها. وحتى عند تحديد الكتل الهامة بشكل صحيح، فإن التدرج الخشن (Coarse granularity) يجبر النظام على حساب الرموز (Tokens) ذات الأهمية المنخفضة داخل تلك الكتل. علاوة على ذلك، فإن طرق الترتيب (Permutation) الحالية غالبًا ما تقتصر على ترتيب مفاتيح وقيم (KV) محلية بسبب قيود القناع السببي (Causal masking) في النماذج ذات التوليد الذاتي، مما يفشل في تحقيق تجميع عالمي لكتلة الانتباه.

المنهجية: S2O

يقترح المؤلفون S2O، وهو آلية تناثر دقيقة الحبيبات تجمع بين الترتيب عبر الإنترنت (Online Permutation) وقاعدة التوقف المبكر (Early-Stopping Rule). الفلسفة الجوهرية هي تجاوز اختيار التدرج الكتلي الثابت عبر إعادة ترتيب الرموز منطقيًا لتركيز كتلة الانتباه على مجموعة صغيرة من المناطق عالية الأولوية، دون تحريك البيانات فعليًا في الذاكرة.

1. الترتيب عبر الإنترنت عبر التحميل المدفوع بالفهرس

مستلهمًا من عملية تعيين العناوين الافتراضية إلى الفيزيائية في أنظمة الذاكرة، يتجنب S2O التكلفة العالية للترتيب الفيزيائي للموترات (Tensors). بدلاً من ذلك، يحتفظ بالتخطيط الفيزيائي الأصلي في ذاكرة النطاق العالي (HBM) ويقدم مصفوفات فهارس خفيفة الوزن للتحكم في تحميل الرموز غير المتجاورة.

التصنيف حسب القطع (Segment-wise Ranking): يتم تقسيم التسلسل إلى قطع. داخل كل قطعة، تنفذ الطريقة خطوتين تصنيفيتين خفيفتين:
- ترتيب الاستعلام (Query Permutation - $Q_{perm}$ ): يتم إعادة ترتيب الاستعلامات داخل القطعة بناءً على درجة أهمية خشنة (باستخدام متجه دليل مشترك) لإعطاء الأولوية للاستعلامات التي يُحتمل أن تُنتج خطوطًا أفقية بارزة.
- ترتيب المفاتيح والقيم التاريخية (Historical KV Permutation - $KV_{perm}$ ): يتم تقييم المفاتيح والقيم التاريخية مقابل استعلام ممثل للقطعة. يضمن القناع السببي مراعاة الرموز السابقة (Prefix tokens) فقط. تشكل الفهارس الناتجة خريطة منطقية عالمية تعطي الأولوية للرموز التي يُحتمل أن تشكل خطوطًا رأسية أو قطرية.
التحميل المخطط بالإحداثيات (Coordinate-Planned Loading): أثناء تنفيذ نواة (Kernel) الانتباه، يستخدم النظام مصفوفات الفهارس هذه لتجميع بلاطات (Tiles) محددة من الاستعلام (Query)، والمفاتيح (Key)، والقيم (Value) إلى ذاكرة SRAM على الشريحة. هذا يحاكي فوائد الترتيب العالمي (تركيز كتلة الانتباه) مع تكلفة ضئيلة لإعادة تعيين الفهرس.

2. قاعدة التوقف المبكر

يقدم S2O آلية توقف مبكر ذات ربح رتيب (Monotonic gain). نظرًا لأن الكتل المرشحة تتم معالجتها بترتيب تنازلي من حيث الأهمية المقدرة بفضل الترتيب عبر الإنترنت، يقوم النظام بتتبع الربح الهامشي ( $\Delta \ell$ ) الذي تساهم به كل كتلة تمت معالجتها.

شرط الإنهاء: بمجرد أن ينخفض الربح الهامشي عن عتبة محددة مسبقًا ( $\tau$ ) بالنسبة للدرجة المتراكمة، يتم إنهاء الحساب مبكرًا.
الميزة: يسمح هذا للنموذج بتخطي الكتل المتبقية ذات المساهمة المنخفضة ديناميكيًا، بدلاً من الالتزام بمجموعة Top-K ثابتة، مما يزيد من فعالية التناثر تحت ميزانية خطأ محكومة.

3. تنفيذ النواة (Kernel Implementation)

تم تنفيذ الطريقة كنواة متوافقة مع FlashAttention وتعمل على مرحلتين:

المرحلة الأولى (التهيئة الكثيفة داخل القطعة): تحسب نافذة سببية كثيفة داخل القطعة الحالية لتهيئة وتخزين حالات Softmax عبر الإنترنت المستقرة ( $m, \ell, acc$ ). يتعامل هذا مع الحالات الحدية ويضمن الاستقرار العددي.
المرحلة الثانية (الانتباه المتناثر المخطط بالإحداثيات): تستمر العملية باستخدام الحالات المخزنة وتمر عبر المفاتيح والقطع السابقة (Prefix keys) بالترتيب المرتب المحدد بواسطة $KV_{perm}$ . يتم تطبيق منطق التوقف المبكر هنا لتخطي الكتل ذات الربح المنخفض.

المساهمات الرئيسية

تحديد حد التناثر: أثبت المؤلفون تجريبيًا أن التفاوت بين هياكل الانتباه الشبيهة بالخطوط والحساب في الكتل الخشنة يخلق حداً عملياً للتناثر، مما يؤدي إلى فائض داخل الكتل.
آلية الترتيب عبر الإنترنت: اقترحوا سياسة تحميل مدفوعة بالفهرس ومتوافقة مع FlashAttention، تحقق تأثيرات الترتيب العالمي دون تحريك الموترات فعليًا، وذلك باستخدام مصفوفات فهارس خفيفة الوزن لتركيز كتلة الانتباه.
التوقف المبكر مع الربح الرتيب: قاعدة توقف مبتكرة تعدل مستوى التناثر ديناميكيًا بناءً على الربح الهامشي للكتل المعالجة، مما يحسن المقايضة بين التناثر والخطأ.
تحسينات الأداء: يحقق الأسلوب تسريعًا كبيرًا مع الحفاظ على الدقة النهائية، مما يرفع فعليًا الحد الأعلى العملي للانتباه المتناثر.

النتائج التجريبية

تم تقييم الطريقة على نماذج Llama-3.1-8B و Qwen3-8B مع أطوال سياق تصل إلى 128K.

دقة مستوى العامل (Operator-Level Accuracy): مع ضبط التناثر، يقلل S2O متوسط مربع الخطأ (MSE) بمعامل قدره 3.82 مقارنة بأفضل النتائج السابقة (PBS) على نموذج Llama-3.1-8B. وعلى العكس من ذلك، مع ضبط MSE، يقلل من كثافة الحساب المطلوبة بمعامل قدره 3.31.
التسريع:
- تسريع الانتباه: يصل إلى 7.51x مقارنة بـ FlashAttention عند سياقات 128K.
- التسريع النهائي (End-to-End): يصل إلى 3.81x مقارنة بـ FlashAttention.
- تمثل تكلفة المعالجة المسبقة (توليد الفهرس) جزءًا صغيرًا فقط من الوقت الإجمالي وتهيمن عليها خطوة فرز واحدة خفيفة الوزن.
دقة الاختبارات المرجعية: في اختبارات السياق الطويل (RULER, LongBench v2, InfiniteBench)، يحافظ S2O على دقة مماثلة للانتباه الكامل مع تحقيق تناثر أعلى بمقدار 2-3 أضعاف.

الأهمية والادعاءات

يزعم العمل أن S2O يمثل تحولًا من مناهج التناثر القائمة على الكتل الثابتة والصلبة إلى نهج أكثر مرونة ودقة الحبيبات. من خلال الاستفادة من ملاحظة أن خرائط الحرارة للانتباه تظهر هياكل شبيهة بالخطوط بدلاً من أنماط كتل منتظمة، يقوم S2O بتركيز كتلة الانتباه بفعالية على منطقة تدريجية (من الكثيف في أعلى اليسار إلى المنتشر).

يدعي المؤلفون أن نهجهم يتغلب على قيود التصميمات ذات التدرج الكتلي من خلال:

تمكين تحميل الرموز غير المتجاور والمدفوع بالأهمية دون تكاليف تحريك البيانات الفيزيائية.
توفير آلية تقليم آمنة (التوقف المبكر) تعمل تحت ميزانية خطأ محكومة.
إثبات أن التناثر دقيق الحبيبات هو أمر عملي ويترجم فعليًا إلى تسريع في وقت التنفيذ، مما يوفر مسارًا بحد أعلى أكبر لتصميم الانتباه المتناثر في استدلال النماذج اللغوية الكبيرة ذات السياق الطويل.