CoSA: Accelerating Long-Context Inference via Proxy-Kernel Co-Designed Sparse Attention
يُعد CoSA إطار عمل للاهتمام المتناثر يتكون من مرحلتين ولا يتطلب تدريباً، حيث يربط بين وكيل مدرك للنواة (Kernel-Aware Proxy) ونواة تخطي مرتبة (Ordered-Skipping Kernel) لتحسين اختيار الكتل والتخطي ديناميكياً، مما يحقق تسريعاً كبيراً في الاستنتاج وتقليلاً في زمن الاستجابة للنماذج اللغوية الكبيرة ذات السياق الطويل مع الحفاظ على دقة عالية في ظل ميزانيات حوسبة ضيقة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول قراءة موسوعة ضخمة مكونة من 128,000 صفحة للإجابة على سؤال واحد. في عالم الذكاء الاصطناعي، تُسمى هذه "الموسوعات" بنماذج اللغات الكبيرة (LLMs)، وتُسمى عملية "القراءة" هذه بكيفية فهمها للسياق. المشكلة هي أن الطريقة القياسية التي تقرأ بها هذه النماذج تشبه أمين مكتبة يصر على قراءة كل صفحة في الكتاب، من الكلمة الأولى وحتى الكلمة الأخيرة، قبل أن يتمكن حتى من البدء في التفكير في سؤالك. ومع ازدياد طول الكتاب، تصبح طريقة "قراءة كل شيء" هذه بطيئة ومكلفة بشكل مؤلم، تماماً مثل محاولة ركض ماراثون وأنت تحمل حقيبة ظهر مليئة بالطوب.
ولإصلاح ذلك، حاول العلماء تعليم أمين المكتبة أن يكون أكثر انتقائية، وهي تقنية تسمى "الانتباه المتناثر" (sparse attention). فبدلاً من قراءة كل صفحة، يحاول النموذج تخمين الصفحات المهمة ويتخطى الباقي. عادةً ما يتضمن هذا خطوتين: أولاً، يقوم "وكيل" (مخمن سريع) بجولة سريعة في الكتاب ويضع علامات على الصفحات المهمة باستخدام قائمة بسيطة من "نعم" أو "لا". ثانياً، يتبع "النواة" (العامل الفعلي) تلك القائمة ويقوم بالعمل الشاق. إنه نظام جيد، لكن به عيب: عندما يصبح الكتاب ضخماً وتحتاج إلى أن تكون صارماً جداً بشأن الصفحات التي ستتخطاها لتوفير الوقت، يبدأ المخمن السريع في ارتكاب الأخطاء، ويتبع العامل تلك القائمة السيئة بشكل أعمى. والنتيجة هي أن النموذج يصبح أسرع ولكنه يبدأ في نسيان التفاصيل المهمة، مثل أمين مكتبة يتخطى ذروة القصة لأنه اعتقد أنها مملة.
هنا يأتي دور طريقة جديدة تسمى CoSA (الانتباه المتناثر المصمم بشكل مشترك). فقد أدرك الباحثون وراء CoSA أن "المخمن" و"العامل" كانا يعملان في عزلة، مما تسبب في انهيار النظام تحت الضغط. لذا قرروا إعادة تصميم العملية بأكملها ليعملا معاً كفريق واحد. فبدلاً من مجرد تسليم العامل قائمة بسيطة من "نعم/لا"، يقوم "المخمن" الجديد (الذي يسمى الوكيل المدرك للنواة، أو KAP) بتسليم قائمة أولويات. هو لا يقول فقط "اقرأ هذه الصفحة"؛ بل يقول "اقرأ هذه الصفحة أولاً، ثم هذه، ثم تلك".
هذه هي الخدعة السحرية: تستخدم "النواة" (التي تسمى نواة التخطي المرتب، أو OSK) قائمة الأولويات هذه لإعادة ترتيب تسلسل قراءتها للصفحات. ومن خلال قراءة الصفحات الأكثر أهمية أولاً، تبني "النواة" "درجة تراكمية" لما هو مهم في وقت مبكر جداً. ولأنها تعرف أهم الأشياء على الفور، يمكنها بثقة تخطي صفحات أكثر حتى في مراحل لاحقة من العملية دون أن ترتبك. الأمر يشبه لو كنت تقرأ رواية غموض وأخبرك المحقق: "اقرأ الفصول الثلاثة الأولى لتجد القاتل، ثم يمكنك بأمان تخطي الفصول الخمسين التالية التي تتحدث عن نصائح البستنة".
تظهر الورقة البحثية أن نهج العمل الجماعي هذا يعد تغييراً جذرياً لقواعد اللعبة. فعند اختبارها على نماذج تقرأ سياقات تصل إلى 128,000 توكن (ما يعادل حجم رواية طويلة)، تمكنت CoSA من تسريع جزء "الانتباه" في العملية بمقدار 4.93 مرة، وقللت الوقت المستغرق لتوليد الكلمة الأولى بمقدار 2.53 مرة. والأهم من ذلك، فعلت ذلك دون أن يفقد النموذج قدرته على فهم القصة أو حل مشكلات الاستدلال المعقدة. وجد الباحثون أنه من خلال السماح للوكيل والنواة بالتحدث مع بعضهما البعض ومشاركة تسلسل عمليات محدد، استطاعوا أن يكونوا أكثر عدوانية في تخطي العمل مع الحفاظ على ذكاء النموذج. لقد تبين أنه في عالم الذكاء الاصطناعي، معرفة متى تقرأ الصفحة لا تقل أهمية عن معرفة أي صفحة تقرأ.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.