SR: Selective Sampling, Subspaces, and Sparse Reconstruction for Compressed Long-Context KV Caching
تقترح الورقة البحثية SR، وهي طريقة جديدة لضغط ذاكرة التخزين المؤقت لـ KV تجمع بين أخذ العينات الانتقائي الواعي بالمطالبة لبناء فضاءات فرعية منخفضة الرتبة مع إعادة البناء المتناثر أثناء فك التشفير، محققةً ضغطاً يصل إلى 5 أضعاف مع دقة تقارب الدقة الكاملة، مع تجنب الاعتماد على بيانات المعايرة في الطرق غير المتصلة (offline) والتكلفة الحسابية العالية لإعادة بناء المطالبة الكاملة عبر الإنترنت (online).
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تذكر قصة ضخمة لتخبر بها صديقاً لك. كلما طالت القصة، زاد مقدار الطاقة الذهنية التي تتطلبها لاستيعاب كل تفصيل بمفرده في آن واحد. في عالم الذكاء الاصطناญي، وتحديداً النماذج اللغوية الكبيرة (LLMs)، تُسمى هذه "الطاقة الذهنية" بالذاكرة. هذه النماذج ذكية للغاية، ولكن عندما تحاول القراءة أو الكتابة عن مستندات طويلة جداً — مثل كتب كاملة أو ساعات من المحادثات — فإنها تنفد منها الذاكرة لأنها تحاول حفظ كل كلمة رأتها على الإطلاق. ولحل هذه المشكلة، يحاول العلماء اكتشاف كيفية تلخيص القصة في عقولها دون فقدان الأجزاء المهمة. لقد جربوا حيلتين رئيسيتين: إما حفظ ملخص عام يصلح لأي قصة (وهو أمر سريع ولكنه غالباً ما يفتقد للجوهر)، أو محاولة تلخيص القصة المحددة التي يقرؤونها الآن (وهو أمر دقيق ولكنه يتطلب وقتاً هائلاً وقدرة ذهنية كبيرة للحساب).
هنا يأتي دور S4R، وهي طريقة جديدة اقترحها باحثون من جامعة شانغهاي للتكنولوجيا، تحاول الجمع بين أفضل ما في العالمين. فكر في S4R كأمينة مكتبة ذكية للغاية، لا تكتفي بحفظ المكتبة بأكملها، ولا تخمن فقط ما يوجد في الكتب. بدلاً من ذلك، تقوم بمسح سريع لبعض الصفحات الرئيسية لفهم الجو العام للقصة، وتحتفظ بالجمل الأولى القليلة (التي غالباً ما تحدد النبرة) بتفاصيل دقيقة، ثم تستخرج فقط الصفحات المحددة التي تعتقد أنها مطلوبة للجملة التالية التي تكتبها. هذا يسمح للذكاء الاصطناعي بالتعامل مع كميات هائلة من النصوص دون نفاد ذاكرته، مع القدرة أيضاً على الإجابة على الأسئلة بدقة. وقد اختبر الباحثون هذه الطريقة على نماذج ذكاء اصطناعي شهيرة ووجدوا أنها يمكن أن تقلل الذاكرة المطللة بنسبة تصل إلى 5 أضعاف، مع الحفاظ على أداء الذكاء الاصطناعي ليكون قريباً جداً مما لو كان قد تذكر كل شيء بشكل مثالي.
المشكلة: معضلة "الكثير من الأشياء"
النماذج اللغوية الكبيرة تشبه الطلاب الذين قرأوا الإنترنت بأكمله. فعندما يجيبون على سؤال، هم لا يخمنون فحسب؛ بل ينظرون إلى كل ما قرأوه حتى الآن للتأكد من أن إجابتهم منطقية. عملية "النظر إلى الوراء" هذه تتطلب مساحة تخزين خاصة تسمى KV Cache (ذاكرة المفتاح والقيمة). فكر في الـ KV Cache كسبورة يكتب عليها النموذج أهم الحقائق حول القصة التي يقرؤها.
المشكلة هي أنه كلما طالت القصة (من بضع جمل إلى رواية كاملة)، تصبح هذه السبورة ضخمة. إذا كانت القصة بطول 128,000 كلمة، فإن السبورة ستشغل مساحة كبيرة لدرجة أنها قد تكون أكبر من عقل النموذج نفسه! وهذا يجعل الذكاء الاصطناعي بطيئاً ومكلفاً في التشغيل.
لقد حاول العلماء حل هذه المشكلة بطريقتين، لكن لكل منهما عيب:
- نهج "المقاس الواحد للجميع": تحاول بعض الطرق ضغط السبورة باستخدام قاعدة ثابتة تعمل مع أي قصة. هذا سريع، ولكن إذا كانت القصة غريبة أو فريدة، فقد تؤدي عملية الضغط إلى التخلص من التفاصيل الخاطئة، مما يسبب ارتباكاً للذكاء الاصطناعي.
- نهج "تحليل كل شيء": تحاول طرق أخرى تحليل القصة المحددة أثناء قراءتها لتحديد ما يجب الاحتفاظ به. هذا دقيق جداً، ولكن الأمر يشبه محاولة تلخيص كتاب أثناء قراءته للمرة الأولى — فهو يستغرق وقتاً إضافياً كبيراً يجعل الذكاء الاصطناعي بطيئاً للغاية.
حل S4R: استراتيجية "أمينة المكتبة الذكية"
تعمل طريقة S4R (الاختيار الانتقائي، والفضاءات الفرعية، وإعادة البناء المتفرقة) كأمينة مكتبة ذكية تعرف تماماً كيفية إدارة مكتبة ضخمة دون الشعور بالإرهاق. وهي تستخدم ثلاث حيل رئيسية:
1. صفحات "المرساة" (رموز الغرق - Sink Tokens)
لاحظ الباحثون أن الجمل القليلة الأولى من القصة غالباً ما تعمل كـ "غراء" يربط القصة بأكملها. ومهما حدث لاحقاً، تظل هذه الافتتاحيات مهمة دائماً. تعامل S4R هذه الكلمات الأولى (التي تسمى "رموز الغرق") كقطع أثرية ثمينة؛ فهي تحتفظ بها في شكلها الأصلي عالي الجودة ولا تقوم بضغطها أبداً. هذا يضمن أن يتذكر الذكاء الاصطناعي بداية القصة بدقة تامة.
2. "المسح السريع" (الاختيار الانتقائي - Selective Sampling)
بدلاً من محاولة قراءة وتلخيص القصة الكاملة المكونة من 128,000 كلمة دفعة واحدة (وهو أمر بطيء)، تقوم S4R بإجراء "اختبار شم" سريع. فهي تختار عينة صغيرة وممثلة من الكلمات من القصة — بعضها من البداية وبعضها من النهاية — لتحديد "الشكل" أو "الفضاء الجزئي" العام للمعلومات. الأمر يشبه تصفح بضع صفحات عشوائية من كتاب لأخذ فكرة عامة عن الحبكة دون قراءة كل كلمة. هذا يسمح للنموذج ببناء ملخص مدمج وفعال لهيكل القصة دون القيام بالجهد الشاق لتحليل كل رمز (token) على حدٍ.
3. "الاسترجاع في الوقت المناسب" (إعادة البناء المتفرقة - Sparse Reconstruction)
هذه هي الخدعة السحرية. عندما يحتاج الذكاء الاصطناعي لكتابة الكلمة التالية، فإنه لا يحاول إعادة بناء القصة المضغوطة بأكملها، لأن ذلك سيكون بطيئاً جداً. بدلاً من ذلك، ينظر إلى الملخص المدمج ويتساءل: "أي أجزاء من القصة ذات صلة بما أكتبه الآن؟"
- هو يحتفظ دائماً بالكلمات القليلة الأخيرة (النافذة المحلية) لأنها عادة ما تكون الأكثر أهمية.
- ثم يمسح الملخص ليجد بعض الكلمات الأخرى "ذات الأهمية العالمية" من الماضي البعيد التي قد تكون مطلوبة.
- يقوم فقط بـ "إعادة بناء" (إعادة استحضار بالتفصيل الكامل) تلك الكلمات المحددة والكلمات الأخيرة. إنه يتجاهل بقية القصة في تلك اللحظة تحديداً.
ماذا تظهر النتائج؟
اختبر الباحثون S4R في تحديين رئيسيين: LongBench (اختبار لمدى فهم الذكاء الاصطناعي للمستندات الطويلة) و RULER (اختبار لمدى قدرة الذكاء الاصطناعي على إيجاد "إبرة في كومة قش" من النصوص). وقد استخدموا نماذج ذكاء اصطناعي شهيرة مثل Llama و Qwen.
وإليكم ما وجدوه:
- توفير هائل في الذاكرة: تمكنت S4R من تقليص الذاكرة المطلوبة لذاكرة الـ KV cache بنسبة تصل إلى 5 أضعاف. وهذا أمر بالغ الأهمية لأنه يعني أن الذكاء الاصطناعي يمكنه العمل على أجهزة أصغر أو التعامل مع قصص أطول بكثير.
- بقاء الدقة مرتفعة: حتى مع كل هذا الضغط، ظلت دقة الذكاء الاصطناعي قريبة جداً من نسخة "الذاكرة الكاملة". وفي اختبار LongBench، سجلت S4R درجات عالية جداً تقارب النماذج غير المضغوطة، متفوقة على طرق الضغط الأخرى التي حاولت أن تكون عدوانية للغاية.
- السرعة هي الفائز: عند مقارنتها بالطرق الأخرى التي تحاول تحليل القصة بأكملها أثناء العمل (مثل طريقة تسمى xKV)، كانت S4R أسرع بكثير. فقد قللت الوقت اللازم لبدء توليد الإجابة (من حوالي 80 ثانية إلى 27 ثانية في أحد الاختبارات) وجعلت سرعة الكتابة الإجمالية أسرع بنحو 4 إلى 5 مرات من تلك الطرق الثقيلة والبطيئة.
الخلاصة
تشير S4R إلى أنك لست بحاجة لتذكر كل شيء بدقة، ولا تحتاج للتخمين بعشوائية. فمن خلال الحفاظ على "مرساة" القصة بأمان، وإجراء مسح سريع وذكي لفهم الصورة الكبيرة، واستعادة التفاصيل المحددة المطلوبة للخطوة التالية فقط، يمكن لنماذج الذكاء الاصطناعي أن تصبح أكثر كفاءة. لقد أثبت الباحثون أن هذا النهج يعمل بشكل جيد عبر أنواع مختلفة من نماذج الذكاء الاصطناعي والمهام، مما يوفر طريقة عملية لجعل الذكاء الاصطناعي ذو السياق الطويل أسرع وأرخص دون فقدان ذكائه. ورغم أن الطريقة ليست مثالية (فهي لا تزال تعاني قليلاً مع أنواع معينة جداً من مهام "الإبرة في كومة القش" مقارنة بالذاكرة الكاملة)، إلا أنها تمثل خطوة مهمة للأمام في جعل الذكاء الاصطناعي للمستندات الطويلة متاحاً للجميع.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.