LOCKS: Page-Local Compact Key Summaries for Efficient Long-Context Decoding
تُعد LOCKS إضافة جاهزة للاستخدام لـ vLLM تعمل على تسريع فك التشفير للسياقات الطويلة عبر تخصيص ملخص طيفي منخفض الرتبة ومدمج لكل صفحة ذاكرة لتقدير كتلة الانتباه بكفاءة واختيار الصفحات الأكثر صلة فقط، مما يقلل بشكل كبير من زمن الاستجابة واستهلاك الذاكرة مع الحفاظ على دقة تقارب دقة الانتباه الكامل.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول قراءة مكتبة ضخمة من الكتب للإجابة على سؤال واحد. في عالم الذكاء الاصطناعي، تشبه النماذج اللغوية الكبيرة (LLMs) الطلاب العباقرة الذين قرأوا الإنترنت بأكمله، ولكن عندما يحاولون الإجابة على سؤال بناءً على وثيقة طويلة جداً، يواجهون مشكلة معقدة. لكي يفكروا، يحتاجون إلى الاحتفاظ بـ "ذاكرة" لكل ما قرأوه حتى الآن. هذه الذاكرة تسمى "مخزن المفتاح والقيمة" (KV cache). فكر في الأمر كأنه سبورة بيضاء عملاقة يكتب عليها النموذج كل كلمة عالجها.
المشكلة هي أنه كلما طالت القصة، أصبحت هذه السبورة ضخمة. وفي كل مرة يريد فيها النموذج كتابة الكلمة التالية، يتعين عليه مسح كامل السبورة ليقرر أي الكلمات الماضية مهمة. إذا كانت القصة بطول 100,000 كلمة، فعلى النموذج النظر إلى 100,000 كلمة في كل مرة يكتب فيها حرفاً واحداً جديداً. هذا الأمر بطيء ويستهلك كمية هائلة من ذاكرة الكمبيوتر، تماماً مثل محاولة العثور على إبرة معينة في كومة قش عن طريق تحريك كومة القش بأكملها في كل مرة ترمش فيها بعينيك. لقد حاول العلماء جاهدين اكتشاف كيفية جعل النموذج يتجاهل الأجزاء المملة من القصة ويركز فقط على الأجزاء المثيرة، لكنهم واجهوا صعوبة في فعل ذلك دون فقدان القدرة على إيجاد الإجابة الصحيحة.
هنا يأتي دور طريقة جديدة تسمى LOCKS. لقد اكتشف الباحثون وراء هذه الورقة البحثية حيلة ذكية لتسريع العملية دون فقدان سياق الأحداث. لقد أدركوا أنه بينما تكون القصة بأكملها معقدة، فإن الأجزاء الصغيرة منها (التي تسمى "صفحات") تمتلك أنماطاً بسيطة وفريدة خاصة بها. وبدلاً من محاولة تلخيص المكتبة بأكملها بخريطة واحدة ضخمة وفوضوية، تمنح طريقة LOCKS كل صفحة "ملخصاً طيفياً" (spectral summary) صغيراً وعالي الجودة.
فكر في الأمر على هذا النحو: تخيل أنك محقق يحل لغزاً في رواية مكونة من 1,000 صفحة. بدلاً من قراءة كل كلمة في كل صفحة للعثور على القاتل، تقوم بإنشاء "ورقة غش" صغيرة بحجم 10% لكل صفحة. ورقة الغش هذه لا تكتفي بسرد الكلمات فحسب؛ بل تلتقط "روح" أو "جو" الصفحة وأهم الاتجاهات لمحتوى تلك الصفحة تحديداً. عندما يحتاج المحقق (الذكاء الاصطناعي) إلى معرفة أين ينظر تالياً، فإنه لا يقرأ الصفحات الكاملة، بل يلقي نظرة خاطفة على أوراق الغش الصغيرة هذه ليرى أي الصفحات تحتوي على أكبر قدر من "الأدلة" (كتلة الانتباه/attention mass).
تظهر الورقة البحثية أن هذه الطريقة فعالة للغاية. فباستخدام أوراق الغش الصغيرة الخاصة بكل صفحة، يمكن للنموذج تخطي قراءة 98% من النص في سياق يصل طوله إلى 100,000 توكن (token)، ومع ذلك فإنه لا يزال يجد الإجابة الصحيحة بدقة تقارب قراءته لكل شيء. في الواقع، في اختبارات الرياضيات والاستدلال الصعبة، غالباً ما تفشل الطرق الأخرى التي تحاول تخمين الصفحات المهمة تماماً، لكن LOCKS تحافظ على "صفحات الناقل" (carrier pages) — وهي الصفحات التي تحمل الإجابة بالفعل — آمنة ومحفوظة.
لقد أثبت الباحثون أن محاولة استخدام خريطة واحدة لكل الكتاب (ملخص "مشترك") لا تنجح لأن الصفحات المختلفة لها أسرار مختلفة تضيع في المزيج. كما أظهروا أن طريقتهم "خالية من التدريب" (training-free)، مما يعني أنها تعمل مع نماذج الذكاء الاصطناعي الحالية دون الحاجة إلى إعادة تعليمها أي شيء. وعندما اختبروا ذلك على أجهزة حقيقية، وجدوا أنها قللت الوقت اللازم لتوليد كل كلمة إلى النصف بالنسبة للوثائق الطويلة جداً. إنه يشبه تحويل المشي البطيء والمضني عبر مكتبة إلى نظام انتقال سريع (teleportation) يتوقف فقط عند الرفوف التي تهمه بالفعل.
باختصار، تحل LOCKS مشكلة "السياق الطويل" (long-context bottleneck) من خلال إدراك أن كل صفحة في القصة لها بصمة فريدة. ومن خلال إنشاء ملخص مدمج وخاص بكل صفحة، يمكن للذكاء الاصطناعي أن يعرف فوراً الصفحات التي يجب قراءتها وتلك التي يجب تجاهلها، مما يجعل من الممكن الدردشة مع النماذج حول كتب تمتد لمئات الآلاف من الكلمات دون أن يصاب الكمبيوتر بالإرهاق.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.