KV Cache Compression Through the Lens of Transform Coding
تقدم هذه الورقة البحثية ترميز التحويل الواعي بالانتباه (AATC)، وهو طريقة مبتكرة لضغط ذاكرة التخزين المؤقت لـ KV تستفيد من مبادئ معالجة الإشارات لتخصيص البتات بناءً على تأثيرها على آليات الانتباه، محققةً دقة تقارب عدم الفقد عند ضغط يصل إلى 5.8 ضعفاً عبر معايير ونماذج متعددة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تذكر قصة سمعتها للتو، لكن عقلك لديه قاعدة محددة للغاية: يمكنك فقط الاحتفاظ ببضع جمل في ذاكرتك النشطة في المرة الواحدة. وللحفاظ على حيوية القصة بأكملها، يتعين عليك تدوين ملاحظات على لفافة ورقية ضخمة. ومع طول القصة، تصبح هذه اللفافة ضخمة، وسرعان ما تنفد الورقة. هذا هو بالضبط المشكل الذي تواجهه "نماذج اللغات الكبيرة" (LLMs) الحديثة، وهي روبوتات الدردشة الذكية للغاية التي نستخدمها اليوم. هذه النماذج لا تقرأ جملة واحدة فحسب؛ بل تقرأ كتباً كاملة، أو نصوصاً، أو محادثات طويلة. ولكي تفهم الجملة الحالية، تحتاج إلى تذكر كل كلمة سبقتها. وهي تخزن هذا التاريخ في دفتر ملاحظات رقمي خاص يسمى "ذاكرة المفتاح والقيمة" (KV cache).
المشكلة هي أن هذا الدفتر يصبح كبيراً جداً لدرجة أنه يستهلك كل ذاكرة الكمبيوتر، مما يؤدي إلى إبطاء كل شيء أو يجعل من المستحيل تشغيله على الأجهزة العادية. لقد حاول العلماء تقليص حجم هذا الدفتر عن طريق الكتابة بـ "اختصار" (استخدام عدد أقل من البتات لتمثيل الأرقام)، لكنهم كانوا في الغالب يخمنون الأجزاء المهمة من الملاحظات. لقد حاولوا ضغط اللفافة بأكملها بشكل متساوٍ، مثل عصر إسفنجة دون النظر إلى مكان تخزين الماء فعلياً. يسأل هذا البحث سؤالاً أفضل: ماذا لو استطعنا ضغط الملاحظات بشكل مختلف بناءً على مدى اهتمام الذكاء الاصطناعي بها في الوقت الحالي؟ اتضح أن ليس كل الكلمات في الماضي متساوية؛ فبعضها حاسم للجملة التالية، بينما البعض الآخر مجرد ضجيج خلفي.
قرر الباحثون وراء هذه الدراسة، هانا لاوس وفريقها، النظر إلى هذه المشكلة من خلال عدسة "معالجة الإشارات"، وهو مجال يتعامل عادة مع أشياء مثل ضغط الموسيقى أو الصور. أدركوا أن آلية الانتباه لدى الذكاء الاصطناعي (كيف يقرر التركيز) تعمل مثل المرشح (الفلتر)، تماماً مثل كيف تركز آذاننا على صوت صديق في غرفة صاخبة. لقد أثبتوا رياضياً أن "التشويه" أو الخطأ الناتج عن ضغط الملاحظات لا يتعلق فقط بمدى سوء الاختصار؛ بل بكيفية تفاعل ذلك الخطأ مع تركيز الذكاء الاصطناعي الحالي.
ولحل هذه المشكلة، اخترعوا طريقة تسمى "ترميز التحويل المدرك للانتباه" (AATC). فكر في الأمر كأنه أمين مكتبة ذكي لا يكتفي فقط بتقليص كل كتاب على الرف بنفس المقدار. بدلاً من ذلك، يستمع أمين المكتبة أولاً إلى القارئ ليرى ما يثير اهتمامه. ثم يقوم بإعادة ترتيب الكتب (عملية تسمى "التبييض" أو "إزالة الارتباط") بحيث يتم تجميع المعلومات الأكثر أهمية معاً. أخيراً، يطبق استراتيجية "الملء العكسي للماء". تخيل سكب الماء في مشهد من التلال والوديان؛ الماء يملأ المنخفضات أولاً بشكل طبيعي. في هذه النسخة الرقمية، "الماء" هو ميزانية الذاटीएम المحدودة، و"الوديان" هي الأجزاء الأكثر أهمية من الملاحظات. تقوم الطريقة بصب المزيد من "البتات" (مساحة الذاكرة) في القنوات المهمة، ولا تكاد تخصص شيئاً للقنوات غير المهمة.
اختبر الفريق هذه الطريقة على نموذجين شهيرين للذكاء الاصطناعي، Llama-3.1-8B و Qwen-2.5-7B، باستخدام مجموعة متنوعة من المهام الصعبة مثل حل المسائل الرياضية، والإجابة على أسئلة الاختيار من متعدد، وقراءة وثائق طويلة جداً. كانت النتائج مذهلة. فقد تمكنت طريقتهم الجديدة من ضغط استخدام الذاكرة بنحو 5.8 مرة (تقريباً 5.8×) مع الحفاظ على دقة الذكاء الاصطناعي لتكون مطابقة تقريباً لما لو استخدم الذاكرة الكاملة غير المضغوطة. وفي كثير من الحالات، كان الذكاء الاصطناعي المضغوط لا يمكن تمييزه إحصائياً عن النسخة الكاملة.
ومع ذلك، يوضح البحث بحذر أن هذا ليس حلاً سحرياً لكل شيء. تعتمد الطريقة على افتراض رياضي مفاده أن "الضوضاء" الناتجة عن الضغط تسلك سلوك "الضوضاء البيضاء" العشوائية، وهو تخمين قياسي في هذا المجال ولكنه قد لا يكون صحيحاً تماماً في كل سيناريو من الواقع. أيضاً، بينما تعمل الرياضيات بشكل رائع في عمليات المحاكاة والاختبارات الخاصة بهم، فإن الكود الفعلي لم يتم تحسينه بعد للعمل بأقصى سرعة على الرقائق الحاسوبية (GPUs) المستخدمة في المنتجات الفعلية، مما يعني أنه حالياً أقرب إلى نموذج أولي قوي منه إلى ميزة يمكنك تحميلها اليوم.
ما يجعل هذا النهج مميزاً هو كيفية توحيده لأفكار مختلفة. حاولت الطرق السابقة إما التخلص من الملاحظات القديمة تماماً (طرد الرموز/tokens) أو تقليص كل شيء بالتساوي (الكمية الموحدة). يظهر هذا البحث أن تلك الطرق ليست سوى وجهين لعملة واحدة. من خلال فهم كيفية وزن آلية الانتباه لدى الذكاء الاصطناعي للماضي، وجدوا طريقة لتخصيص الذاكرة التي تحترم "عملية التفكير" لدى الذكاء الاصطناعي. على سبيل المثال، في نموذج Qwen، الذي يصعب ضغطه بشكل ملحوظ، حافظت طريقتهم على ذكاء النموذج حتى في السياقات الطويلة جداً حيث فشلت الطرق الأخرى تماماً.
باختختصار، يشير هذا البحث إلى أنه إذا كنت تريد جعل الذكاء الاصطناعي أسرع وأخف وزناً دون فقدان قدراته الذهنية، فلا ينبغي لك مجرد عصر البيانات؛ بل يجب عليك الاستماع إلى ما يفكر فيه الذكاء الاصطناعي وضغط الأجزاء التي لا يحتاج لسماعها في الوقت الحالي. إنه تحول من "ضغط كل شيء" إلى "الضغط بذكاء"، وتشير النتائج إلى أن هذا قد يكون مفتاحاً لفتح آفاق الذكاء الاصطناعي ذي السياق الطويل جداً على الأجهزة اليومية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.