SPECTRA: Pushing the KV Cache Beyond the 2-Bit Cliff via Spectral Transform Coding
تُعد SPECTRA ترميزاً جاهزاً للاستخدام ولا يتطلب تدريباً، يتغلب على منحدر التكميم عند 2 بت في ذاكرة التخزين المؤقت لـ KV في النماذج اللغوية الكبيرة (LLMs) عبر تطبيق ترميز تحويل طيفي لفك الارتباط بين الميزات وتركيز ميزانيات البت على القنوات الأكثر إخبارية، مما يتيح نسب ضغط عالية الدقة تصل إلى 12 ضعفاً للاستدلال طويل السياق.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول حمل مكتبة ضخمة من الكتب في حقيبة ظهرك. في عالم الذكاء الاصطناعي، وتحديداً "نماذج اللغات الكبيرة" (LLMs) التي تكتب القصص والبرمجيات وتتحدث معنا، هناك مشكلة مماثلة. فعندما تقرأ هذه النماذج مستنداً طويلاً أو تجري محادثة طويلة، يتعين عليها تذكر كل كلمة قرأتها حتى الآن لفهم الكلمة التالية. وهي تخزن هذه الذاكرة في جيب خاص عالي السرعة يسمى "مخزن المفتاح والقيمة" (KV cache). فكر في هذا المخزن كأنه دفتر ملاحظات مستمر يدون فيه النموذج أهم التفاصيل لكل ما قرأه.
المشكلة هي أنه كلما طالت المحادثة، أصبح هذا الدفتر ضخماً. إذا حاولت وضع رواية كاملة في حقيبة ظهرك، فقد تنفد المساحة قبل أن تنهي الفصل الأول حتى. ولحل هذه المشكلة، حاول العلماء تقليص حجم الدفتر عبر الكتابة بخط أصغر وأبسط—وهي تقنية تسمى "الكمية" (quantization). لقد حاولوا ضغط كل ملاحظة لتصبح مجرد بتّين (bit) فقط من المعلومات (أقل كمية ممكنة من البيانات). لكن العلة تكمن في أنه عندما حاولوا تصغير الملاحظات لأقل من بتّين، أصبح الخط سيئاً للغاية لدرجة أن النموذج بدأ ينسى الأشياء أو يختلق هراءً. لقد اصطدم بـ "منحدر" حيث أدى جعل الملاحظات أصغر إلى تعطل النموذج فعلياً. تسأل هذه الورقة سؤالاً بسيطاً: هل هناك طريقة أذكى لحزم الحقيبة بحيث يمكننا استيعاب المزيد بكثير دون أن يصاب النموذج بالارتباك؟
الباحثون وراء هذه الورقة، وهم مطورو SPECTRA، يقولون إن الإجابة هي نعم، ولكننا بحاجة إلى تغيير ما نقوم بحزمه، وليس فقط كيفية كتابته بخط صغير. لقد اكتشفوا أن المعلومات في ذاكرة النموذج ليست موزعة بالتساوي مثل كومة من الصخور العشوائية؛ بل هي أشبه بنغمة موسيقية: عدد قليل من النغمات يكون عالياً ويحمل اللحن الأساسي، بينما معظم النغمات الأخرى هي مجرد ضجيج خلفي بالكاد يُسمع.
كانت مشكلة الأساليب السابقة هي أنها عاملت كل نغمة على حدما؛ فقد حاولوا تقليص النغمات العالية والنغمات الهادئة بنفس المقدار تماماً. وعندما حاولوا تقليص كل شيء ليصبح بحجم حصاة صغيرة (بتّين)، تم سحق النغمات العالية لتصبح مثل النغمات الهادئة، وتحولت الأغنية بأكملها إلى تشويش. أدرك المؤلفون أن ذاكرة النموذج "مرتبطة" (correlated)، مما يعني أن النغمات متشابكة معاً، مما يجعل من الصعب التمييز بين ما هو مهم وما هو غير مهم بمجرد النظر إليها.
ولحل ذلك، يعمل SPECTRA مثل حلقة فك الشفرات السحرية. فقبل حزم الذاكرة، يقوم أولاً بفك تشابك النغمات وإعادة ترتيبها في نظام جديد حيث يتم فصل النغمات العالية والمهمة بوضوح عن النغمات الهادئة وغير المهمة. وبمجرد ترتيب الذاكرة بهذه الطريقة، يمكن للنموذج أن يكون سخياً جداً في تخصيص "البتات" للنغمات العالية (مما يمنحها مساحة كافية لتبقى واضحة) ويدقق جداً مع النغمات الهادئة (بضغطها إلى لا شيء تقريباً، أو حتى التخلص منها تماماً).
تظهر الورقة أن هذا النهج فعال بشكل مذهل. ففي الاختبارات التي أجريت على نماذج ذكاء اصطناعي شهيرة مثل Llama-3.1 و Qwen2.5، تمكن SPECTRA من ضغط الذاكرة بمقدار 4 مرات دون فقدان أي جودة. والأكثر إثارة للإعجاب هو أنه ظل مفيداً عند ضغط بمقدار 8 مرات وحتى 12 مرة، وهي نقطة انهارت عندها الأساليب الأخرى تماماً وتوقف النماذج عن العمل. ومن خلال استخدام خدعة التصنيف "الطيفي" (spectral) هذه، فإن نفس شريحة الكمبيوتر التي كانت تستطيع سابقاً التعامل مع محادثة قصيرة، يمكنها الآن استيعاب كتاب كامل أو قاعدة بيانات برمجية ضخمة، مما يسمال لوكلاء الذكاء الاصطناعي بالعمل على مهام أطول بكثير دون نفاد الذاكرة. وجد المؤلفون أن هذا ليس مجرد تعديل بسيط، بل هو تحول جوهري من محاولة تقليص كل شيء بالتساوي إلى استثمار المساحة المحدودة بذكاء في الأماكن التي تهم حقاً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.