Elastic KV Cache for LLM Serving:A Working Reclamation Mechanism, and Why Chunked Prefill Already Closes the Gap
تقدم هذه الورقة وتقيم آلية مرنة لذاكرة التخزين المؤقت للمفاتيح والقيم (KV cache) تعمل على استعادة الذاكرة المحجوزة ديناميكياً خلال مراحل فك التشفير دون تعديلات في برامج التشغيل، لتخلص في النهاية إلى أن هذا النهج يقدم مكاسب طفيفة في الأداء مقارنة باستراتيجيات التعبئة المسبقة المجزأة الحالية لأن زمن انتقال التعبئة المسبقة غير حساس إلى حد كبير لحجم الجزء، ولأن الاحتياطي الذاكر يتضاءل طبيعياً في ظل التوازي التنسوري.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل مكتبة لا تُحفظ فيها الكتب الأكثر قيمة على الرفوف، بل يمسك بها أمين مكتبة واحد يقرأها في الوقت الحالي. في عالم الذكاء الاصطناعي، وتحديداً عندما تولد النماذج اللغوية الكبيرة نصوصاً، تكون "الكتب" عبارة عن قطع من البيانات تسمى "ذاكرة المفتاح والقيمة" (key-value cache). هذه القطع ضرورية لكي يتذكر النموذج ما قاله للتو حتى يتمكن من كتابة الجملة التالية. "أمين المكتبة" هو شريحة الكمبيوتر، و"الرفوف" هي ذاكرتها المحدودة. ولإبقاء المكتبة تعمل بسلاسة، يجب على النظام أن يقرر مقدار المساحة التي سيحجزها للمهمة الحالية لأمين المكتبة مقابل مقدار المساحة التي سيتركها للطلبات الجديدة. إذا كان أمين المكتبة مشغولاً جداً بقراءة كتاب طويل ومعقد، فإنه يحتاج إلى مساحة عمل مخصصة وكبيرة. ولكن بمجرد أن ينتهي من هذا الكتاب ويبدأ ببساطة في كتابة ملاحظات قصيرة، فإن تلك المساحة الكبيرة ستظل فارغة، مما يشغل مكاناً يمكن استخد easily استخدامه لكتب أخرى.
لسنوات، واجه المهندسون خياراً صعباً. للتعامل مع الطلبات الأكثر تعقيداً، يجب عليهم تخصيص احتياطي ضخم وثابت من الذاكرة في بداية اليوم. هذا الاحتياطي يشبه قسماً مخصصاً لكبار الشخصيات (VIP) يظل مغلقاً وفارغاً عندما يتعامل النظام فقط مع مهام بسيطة. السؤال الذي طرحه الباحثون كان بسيطاً: هل يمكنهم فتح هذا القسم المخصص لكبار الشخصيات وإعارة مساحته للرفوف العامة خلال أوقات الهدوء، ثم إغلاقه مرة أخرى قبل وصول طلب معقد؟ إذا تمكنوا من ذلك، فسيتمكنون من وضع المزيد من الكتب على الرفوف دون الحاجة لشراء أثاث جديد. يصف هذا البحث بناء آلية تفعل ذلك بالضبط، والاكتشاف المذهل المتمثل في أنه بينما تعمل الآلية بشكل مثالي، فإن المشكلة التي صُممت لحلها لم تعد موجودة.
بنى الباحثون نظاماً ذكياً لإدارة هذه الذاكرة على نوع محدد من شرائح الكمبيوتر. وبدلاً من محاولة نقل البيانات، مما قد يبطئ كل شيء، عاملوا الذاكرة كحاوية مرنة. لقد أنشأوا مساحة افتراضية يمكنها احتواء مجموعتين مختلفتين من البيانات الفيزيائية في آن واحد. إحدى المجموعتين موجودة دائماً، والأخرى عبارة عن احتياطي "مرن" يمكن إلحاقه أو فصله في غضون أجزاء من الثانية. عندما يكون النظام مشغولاً فقط بمهام بسيطة، يقومون بإلحاق الاحتياطي المرن بالمجمع الرئيسي، مما يمنح المكتبة مساحة أكبر فوراً. وعندما يصل طلب معقد، يقومون بفصل الاحتياطي في لمح البصر، وإعادة الذاكرة إلى حالتها الأصلية المغلقة حتى تتمكن المهمة المعقدة من العمل دون الانهيار. وقد أثبت المهندسون أن هذا ضروري لأنه إذا حاولوا إبقاء الاحتياطي مفتوحاً طوال الوقت، فسوف ينهار النظام في اللحظة التي يصل فيها طلب معقد، بسبب نفاد المساحة اللازمة للقيام بالعمل.
ومع ذلك، فإن بناء الآلة كان نصف القصة فقط. اختبر الباحثون بعد ذلك الافتراض الأساسي الذي جعل الآلة ضرورية: الفكرة القائلة بأن استخدام قطع أصغر من النصوص للطلبات المعقدة سيكون بطيئاً جداً لدرجة أن المشغلين سيضطرون لاستخدام قطع كبيرة وهدر الذاكرة. أقاموا تجربة منضبطة حيث قاموا بتغذية مطالبات (prompts) طويلة ومعقدة في نظام كان مشغولاً بالفعل بالعديد من الطلبات البسيطة. وقارنوا الوقت الذي يستغرقه النظام لبدء الإجابة على هذه المطالبات الطويلة عند استخدام قطع صغيرة مقابل قطع كبيرة. كانت النتيجة صدمة هادئة للمجال؛ فالفرق في السرعة كان غير مرئي تقريباً، حيث بلغ حوالي واحد بالمائة فقط. والسبب هيكلي: المهمة المعقدة محدودة بمدى سرعة قدرة الكمبيوتر على الحساب، وليس بكمية الذاكرة التي يمتلكها. إن تقسيم المهمة إلى قطع أصغر لا يجعلها أبطأ، بل يوزع نفس القدر من العمل على خطوات أكثر. وفي الوقت نفسه، فإن المهام البسيطة خفيفة جداً لدرجة أنها لا تزحم المهام المعقدة أبداً.
يغير هذا الاكتشاف قيمة المشروع بأكمله. فقد أظهر الباحثون أن أفضل طريقة للحصول على مزيد من الذاكرة ليست بناء نظام مرن معقد، بل ببساطة استخدام قطع أصغر للمهام المعقدة. هذا النهج يستعيد ذاكرة أكثر مما يمكن للنظام المرن إعارتها، ويفعل ذلك دون أي هندسة إضافية أو خطر الانهيار. علاوة على ذلك، اكتشفوا أنه مع نمو نماذج الذكاء الاصطناعي هذه وحاجتها إلى شرائح متعددة للعمل معاً، فإن مقدار الذاكرة المهدورة يتقلص بشكل كبير. في الإعدادات الأكثر قوة، يصبح "قسم كبار الشخصيات" الذي كان يُعتقد سابقاً أنه مساحة ضخمة وفارغة، في الواقع جزءاً ضئيلاً من إجمالي الذاكرة، مما يجعل الجهد المبذول لاستعادته أقل جدوى.
يختتم البحث بخريطة دقيقة لمتى قد تظل هذه التكنولوجيا مفيدة. ستساعد فقط في حالات محددة ونادرة حيث تكون النماذج صغيرة، والمطالبات طويلة للغاية، والنظام لا يستخدم شرائح متعددة لتقاسم الحمل. بالنسبة للغالبية العظمى من التطبيقات الحديثة، فقد حل المهندسون المشكلة بالفعل من خلال تغيير كيفية جدولة العمل ببساطة. لقد أطلق الباحثون أداة الذاكرة المرنة الخاصة بهم كبرمجية قابلة لإعادة الاستخدام للآخرين، لكنهم واضحون في أن أعباء العمل التي تهم اليوم قد سدت بالفعل الفجوة بين السرعة والسعة. الآلية تعمل، لكن الفرصة لاستخدامها قد تلاشت، وهي نتيجة نادرة وصادقة في مجال غالباً ما يحركه الوعد بالاختراق الكبير القادم.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.