KVBoost: Chunk-Level Key-Value Cache Reuse with Deviation-Guided Recomputation for Efficient Large Language Model Inference
يُعد KVBoost نظاماً لإعادة استخدام ذاكرة التخزين المؤقت لمفاتيح وقيم (Key-Value) على مستوى القطع، يستخدم مخطط مفاتيح ثنائي التجزئة واستراتيجيات إعادة حساب موجهة بالانحراف لتمكين تسريع الاستدلال الفعال غير المرتبط بالموقع للنماذج اللغوية الكبيرة، محققاً انخفاضات كبيرة في زمن الاستجابة دون المساس بالدقة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تعتمد نماذج اللغات الكبيرة، وهي البرامج الحاسوبية القوية التي يمكنها كتابة القصص وحل المشكلات والإجابة على الأسئلة، على طريقة محددة لمعالجة المعلومات لفهم السياق. فعندما تقرأ هذه النماذج نصاً (prompt)، فهي لا تنظر فقط إلى الكلمة الحالية؛ بل تبني خريطة ذهنية لكل ما سبقها لفهم كيفية ترابط الأجزاء معاً. هذه الخريطة، المعروفة باسم "ذاكرة التخزين المؤقت للمفاتيح والقيم" (key-value cache)، ضرورية ليعمل النموذج بشكل صحيح، لكن إنشاءها مكلف حاسوبياً. ففي كل مرة يرسل فيها المستخدم طلباً، يتعين على النموذج تقليدياً إعادة بناء هذه الخريطة بالكامل من الصال، حتى لو كان الطلب يحتوي على نص سبق له رؤيته. وفي كثير من الحالات الواقعية، مثل عندما يطرح المستخدم عدة أسئلة حول نفس المستند أو عندما يستخدم النظام مقدمة قياسية لكل محادثة، يكون إعادة البناء المتكرر هذا هدراً هائلاً للوقت والطاقة. وقد كان التحدي المركزي للمهندسين هو كيفية توفير هذا العمل دون فقدان دقة إجابات النموذج.
لقد طور باحث يدعى سيرهاري أونيكريشن نظاماً يسمى "KVBoost" لحل هذه المشكلة تحديداً. صُمم النظام للتعرف على أجزاء من الخريطة الذهنية التي أنشأها النموذج مسبقاً وإعادة استخدامها، لكنه يفعل ذلك بطريقة أكثر مرونة من الطرق السابقة. فالأنظمة القديمة لم تكن تستطيع حفظ العمل إلا إذا ظهر النص المتكرر في بداية الطلب تماماً. أما إذا كان النص المشترك مدفوناً في منتصف فقرة طويلة أو ظهر بعد سؤال فريد، فإن النظام يتجاهله ويبدأ من جديد. يغير "KVBoost" هذا الأمر من خلال تقسيم النص إلى قطع صغيرة يمكن التحكم بها. فهو يعامل كل قطعة كقطعة متميزة من أحجية (puzzle) يمكن تخزينها واسترجاعها بشكل مستقل، بغض النظر عن موقعها في هيكل الجملة الإجمالي. وهذا يسمح للنظام بتخطي العمل الشاق المتمثل في إعادة إنشاء الخريطة الذهنية لأي قطعة من النص تم رؤيتها من قبل، حتى لو ظهرت بترتيب مختلف تماماً أو في سياق مختلف.
ومع ذلك، فإن مجرد لصق قطع جاهزة من خريطة ذهنية يخلق مشكلة جديدة. فعندما يتم دمج قطعتين، قد يفقد النموذج الروابط الدقيقة بين نهاية إحدى القطعتين وبداية الأخرى، مما يؤدي إلى أخطاء في كيفية فهمه لتدفق القصة. ولإصلاح ذلك، يستخدم النظام استراتيجية إصلاح ذكية؛ حيث يحدد النقاط المحددة التي تلتقي عندها القطع ويعيد حساب الأجزاء الأكثر أهمية في الاتصال فقط، بدلاً من إعادة الحساب بالكامل. ويسترشد هذا النهج بطريقة تقيس مدى انحراف فهم النموذج عما ينبغي أن يكون عليه، مما يسمح له بتركيز جهده فقط حيث تشتد الحاجة إليه. والنتيجة هي نظام يمكنه حياكة فهم كامل ودقيق للطلب باستخدام قطع محسوبة مسبقاً في الغالب، مع بذل جزء ضئيل جداً من العمل لإصلاح الفواصل.
تم اختبار فعالية هذا النظام باستخدام نموذج بـثلاثة مليارات معلمة (parameter) على بطاقة رسومات قياسية، حيث عالج ألف مثال مختلف لمهمة تحديد الأخطاء البرمجية (bug-localization)، حيث يجب على الكمبيوتر العثور على الأخطاء في الكود. وفي هذه الاختبارات، تمكن النظام الجديد من إنتاج الكلمة الأولى من إجابته بسرعة تقارب أربعة أضعاف ونصف مقارنة بالطريقة التقليدية التي تبدأ من الصفر. وعند مقارنته بأفضل طريقة موجودة حالياً لتوفير العمل، والتي تعمل فقط للنصوص الموجودة في بداية الطلب، كان "KVBoost" أسرع بنسبة 16% في المتوسط. والأهم من ذلك، أن هذه السرعة لم تأتِ على حساب الجودة؛ فقد حافظ النظام على معدل دقة بلغ 99.2%، وهو أمر لا يمكن تمييزه إحصائياً عن طريقة إعادة الحساب الكاملة الأبطأ. كما أثبت النظام قدرته على التعامل مع السياقات الطويلة بكفاءة، حيث تزداد ميزة السرعة مع زيادة طول النص، لتصل إلى ما يقرب من خمسة أضعاف السرعة للمدخلات الطويلة جداً.
بعيداً عن السرعة، صُمم النظام ليكون عملياً للاستخدام في العالم الحقيقي. فهو يتضمن ميزات تسمح بتخزين هذه القطع المحسوبة مسبقاً على القرص الصلب للكمبيوتر إذا امتلأت الذاكرة، مما يضمن بقاء الذاكرة المؤقتة مفيدة حتى عند التعامل مع كميات هائلة من البيانات. كما يستخدم تقنية لضغط المعلومات المخزنة، مما يقلل المساحة التي تشغلها دون التضحية بجودة الإجابات. وتؤكد الأبحاث أنه من خلال فصل محتوى النص عن موقعه، من الممكن تحقيق مكاسب كفاءة كبيرة في كيفية عمل هذه النماذج. وتشير النتائج إلى أن المتطلب الصارم بضرورة وجود النص المشترك في بداية الطلب لم يعد ضرورياً، مما يفتح الباب أمام تفاعلات أسرع وأكثر كفاءة مع الذكاء الاصطناعي في السيناريوهات التي يظهر فيها المعلومات المشتركة في أي مكان داخل المحادثة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.