Joint Optimization of Retrieval-Augmented KV Caching and Adaptive Speculative Decoding for Autoregressive Generation
تقدم هذه الورقة البحثية RAKV-ASD، وهو نظام يعمل على تحسين التخزين المؤقت لـ KV المعزز بالاسترجاع وفك التشفير التخميني التكيفي بشكل مشترك عبر متحكم متعلم لاختيار أطوال المسودة ديناميكيًا، مما يحقق تحسينات كبيرة في زمن الاستجابة والإنتاجية مقارنة بالاستراتيجيات الثابتة مع الحفاظ على تكافؤ المخرجات الدقيق مع فك التشفير القياسي.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
عندما يكتب نموذج لغوي كبير جملة ما، كلمة بكلمة، فإنه يواجه عنق زجاجة متكرر: لتوقع الكلمة التالية، يجب عليه تذكر كل كلمة سبقتها. هذه الذاكرة، المخزنة كمجموعة ضخمة من الأرقام تسمى "ذاكرة المفتاح والقيم" (key-value cache)، تنمو مع كل رمز (token) جديد. وفي الحوسبة الحديثة، غالبًا ما يكون استرجاع هذه الذاكرة أبطأ من عملية الحساب الفعلية للكلمة التالية. ولتسريع الأمور، طور المهندسون حيلتين رئيسيتين. الأولى هي إعادة استخدام الذاكرة من الطلبات السابقة إذا كانت الكلمات الأولى متطابقة، تمامًا مثل تخطي الصفحات القليلة الأولى من كتاب قرأته بالفعل. والثانية هي "فك الترميز التخميني" (speculative decoding)، حيث يقوم نموذج أصغر وأسرع بتخمين عدة كلمات مقدمًا، ثم يقوم النموذج الرئيسي بالتحقق بسرعة مما إذا كانت تلك التخمينات صحيحة. إذا كانت التخمينات صحيحة، يتخطى النظام العمل البطيء المتمثل في توليدها واحدة تلو الأخرى.
كان السؤال الذي طرحه الباحثون هو ما إذا كان الجمع بين هاتين الحيلتين سيخلق نظامًا فائق السرعة. ومن الناحية المنطقية، بدا الأمر منطقيًا: أعد استخدام الذاكرة التي تملكها بالفعل، ثم خمن للأمام لتوفير الوقت. ومع ذلك، فإن واقع أجهزة الكمبيوتر غالبًا ما يكون أقل تسامحًا مما يوحي به الحدس. دراسة جديدة أجراها تشيني هوانغ وزملاؤه من جامعة جونز هوبكنز، وجامعة كارنيجي ميلون، وجامعة نيويورك، وجامعة جنوب كاليفورنيا، تبحث في هذا الجمع تحديدًا. لقد بنوا نظامًا لا يطبق كلتا الحيلتين بشكل أعمى، بل يعمل كمدير حذر، يقيس باستمرار تكلفة كل إجراء محتمل ويقرر، لكل طلب على حدة، ما إذا كان سيعيد استخدام الذاكرة، أو سيخمن للأمام، أو لن يفعل أياً منهما.
اختبر الباحثون نظامهم، الذي يسمونه R-AKV-ASD، على بطاقة رسومات لجهاز كمبيوتر محمول قياسي باستخدام زوجين من النماذج اللغوية. أجروا آلاف التجارب الموقوتة، حيث غدوا النظام بمطالبات (prompts) مختلفة الأطوال وطلبوا منه توليد نصوص ذات أحجام متفاوتة. كان جوهر عملهم هو "متحكم" ينظر إلى الوضع الحالي ويختار المسار الأفضل من قائمة الخيارات. شملت هذه الخيارات إعادة استخدام الذاكرة دون تخمين، أو إعادة استخدام الذاكرة مع التخمين لكلمة واحدة، أو كلمتين، أو ما يصل إلى ثماني كلمات للأمام، أو ببساطة تجاهل ذاكرة التخزين المؤقت بالكامل والبدء من جديد. قام النظام بقياس الوقت الذي استغرقته كل خطوة فعليًا على الأجهزة، بدلاً من الاعتماد على التقديرات النظرية.
كانت النتائج مفاجئة لأي شخص يتوقع تسارعًا شاملًا. وجدت الدراسة أن مجرد الجمع بين إعادة استخدام الذاكرة وكمية ثابتة من التخمين غالبًا ما جعل النظام أبطأ وليس أسرع. في كثير من الحالات، كان الوقت المستغرق في توليد التخمينات ثم التحقق منها أطول من الوقت الذي تم توفيره عن طريق تخطي العمل الأصلي. واكتشف الباحثون أن جزء "التخمين" في العملية لا يستحق العناء إلا عندما يكون النظام متأكدًا تقريبًا من أن التخمينات ستكون صحيحة. وفي تجاربهم، اختار المتحكم بشكل متكرر عدم القيام بأي شيء فيما يتعلق بالتخمين، باختيار إعداد يعيد استخدام الذاكرة ولكنه يولد النص كلمة بكلمة. لم يكن هذا القرار فشلًا للنظام، بل كان نجاحًا لمنطقه: فقد أدرك أن العبء الإضافي للتخمين كان مرتفعًا جدًا بالنسبة لظروف الاختبار المحددة.
وعندما قارن الباحثون نظامهم الذكي والتكيفي بنسخة تجبر النظام دائمًا على التخمين أربع كلمات مقدمًا، كان الفرق صارخًا. قلل النظام التكيفي من الوقت المستغرق لتوليد النص بنسبة 64.0 بالمائة وزاد من عدد الكلمات المولدة في الثانية بنسبة 170.8 بالمائة مقارنة بنهج التخمين القسري. وذلك لأن النظام التكيفي تجنب العقوبة الثقيلة للتخمينات الفاشلة. ومع ذلك، عند مقارنته بنظام يعيد استخدام الذاكرة فقط دون أي تخمين على الإطلاق، كان النظام التكيفي أبطأ بنسبة 0.45 بالمائ % فقط. يشير هذا الفرق الضئيل إلى أنه بالنسبة للأجهزة والنماذج المختبرة، فإن فعل التخمين للأمام لم يقدم أي فائدة حقيقية. لقد كان النظام جيدًا جدًا في معرفة متى لا يخمن، لدرجة أنه عمل فعليًا كنظام لم يخمن أبدًا.
كما حددت الدراسة بوضوح حدًا فاصلًا لمتى قد يصبح التخمين مفيدًا. حسب الباحثون أن النظام لن يبدأ في الاستفادة من التخمين إلا إذا وصلت احتمالية صحة التخمينات إلى عتبة عالية جدًا، تترا antara 89.4% و 97.3%. وفي تجاربهم، كان معدل قبول التخمينات الفعلي أقل من ذلك، مما يعني أن الظروف لم تكن مناسبة للسرعة الإضافية. كان متحكم النظام دقيقًا بشكل ملحوظ في اتخاذ هذا التمييز. وعلى الرغم من أنه لم يستطع التنبؤ بدقة بالوقت المستغرق للمهمة، إلا أنه كان دقيقًا بنسبة 100 بالمائة في تقرير ما إذا كان سيخمن أم لا. لقد حدد بشكل صحيح أن تكلفة التخمين تفوق الفوائد في معظم السيناريوهات التي اختبروها.
يسلط هذا العمل الضوء على درس حاسم لمستقبل أنظمة الذكاء الاصطناعي: الاستراتيجيات الأكثر تعقيدًا ليست دائمًا هي الأفضل. إن فكرة دمج تقنيات تحسين متعددة معًا تبدو فعالة، ولكن إذا لم تتماشى الأجزاء الفردية تمامًا مع قدرات الأجهزة، فقد تلغي بعضها البعض. أظهر الباحثون أن النظام الذي يعرف متى يتوقف غالبًا ما يكون أسرع من النظام الذي يحاول القيام بكل شيء. ومن خلال معاملة قرار التخمين كخيار متغير بدلاً من قاعدة ثابتة، أنشأوا طريقة تتكيف مع واقع الآلة. تشير النتائج إلى أنه بالنسبة للأجهزة الحالية، فإن المسار الأكثر كفاءة يتضمن غالبًا إعادة استخدام ما تعرفه وتوليد الباقي بعناية، بدلاً من الاندفاع للأمام بتخمينات قد تحتاج إلى تصحيح.
أجريت الدراسة باهتمام دقيق بالتفاصيل، حيث تم إجراء 3,600 عملية تنفيذ موقوتة لضمان أن النتائج ليست مجرد صدفة. لقد تحققوا من أن النص الذي أنتجه نظامهم التكيفي كان مطابقًا للنص الذي أنتجته الطريقة البطيئة القياسية، مما أثبت أن مكاسب السرعة لم تأتِ على حساب الدقة. وبينما كانت النتائج خاصة بالنماذج والأجهزة المستخدمة في التجربة، فإن المبدأ يحمل حقيقة أوسع: في عالم النماذج اللغوية الكبيرة المعقد، غالبًا ما تكون الخطوة الأذكى هي تلك التي تدرك متى يكون الاختصار في الواقع طريقًا طويلًا. لم يجد الباحثون حلاً سحريًا يسرع جميع عمليات توليد الذكاء الاصطناعي، لكنهم وجدوا طريقة موثوقة لتجنب التباطؤ الناتج عن محاولة التذاكي الزائد. يوفر عملهم حدودًا مدروسة وقائمة على البيانات لمتى يساعد التخمين ومتى يعيق، مما يقدم دليلًا واضحًا لبناء أنظمة أكثر كفاءة في المستقبل.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.