Practical Online KV Cache Compaction for LLM Agents: An Empirical Study
تُظهر هذه الدراسة التجريبية أن عملية ضغط ذاكرة التخزين المؤقت لمفاتيح القيم (KV cache) العملية عبر الإنترنت لوكلاء النماذج اللغوية الكبيرة (LLM agents) يمكن أن تحقق تقليلاً كبيراً في الذاكرة ومكاسب في معدل الإنتاجية من خلال تأخير عملية الضغط حتى تتوفر استعلامات الوكيل المستقبلية واستخدام طرد الرموز (token eviction) مع مصادر وكيلة قوية، بدلاً من الاعتماد على افتراضات السياق الفورية أو الثابتة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول حل لغز ضخم ومتعدد الخطوات. لديك محقق بارع (ذكاء اصطناعي) يمكنه طرح الأسئلة، والتحقق من الأدلة، والتحدث إلى الشهود. لكن هناك عقبة: عقل المحقق لديه حد ذاكرة صارم. في كل مرة يتخذ فيها خطوة، أو يكتب ملاحظة، أو يسمع قصة شاهد، تتراكم تلك المعلومات. إذا استمرت القضية لفترة طويلة جدًا، سيمتلئ عقل المحقق بالملاحظات القديمة لدرجة أنه لن يعود قادرًا على التفكير بوضوح، أو ببساطة سينفد منه المساحة لكتابة ملاحظات جديدة. هذا هو عالم "وكلاء نماذج اللغات الكبيرة" (LLM Agents)—وهي برامج كمبيوتر ذكية تحل مهام معقدة عبر التحدث إلى الأدوات والإنترنت. أما "ذاكرة المفاتيح والقيم" (KV cache) فهي مجرد الاسم التقني لتلك الملاحظات المتراكمة في عقل المحقق. والحفاظ على هذه المجموعة صغيرة بما يكفي لتناسب الذاكرة، دون فقدان الأدلة اللازمة لحل القضية، هو التحدي الكبير الذي تعالجه هذه الورقة البحثية.
قرر الباحثون في جامعة كاليفورنيا، سانتا باربرا، ولينكد إن (LinkedIn)، اختبار حيلة ذكية تسمى "ضغط ذاكرة المفاتيح والقيم" (KV cache compaction). فكر في الأمر كأن المحقق يلخص تقريرًا شرطيًا طويلًا ومملًا في ملاحظة لاصقة واحدة. فبدلاً من الاحتفاظ بكل كلمة من محادثة ماضية، يحاول الذكاء الاصطناعي ضغطها في نسخة أقصر لا تزال تحتفظ بالمعنى الأكثر أهمية. لكن هنا تكمن الحبكة: في القصة العادية، أنت تعرف النهاية قبل أن تبدأ في التلخيص. أما في حياة وكيل الذكاء الاصطناعي، فالقصة تُكتب أثناء حدوثها. الذكاء الاصطناعي لا يعرف ما هو السؤال الذي سيطرحه بعد ذلك، لذا عليه تلخيص الماضي قبل أن يعرف ما الذي ستحتاجه المستقبَل. تسأل الورقة البحثية: كيف تلخص فصلاً من قصة وأنت لم تقرأ الفصل التالي بعد؟
اختبر الفريق طريقتين رئيسيتين للقيام بهذا التلخيص. الطريقة الأولى، وتسمى استبعاد الرموز (Token Eviction - TE)، تشبه محرراً صارماً يقرأ الصفحة الحالية ويقرر: "80% من هذه الكلمات مملة؛ دعونا نتخلص منها ونحتفظ فقط بأفضل 20%". أما الطريقة الثانية، وهي مطابقة الانتباه (Attention Matching - AM)، فهي أشبه بفنان مبدع لا يكتفي باختيار أفضل الكلمات فحسب، بل يحاول أيضًا رسم نسخة أقصر تبدو وكأنها تعطي نفس "الشعور" للنسخة الأصلية الطويلة عند قراءتها لاحقًا.
لتحديد الطريقة الأفضل للتلخيص، كان على الباحثين تحديد متى يتم ذلك وما الذي سيُستخدم كدليل. لقد اختبروا ثلاث استراتيجيات "دليل" مختلفة:
- دليل "الآن": التلخيص فورًا باستخدام الكلمات التي قيلت للتو.
- دليل "التكرار": اطلب من الذكاء الاصطناعي التظاهر بإعادة قراءة الجزء الأخير واستخدام ذلك لتحديد ما هو مهم.
- دليل "المستقبل": انتظر قليلاً. اترك الذكاء الاصطناعي يكتب الخطوات القليلة التالية من القصة، ثم استخدم هذه الأسئلة الجديدة لتحديد ما يجب الاحتفاظ به من الخطوات القديمة.
كانت النتائج مفاجئة وعملية. أولاً، وجدوا أن التلخيص الفوري (باستخدام دليل "الآن") غالبًا ما يجعل الذكاء الاصطناعي أقل ذكاءً. كان الأمر يشبه تلخيص الفصل الأول من رواية غموض قبل معرفة من هو الشرير؛ قد تتخلص من دليل يتبين لاحقًا أنه حيوي. ومع ذلك، إذا انتظروا دورًا واحدًا فقط—بترك الذكاء الاصطناعي يطرح سؤاله التالي أولاً—فإن التلخيص يصبح أكثر ذكاءً. فمن خلال استخدام دليل "المستقبل"، استطاع الذكاء الاصطناعي رؤية المعلومات التي كانت مطلوبة بالفعل والاحتفاظ بها فقط.
اكتشفوا أيضًا أن الطريقة الأبسط، استبعاد الرموز (TE)، كانت غالبًا أكثر موثوقية من طريقة مطابقة الانتباه (AM) المعقدة والمتطورة. حتى عندما لم يكن "الدليل" مثاليًا، صمد نهج "الاحتفاظ بأفضل 20%" بشكل أفضل. يبدو أن محاولة التذاكي باستخدام الرياضيات (كما تفعل AM) لا تساعد دائمًا عندما تكون في حالة تخمين للمستقبل.
الجزء الأكثر إثارة هو ما يعنيه هذا بالنسبة للسرعة والتكلفة. فعندما اختبروا ذلك على نماذج ذكاء اصطناعي أكبر وأقوى، كانت النتائج بمثابة تغيير لقواعد اللعبة. من خلال ضغط الذاكرة إلى 20% فقط من حجمها الأصلي (الاحتفاظ بواحد من كل خمسة رموز)، لم يوفروا المساحة فحسب، بل جعلوا الذكاء الاصطنال يعمل أسرع بـ 4.2 مرة في نموذج واحد و1.7 مرة أسرع في نموذج آخر. كيف؟ لأن "عقل" الذكاء الاصطناعي أصبح أصغر بكثير، مما سمح للكمبيوتر بتشغيل أربعة أضعاف عدد قضايا المحققين في نفس الوقت دون الانهيار.
ومن المثير للاهتمام أن الورقة لاحظت أيضًا أنه عندما تم ضغط ذاكرة الذكاء الاصطناعي، بدا المحقق أحيانًا "قلقًا" بعض الشيء؛ حيث مال إلى طرح المزيد من الأسئلة واتخاذ خطوات أكثر لحل نفس اللغز، ربما في محاولة للتحقق من الحقائق التي شعر أنه فقدها. وهذا يشير إلى أنه بينما لا يزال الذكاء الاصطناعي يصل إلى الإجابات الصحيحة، فإن سلوكه يتغير قليًا للتعويض عن الذاكرة الضيقة.
باختصار، تقترح هذه الورقة أنه إذا كنت تريد تشغيل وكلاء ذكاء اصطناعي أذكياء وطويلي الأمد دون كسر الميزانية أو ذاكرة الكمبيوتر، فلا ينبغي عليك التسرع في التلخيص. بدلاً من ذلك، اترك الذكاء الاصطناعي يتخذ بضع خطوات إضافية، وألقِ نظرة على ما سيفعله بعد ذلك، ثم قم بضغط الماضي. ومن المثير للدهشة أنك لست بحاجة إلى خوارزمية شديدة التعقيد للقيام بذلك؛ فمجرد اختيار ذكي لأهم الكلمات يعمل بشكل جيد، إن لم يكن أفضل. هذا النهج يمكن أن يجعل تشغيل هؤلاء الوكلاء المتقدمين للذكاء الاصطناعي أرخص وأسرع بكثير للجميع.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.