Learning Agent Execution for KV-Cache Management in Agentic Serving
تقدم هذه الورقة CacheScout، وهو وقت تشغيل لـ KV-cache مدرك للوكيل يتعلم انتقالات تنفيذ الوكيل عبر الإنترنت لإدارة استبعاد التخزين المؤقت والتحميل المسبق بشكل استباقي، مما يحسن معدلات الإصابة بشكل كبير ويقلل زمن الاستجابة لخدمة النماذج اللغوية الكبيرة متعددة الوكلاء دون الحاجة إلى رسوم بيانية لسير العمل محددة مسبقاً.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم الذكاء الاصطنا Artificial Intelligence الحديث، سادت طريقة جديدة لبناء المساعدين الأذكياء. فبدلاً من مطالبة عقل حاسوبي واحد كلي المعرفة بحل مشكلة معقدة دفعة واحدة، يقوم المطورون الآن بتفكيك المهام إلى فريق من العمال الرقميين المتخصصين. تخيل مخطط رحلات يطلب أولاً من وكيل واحد البحث عن الرحلات الجوية، ثم يسلم المهمة لوكيل آخر لحجز الفنادق، ثم ينقلها في النهاية إلى ثالث لتحديد المطاعم. كل أحد هؤلاء الوكلاء هو نموذج لغوي كبير، وهو نوع من البرمجيات التي تتنبأ بالكلمة التالية في الجملة بناءً على الأنماط التي تعلمتها. وللقيام بذلك، يجب على البرنامج الاحتفاظ بكمية هائلة من المعلومات في ذاكرته قصيرة المدى، المعروفة باسم "ذاكرة المفتاح والقيمة" (key-value cache). تعمل هذه الذاكرة كمساحة عمل يحتفظ فيها النموذج بقواعد اللعبة، وتعريفات الأدوات التي يمكنه استخدامها، وأمثلة على كيفية التصرف. وفي كل مرة ينضم فيها وكيل جديد إلى المحادثة، فإنه يجلب معه مجموعة خاصة من التعليمات والأمثلة، مما يخلق كتلة كبيرة من البيانات التي يجب على النظام معالجتها قبل أن يبتمكن من البدء في الإجابة على سؤال المستخدم المحدد.
تنشأ المشكلة لأن هذه الفرق الرقمية ديناميكية. فقد ينهي الوكيل الأول مهمته، وقد ينتقل النظام فوراً إلى وكيل مختلف تماماً، أو قد يعود إلى الوكيل الأول لاحقاً. وتدير أنظمة الكمبيوتر الحالية التي تشغل فرق الذكاء الاصطنا هذه ذاكرتها بشكل تفاعلي؛ فهي تحتفظ بالمعلومات الأكثر استخداماً مؤخراً وتتخلص من المعلومات القديمة لإفساح المجال للطلبات الجديدة. يعمل هذا بشكل جيد في المحادثات البسيطة، ولكنه يخلق عدم كفاءة محبطة في حالة الفريق متعدد الوكلاء. فغالباً ما يتخلص النظام من التعليمات الثابتة والأمثلة الخاصة بوكيل ما لمجرد أن ذلك الوكيل لم يتحدث في الثواني القليلة الماضية، رغم أن نفس الوكيل من المرجح أن يُستدعى مرة أخرى في الخطوة التالية مباشرة. وعندما يعود الوكيل، يضطر النظام إلى إعادة قراءة ومعالجة كل تلك التعليمات من الصفر، مما يهدر الوقت وقدرة المعالجة. وهذه الدورة من التخلص من البيانات وإعادة التعلم تبطئ العملية برمتها، مما يجعل الذكاء الاصطناعي يبدو بطيئاً ومكلفاً في التشغيل.
لقد طور باحثون في جامعة كاليفورنيا، سانتا كروز، ومؤسسات أخرى، نهجاً جديداً لحل هذه المشكلة، أطلقوا عليه اسم "CacheScout". فبدلاً من مجرد مراقبة ما حدث في الماضي، يتعلم هذا النظام التنبؤ بما سيحدث تالياً. إنه يعامل تدفق المحادثة ليس كسلسلة عشوائية من الأحداث، بل كنمط من الانتقالات بين مختلف العمال. ومن خلال ملاحظة مدى تكرار تبعية وكيل السفر لوكيل الفنادق، أو كيف قد ينتقل وكيل البرمجة إلى وكيل المراجعة، يبني النظام خريطة ذهنية لسير العمل أثناء تشغيله. وهو لا يحتاج إلى نص مكتوب مسبقاً أو خريطة يقدمها المطورون؛ بل يتعلم هذه الروابط أثناء العمل، ويحدث فهمه مع كل طلب يعالجه.
جوهر هذا النظام الجديد هو طبقة خفيفة الوزن تقع بين وكلاء الذكاء الاصطناعي وأجهزة الكمبيوتر. فعندما ينهي الوكيل مهمته، تنظر هذه الطبقة إلى تاريخ المحادثة وتتنبأ بالوكيل الأكثر احتمالاً للتحدث تالياً. وإذا كان النظام واثقاً بشأن الخطوة التالية، فإنه يتخذ إجراءين محددين لتسريع الأمور. أولاً، عندما يحتاج إلى إفراغ بيانات قديمة لإفساح المجال، فإنه يرفض حذف التعليمات الخاصة بالوكيل المتوقع عودته قريباً، حتى لو لم يتحدث ذلك الوكيل منذ فترة. إنه يحمي هذه الكتل القيمة من الذاكرة بناءً على أهميتها المستقبلية بدلاً من استخدامها الماضي. ثانياً، بينما ينتظر النظام الطلب التالي، فإنه يقوم بهدوء وبشكل غير مرئي بتحضير الذاكرة للوكيل المتوقع؛ حيث يقوم بتحميل التعليمات اللازمة في الذاكرة السريعة قبل أن يطلبها المستخدم حتى، بحيث يمكن للوكيل عندما يبدأ العمل أخيراً أن يبدأ فوراً دون تأخير.
اختبر الباحثون هذا النظام في مهام واقعية، بما في ذلك تخطيط الرحلات، وحل المسائل الرياضية، وكتابة أكواد البرمجيات. ووجدوا أنه من خلال تذكر أنماط سلوك الوكلاء، استطاع النظام الاحتفاظ بالمعلومات الصحيحة في الذاكرة بشكل أكثر تكراراً مما كان عليه في السابق. وقد تُرجم هذا التحسن مباشرة إلى السرعة؛ حيث انخفض الوقت المستغرق لظهور أول كلمة من الإجابة بنسبة تصل إلى 45%، وانخفض الوقت الإجمالي لإكمال دورة واحدة من المحادثة بنسبة تقارب 40%. كما تعامل النظام مع المزيد من الطلبات في وقت واحد، مما زاد إجمالي المهام التي يمكنه إنجازها في الثانية الواحدة بنسبة تصل إلى 57%.
والأهم من ذلك، أظهر الباحثون أن هذا النهج يعمل حتى عندما لا يكون سير العمل ثابتاً. ففي العديد من التطبيقات الحديثة، يتم تحديد الخطوة التالية بواسطة الذكاء الاصطناعي نفسه في الوقت الفعلي، مما يعني أن المسار يمكن أن يتغير بشكل غير متوقع. ويتكيف النظام الجديد مع هذه السيولة، حيث يتعلم المسارات الأكثر شيوعاً أثناء حدوثها ويعدل تنبؤاته وفقاً لذلك. كما أثبت فاعليته مع نماذج ذكاء اصطناعي أكبر وأكثر تعقيداً، محافظاً على مزايا السرعة حتى عندما كانت متطلبات الذاكرة أعلى بكثير. ويحقق النظام كل هذا دون إبطاء الكمبيوتر أو طلب أجهزة جديدة معقدة؛ فهو ببساطة يضيف قدراً صغيراً من الذكاء إلى عملية إدارة الذاكرة، محولاً إياها من نظام تخزين سلبي إلى مشارك نشط يعرف ما هو قادم.
تشير النتائج إلى أن مستقبل الخدمة الفعالة للذكاء الاصطناعي يكمن في فهم سياق العمل، وليس فقط البيانات نفسها. فمن خلال إدراك أن وكيل السفر من المرجح أن يتبعه وكيل الفنادق، يتوقف النظام عن معاملة كل لحظة كبداية جديدة ويبدأ في رؤية المحادثة كرحلة مستمرة. وهذا التحول من التفاعل مع الماضي إلى الاستعداد للمستقبل يسمح لهذه الفرق الرقمية بالعمل بشكل أسرع وأكثر كفاءة، مما يزيل الاختناقات التي أعاقت نشر تطبيقات الذكاء الاصطناعي المعقدة. والنتيجة هي نظام يبدو أكثر استجابة وقدرة، وقادراً على التعامل مع المهام المعقدة ومتعددة الخطوات التي تحدد الجيل القادم من خدمات الذكاء الاصطناعي.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.