Efficient Serving for Dynamic Agent Workflows with Prediction-based KV-Cache Management
تقدم الورقة البحثية نظام PBKV، وهو نظام قائم على التنبؤ يقوم بالتنبؤ ديناميكيًا باستدعاءات الوكلاء المستقبلية في سير عمل النماذج اللغوية الكبيرة (LLM) لإدارة والاحتفاظ بمدخلات ذاكرة التخزين المؤقت (KV-cache) ذات الإمكانات العالية في ذاكرة وحدة معالجة الرسومات (GPU) بذكاء، مما يحقق تسريعًا كبيرًا مقارنة بالنماذج المرجعية الحالية في كل من سير العمل الديناميكي والثابت.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تدير مطبخاً راقياً ومزدحماً. في هذا المطبخ، تعتبر نماذج اللغات الكبيرة (LLMs) هي كبار الطهاة، والوكلاء (Agents) هم محطات العمل المتخصصة (مثل محطة الشواء، أو ركن السلطات، أو طاهي الحلويات) الذين يعملون معاً لإكمال طلب معقد.
عندما يعد الشيف طبقاً، فإنه يبني "سياقاً ذهنياً" (المكونات، خطوات الوصفة، الحالة الراهنة للوجبة). وفي لغة الكمبيوتر، يسمى هذا KV-Cache. إنه يشبه محطة تحضير الشيف: إذا كانت الخطوة التالية تتطلب نفس البصل المفروم أو نفس الصلصة، فلا يريد الشيف تقطيع وخلط كل شيء من جديد؛ بل يأخذ ما هو موجود بالفعل. هذا يوفر وقتاً هائلاً.
ومع ذلك، فإن المطبخ لديه مساحة محدة على طاولة التحضير (ذاكرة وحدة معالجة الرسومات - GPU memory). لا يمكنك إبقاء كل محطة تحضير جاهزة للأبد؛ إذ يجب عليك أن تقرر ما الذي ستتخلص منه لتفسح مجالاً لطلبات جديدة.
المشكلة: "لعبة التخمين" في المطبخ
في الماضي، كانت المطابخ تستخدم قاعدة بسيطة تسمى LRU (الأقل استخداماً مؤخراً): "إذا لم تُستخدم محطة ما منذ فترة، فقم بإخلائها".
- العيب: في مطعم ديناميكي، قد تظل المحطة خاملة لفترة بينما يتحدث الشيف مع زبون أو ينتظر تسليم شحنة، ولكن بعد ذلك قد يحتاجها فوراً مرة أخرى. تقوم قاعدة LRU بالتخلص منها لمجرد أنها كانت هادئة، مما يجبر الشيف على البدء من الصفر (عملية "إعادة التعبئة" - re-prefill)، وهي عملية بطيئة ومكلفة.
هناك نهج آخر، يسمى KVFlow، افترض أن مدير المطبخ يعرف الترتيب الدقيق لكل محطة مسبقاً (مثلاً: "شواء -> سلطة -> حلويات").
- العيب: الحياة الواقعية فوضوية. أحياناً يكتشف طاهي السلطة أن الخس فاسد ويضطر للعودة إلى الثلاجة (حلقة إعادة المحاولة - retry loop). وأحياناً يقرر طاهي الحلويات صنع حلوى جديدة بناءً على رد فعل الزبون. الترتيب ليس ثابتاً؛ بل يتغير بناءً على المحادثة. وعليه، يصاب نظام KVFlow بالارتباك عندما يتغير المخطط.
الحل: PBKV (مدير المطبخ "المتنبئ بالمستقبل")
قام المؤلفون ببناء نظام جديد يسمى PBKV (إدارة KV-Cache القائمة على التنبؤ). بدلاً من التخمين بناءً على "من كان الأكثر انشغالاً" أو "ماذا قال المخطط بالأمس"، يعمل PBKV كمدير مطبخ ذكي للغاية يمكنه استشراف المستقبل القريب.
إليك كيف يعمل PBKV، باستخدام تشبيهات بسيطة:
1. الكرة البلورية (المتنبئ)
يمتلك PBKV "كرة بلورية" (نموذج تعلم آلي) تنظر في الطلب الحالي وتاريخ الطلبات المماثلة لتتنبأ: "ما هي المحطات التي سيحتاجها الشيف في الخطوات الثلاث القادمة؟"
- كيف يعمل: هو لا يخمن الخطوة التالية فحسب (والتي قد تكون خاطئة)؛ بل يخمن الخطوات الثلاث القادمة دفعة واحدة. إنه يجمع بين "هيكل القائمة" (التدفق العام للمطعم) و"تفاصيل الطلب المحددة" (ما قاله الزبون بالفعل).
- التشبيه: إذا قال الزبون: "أريد برجر، ولكن ربما مع جبنة إضافية"، يتنبأ المدير: "الشواء أولاً، ثم ربما محطة الجبن، وإذا غير رأيه، فربما محطة الخبز".
2. قاعدة المحطة "المتقاعدة" (الإخلاء الواعي بدورة الحياة)
لدى PBKV قاعدة ذهبية: إذا انتهى الطبق، قم بإخلاء محطته فوراً.
- التشبيه: إذا دفع الزبون غادر الطاولة، فأنت لا تنتظر قاعدة "الأقل استخداماً مؤخراً" لإخلاء طاولته؛ بل تقوم بإخلائها الآن لتفسح مجالاً لضيوف جدد. يقوم PBK تلقائياً بتحديد سير العمل "المنتهي" ويستعيد مساحة الذاكرة الخاصة به قبل النظر في أي شيء آخر. هذا يمثل فوزاً كبيراً لأننا متأكدون بنسبة 100% أن تلك المحطات لن تُستخدم مرة أخرى.
3. نظام "بطاقة النقاط" (تسجيل النقاط الاستشرافي)
بالنسبة للمحطات التي لا تزال نشطة، لا يكتفي PBKV بالتخمين؛ بل يحسب درجة (Score).
- التشبيه: تخيل أن كل محطة تحضير تحصل على درجة بناءً على: "ما مدى احتمالية أن يحتاج أي شيف في المطبخ لهذا الشيء في الدقائق القليلة القادمة؟"
- إذا تم التنبؤ بأن "محطة الجبن" ستكون مطلوبة من 5 طلبات مختلفة قريباً، فإن درجتها ستكون عالية، وستبقى على الطاولة.
- أما إذا كانت "الصلصة الخاصة" مطلوبة فقط لطلب واحد قد يُلغى، فإن درجتها ستكون منخفضة، وسيتم نقلها إلى الثلاجة الخلفية (الذاكرة المضيفة - Host Memory) لتوفير مساحة على الطاولة.
4. الطلب المسبق "الآمن" (التحضير المسبق المتحفظ)
أحياناً، يعتقد المدير أن محطة ما ستكون مطلوبة قريباً، لذا يحاول إخراج المكونات من الثلاجة إلى الطاولة قبل أن يطلبها الشيف.
- التشبيه: PBKV متحفظ جداً هنا. فهو لا يخرج المكونات إلا إذا:
- كانت هناك مساحة فارغة بالفعل على الطاولة.
- لم يكن ذلك سيضطر لإخراج أي شيء قيم من مكانه.
- لم يكن ذلك سيعيق حركة شاحنة التوصيل الرئيسية (نطاق تردد PCIe).
- كانت هناك مساحة فارغة بالفعل على الطاولة.
- لماذا؟ إذا أخطأ المدير وأخرج المكونات الخاطئة، فقد يضطر للتخلص من مكون صحيح لإفساح المجال. وهذا كارثي. يقول PBKV: "إذا لم نكن متأكدين، فلن نغامر بالأشياء الثمينة".
النتائج: مطبخ أسرع
اختبر المؤلفون PBKV في ثلاثة "مطابخ" (أعباء عمل):
- التحقق من الحقائق (Fact Checking): سير عمل حيث يقوم الوكلاء بالتحقق من المعلومات.
- كتابة الكود (Code Writing): سير عمل حيث يقوم الوكلاء بكتابة وإصلاح الكود (يتضمن غالباً حلقات تكرار/محاولات).
- التحليل المالي (Financial Analysis): سير عمل ثابت (للمقارنة).
النتائج:
- مقارنة بقاعدة "آخر استخدام" (LRU)، جعل PBKV المطبخ أسرع بمقدار 1.85 مرة في المهام الديناميكية.
- أبقى "محطات التحضير" (الذاكرة المخبأة - Cache) جاهزة أكثر بمقدار 2.55 مرة من قاعدة LRU.
- حتى عند مقارنته بأفضل نظام سابق (KVFlow) في المهام الثابتة، كان PBKS أسرع بمقدار 1.26 مرة.
شبكة الأمان
يثبت البحث أيضاً رياضياً أنه حتى لو ارتكبت "الكرة البلورية" (المتنبئ) أخطاءً، فإن النظام لا ينهار، بل يتراجع بشكل تدريجي وآمن.
- التشبيه: إذا كان تنبؤ المدير غير دقيق تماماً، فإن النظام يعود ببساطة إلى طريقة آمنة ومعيارية لإدارة الطاولة. لن يجعل الأمر أسوأ مما لو لم يحاول المدير التنبؤ من الأساس.
الملخص
PBKV هو مدير مطبخ ذكي لسير عمل الذكاء الاصطناعي. فهو يتوقف عن التخلص من الأدوات المفيدة لمجرد أنها كانت هادئة للحظة، ويتوقف عن التخمين الأعمى. بدلاً من ذلك، ينظر إلى الأمام، ويخلي الأعمال المنتهية فوراً، ولا ينقل الأشياء من مكانها إلا عندما يكون ذلك آمناً. والنتيجة هي نظام ذكاء اصطناعي أسرع وأكثر كفاءة، يتعامل مع المهام المعقدة والمتغيرة دون أن يتعثر.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.