ملخص تقني: SAECache – الإخلاء الواعي دلاليًا لـ ذاكرة التخزين المؤقت للبادئات (Prefix Caches) في النماذج اللغوية الكبيرة (LLMs)

بيان المشكلة

يهدف التخزين المؤقت للبادئات (Prefix caching) في النماذج اللغوية الكبيرة (LLMs) إلى تقليل زمن استجابة الاستدلال (تحديدًا زمن الوصول إلى أول توكن أو TTFT) عن طريق إعادة استخدام حالات (Key-Value) من الطلبات التي تشترك في بادئات مدخلات واحدة. ومع ذلك، فإن فعالية التخزين المؤقت للبادئات مقيدة بشدة بسعة ذاكرة وحدة معالجة الرسومات (GPU) المحدودة، مما يستلزم وجود سياسة إخلاء (eviction policy) للتخلص من الكتل (blocks) الأقل قيمة عند وصول السعة إلى حدها الأقصى.

تعتمد سياسات الإخلاء الحالية، مثل "الأقل استخدامًا مؤخرًا" (LRU) و"الأقل استخدامًا تكرارًا" (LFU)، بشكل أساسي على إحصائيات وقت الوصول أو التكرار. هذه النهج غير المتوافقة مع نوع الرموز (token-agnostic) تعامل جميع كتل التخزين المؤقت بشكل موحد، متجاهلة بُعدين حرجين في أعباء عمل النماذج اللغوية الكبيرة:

1. التباين الدلالي (Semantic Heterogeneity): تُظهر أنواع الرموز المختلفة (مثل: المطالبات النظامية مقابل سلسلة أفك "chain-of-thought") معدلات إعادة استخدام جوهرية متفاوتة تمامًا.
2. تباين أعباء العمل (Workload Variability): تختلف أنماط إعادة الاستخدام بشكل كبير بين الطلبات ذات الدور الواحد ذات القوالب (إعادة استخدام هيكلية) وبين المحادثات متعددة الأدوار (إعادة استخدام زمنية محلية للجلسة)، حيث تتبع الفترات الفاصلة بين الأدوار توزيعات متميزة عبر أنواع التطبيقات المختلفة (مثل: الدردشة مقابل سير عمل الوكلاء/Agents).

لاحظ المؤلفون أن معاملة كتلة مطالبات نظامية عالية القيمة وكتلة "سلسلة أفك" منخفضة القيمة كأنهما متساويتان عندما يتطابق زمن حداثتهما يؤدي إلى تخصيص غير مثالي للذاكرة. علاوة على ذلك، تفشل السياسات ذات المعلمات الثابتة عندما تتغير تركيبات أعباء العمل، مما يسبب تدهورًا في الأداء يصل إلى 2.7 ضعفًا تحت ظروف عدم تطابق أعباء العمل.

المنهجية: SAECache

لمعالجة هذه القيود، يقترح المؤلفون SAECache (الإخلاء المتكيف دلاليًا لتخزين البادئات)، وهي سياسة تدمج البنية الدلالية للرموز مع التكيف عبر الإنترنت مع أعباء العمل. يعمل النظام من خلال ثلاث آليات أساسية:

1. بنية الطوابير المتعددة مع التوجيه القائم على القواعد

يقوم SAECache بتوجيه كتل (KV) إلى أربعة طوابير متميزة بناءً على أنماط إعادة الاستخدام المهيمنة عليها، بدلاً من طابور عالمي واحد:

• طابور الإخلاء أولاً (Evict-First Queue): يخزن الكتل منخفضة القيمة، بما في ذلك رموز مرحلة فك التشفين (decode-phase) وكتل مرحلة التعبئة المسبقة (prefill) غير المعتمدة على قوالب والتي تمتلك إمكانات إعادة استخدام منخفضة. يتم تفريغ هذه الكتل أولاً.
• الطابور الهيكلي (Structural Queue): يخزن كتل (KV) من الجلسات ذات الدور الواحد التي تعتمد على هياكل المطالبات المشتركة (مثل: قوالب استخدام الأدوات، تعليمات البرمجة).
• طابور الدردشة (Chat Queue): يخزن كتل الأدوار المتعددة من جلسات المحادثة، ويقوم بنمذجة إعادة الاستخدام الزمنية المحلية للجلسة.
• طابور الوكلاء (Agentic Queue): يخزن كتل الأدوار المتعددة من جلسات الوكلاء/استخدام الأدوات، والتي تُظهر محتوى رموز وتوزيعات فترات طلب مختلفة مقارنة بالدردشة القياسية.

يقوم متنبئ الجلسة متعدد الأدوار خفيف الوزن (وهو عبارة عن MLP مكون من 3 طبقات يعيد استخدام الحالات المخفية النهائية لنموذذ الاستدلال) بحل الغموض للطلب الأول من الجلسة، حيث يوجهه إلى طابور الأدوار المتعددة المناسب إذا تم التنبؤ باستمرارية الجلسة، أو إلى الطوابير الهيكلية/طوابير الإخلاء أولاً بخلاف ذلك.

2. تسجيل الأولويات المحلي

داخل كل طابور، يتم تسجيل درجات الكتل للإخلاء بناءً على مقياس مركب $P(b)$:
$$P(b) = \alpha_q \cdot w_{\tau(b)} \cdot \frac{p_q(b)}{\Delta t_b}$$

• $\alpha_q$ (وزن الطابور): وزن ديناميكي يعكس كفاءة الإصابة (hit efficiency) الأخيرة لطابور معين.
• $w_{\tau(b)}$ (وزن نوع الرمز): وزن متعلم خاص بنوع الرمز (مثل: المطالبة النظامية، استعلام المستخدم، سلسلة الأفك) الخاص بالكتلة.
• $p_q(b)$ (احتمالية البقاء المحلي):
  • لطوابير الدردشة/الوكلاء: تُحسب كاحتمالية البقاء $1 - F_{LN}(\Delta t_b; \mu_q, \sigma_q)$ تحت توزيع لوغاريتمي طبيعي (log-normal) ملائم للفترات الفاصلة بين الأدوار لذلك النوع من الجلسات.
  • للطابور الهيكلي: تُحسب كـ $1 - (o_b / o_{max})^\gamma$، حيث $o_b$ هو إزاحة الكتلة (block offset) و $\gamma$ هو قوة اضمحلال متعلمة، مما يعطي الأولوية للكتل المبكرة في المطالبة.
• $\Delta t_b$: الوقت المنقضي منذ آخر وصول للكتلة.

3. التعلم المتكيف عبر الإنترنت (Fully Adaptive Online Learning)

يلغي SAECache الضبط اليدوي عن طريق تحديث جميع المعلمات عبر الإنترنت من خلال حلقة تغذية راجعة موحدة تعتمد على إحصائيات إصابة/خطأ التخزين المؤقت (cache hit/miss):

• أوزان نوع الرمز: يتم تحديثها عبر المتوسط المتحرك الأسي (EMA) بناءً على معدلات "الخطأ بعد الإخلاء" ومعدلات الإصابة الإجمالية.
• معلمات التوزيع اللوغاريتمي الطبيعي ($\mu, \sigma$): تُقدر عبر الإنترنت باستخدام تقدير الاحتمال الأقصى (MLE) على أوقات الوصول الملحوظة للفترات الفاصلة بين الأدوار لجلسات الدردشة والوكلاء.
• قوة اضمحلال الموضع ($\gamma$): تُتعلم من الارتباطات بين موضع الكتلة ومعدلات الإصابة في الطابور الهيكلي.
• أوزان الطوابير ($\alpha_q$): تُحدث بناءً على نسبة الرموز المصابة (hit tokens) إلى السعة المخصصة لكل طابور، مع قياسها بمعامل درجة الحرارة (temperature parameter).

المساهمات الرئيسية

1. التوصيف التجريبي: دراسة منهجية كشفت أن إعادة استخدام الرموز تتباين بمقدار يصل إلى 756× عبر أنواع الرموز (92.3% للمطالبات النظامية مقابل 2.2% لسلسلة الأفك) وأن الفترات الفاصلة بين الأدوار تتبع توزيعات لوغاريتمية طبيعية خاصة بكل جلسة بدلاً من مجرد اضمحلال أسي بسيط.
2. سياسة SAECache: سياسة إخلاء واعية دلاليًا ومتعددة الطوابير تفصل بين آليات إعادة الاستخدام المتباينة (الهيكلية مقابل الزمنية) وتخصص أولويات متميزة لأنواع الرموز.
3. التكيف عبر الإنترنت: إطار عمل تعلم يقوم تلقائيًا بضبط التوزيعات الزمنية، واضمحلال الموضع، ومعلمات الوزن دون تدخل يدوي، مما يتكيف مع تغيرات تركيبات أعباء العمل.
4. التقييم الشامل: تجارب واسعة النطاق على مجموعات بيانات واقعية (ShareGPT, LMSys, Chatbot-Arena) تثبت المتانة عبر أعباء العمل غير المتجانسة.

النتائج التجريبية

تم التقييم على تنفيذ vLLM باستخدام Qwen2.5-1.5B-Instruct على وحدة معالجة رسومات NVIDIA A40، حيث تمت مقارنة SAECache مع LRU (الأساس الإنتاجي) وLPC (التعلم المسبق للبادئات).

• تحسين TTFT: حقق SAECache تحسنًا بنسبة 1.4× إلى 2.7× في زمن TTFT مقارنة بالنماذج الأساسية في بيئات الإنتاج عبر أعباء العمل غير المتجانسة.
• نسبة إصابة التخزين المؤقت: حقق SAECache باستمرار أعلى معدلات إصابة، محققًا تحسنًا قدره 4.8–5.9 نقطة مئوية فوق أقوى نموذج أساسي (LRU أو LPC) عبر جميع التكوينات المختبرة.
• المرونة تجاه عدم تطابق أعباء العمل: عانت البدائل ذات المعلمات الثابتة من تدهور يصل إلى 2.7× في TTFT عندما انحرفت تركيبة أعباء العمل عن مسار التدريب. حافظ SAECache على أداء مستقر من خلال تكييف معلماته عبر الإنترنت.
• دراسات الاستئصال (Ablation Studies):
  • ساهم التوزين الواعي بنوع الرمز في تحسين إضافي بنسبة 23%.
  • ساهم التوزين المتكيف للطوابير بأكبر مكسب وهو 39%.
  • وفر تعلم التوقيت اللوغاريتمي الطبيعي واضمحلال الموضع مكاسب إضافية بنسبة 14% و12% على التوالي.
• التكاليف الإضافية (Overhead): متنبئ الجلسة متعدد الأدوار فعال للغاية، حيث يتطلب حوالي مليون معلمة فقط (مقابل 118 مليون لنموذج التضمين في LPC) ويحقق إنتاجية استدلال أعلى بـ 8.8×.

الأهمية والادعاءات

يزعم البحث أن إخلاء التخزين المؤقت للبادئات لا ينبغي أن يعامل جميع الكتل المخزنة بشكل موحد، حتى عندما تتشارك في إحصائيات حداثة أو تكرار متشابهة. يؤكد المؤلفون أن دلالات الرموز، وهيكل المطالبة، ونوع الجلسة هي محركات أساسية لإعادة الاستخدام تفشل السياسات الحالية في التقاطها.

تكمكمن أهمية SAECache في قدرته على:

1. سد الفجوة بين السياسات الاستدلالية (Heuristic) الثابتة والواقع الدلالي الديناميكي لخدمة النماذج اللغوية الكبيرة.
2. إلغاء الضبط اليدوي، مما يجعل النظام قويًا تجاه تحولات أعباء العمل (مثل الانتقال من كثافة الدردشة إلى كثافة استخدام الأدوات) دون الحاجة لإعادة تدريب أو تعديل المعلمات.
3. إثبات أن الإخلاء الدقيق والواعي دلاليًا هو خيار تصميمي حاسم لخدمة النماذج اللغوية الكبيرة بكفاءة، خاصة في البيئات ذات الضغط العالي على التخزين المؤقت وأنماط الطلبات غير المتجانسة.

يشير المؤلفون إلى أنه بينما يتفوق SA_Cache في أعباء العمل متعددة الأدوار والمختلطة، فإن تكاليفه الإضافية قد تقلل قليًا من الأداء في الأنظمة التي تهيمن عليها الأدوار الفردية (مثل Chatbot-Arena)، حيث لا تعوض فوائد معدلات الإصابة الأعلى تكاليف الإدارة بالكامل، مما يسلط الض الضوء على ضرورة وجود استراتيجيات تكيفية يمكن أن تتوسع مع خصائص أعباء العمل.