ملخص تقني: CachePrune

بيان المشكلة

تعتمد النماذج اللغوية الكبيرة (LLMs) على تخزين مفاتيح القيم (KV caching) لتسريع عملية الاستدلال، وغالباً ما تقوم أنظمة الخدمة الحديثة بمشاركة مخازن KV عبر مستخدمين مختلفين لتقليل الحوسبة المكررة واستهلاك الذاكرة. ومع ذلك، فإن المشاركة غير المقيدة عبر المستخدمين تفتح ثغرات أمنية خطيرة من نوع القنوات الجانبية (side-channel vulnerabilities). يمكن للمهاجمين استقصاء النظام باستخدام تسلسلات معينة من الرموز (tokens)؛ فإذا قام النظام بإعادة استخدام مدخلات KV المخزنة (يُكتشف ذلك عبر انخفاض زمن الاستجابة أو أولوية الجدولة)، يمكن للمهاجم استنتاج وجود تلك الرموز في نص الضحية، مما قد يؤدي إلى إعادة بناء المدخلات الحساسة.

تعتمد الدفاعات الحالية عادةً على تعطيل مشاركة المستخدمين بالكامل لمنع التسريب. هذا النهج "الكل أو لا شيء" هو نهج خشن للغاية. ففي الواقع، تحتوي مطالبات المستخدمين على محتوى كبير غير ذي صلة بالخصوصية (مثل تعليمات النظام، أو القوالب العامة، أو الفقرات المسترجعة في خطوط أنابيب RAG)، حيث تشكل الرموز الحساسة (مثل معلومات الهوية الشخصية PII) جزءاً ضئيلاً جداً من إجمالي المدخلات (حوالي 2.3% من مدخلات المستخدم مثلاً). إن تعطيل جميع عمليات المشاركة يضحي بمكاسب الكفاءة الكبيرة. علاوة على ذلك، تعمل آليات المشاركة الحالية دقيقة التفاصيل (مثل CacheBlend وCacheCraft) عند مستويات قطع ثابتة (مثل 512 رمزاً). وإذا وقع رمز حساس واحد ضمن قطعة معينة، يجب التخلص من القطعة بأكملها، مما يؤدي إلى خسارة كبيرة في المحتوى القابل لإعادة الاستخدام.

المنهجية: CachePrune

يقترح المؤلفون CachePrune، وهو آلية لمشاركة مخزن KV تراعي الخصوصية وتسمح بـ إعادة استخدام دقيقة على مستوى الرمز (token-level) لمدخلات KV غير الحساسة. تم تصميم النظام لكسر المقايضة بين الخصوصية والكفاءة من خلال مشاركة الأجزاء غير الحساسة للخصوصية بشكل انتقائي فقط.

بنية النظام

يتكامل CachePrune مع خمس مكونات أساسية فوق أطر العمل الحالية مثل vLLM:

1. كاشف الحساسية (Sensitivity Detector): واجهة قابلة للتوصيل (تدعم القواعد المعرفة من قبل المستخدم، أو التعبيرات النمطية/regex، أو المصنفات مثل Presidio) تحدد الرموز الحساسة في المطالبة وتنشئ قناع حساسية ثنائي.
2. موسم KV (KV Annotator): بعد الاستدلال، يقوم هذا النموذج بتحليل مصفوفة درجات الانتباه لاستخلاص الأجزاء القابلة لإعادة الاستخدام من الرموز غير الحساسة. ويحدد أجزاء "السياق الذاتي" (self-contextualized) حيث يتجاوز الانتباه الداخلي (intra-attention) الانتباه البيني (inter-attention).
3. مسترجع KV (KV Retriever): قبل إنشاء الاستجابة، يبحث هذا النموذج في مجموعة KV عن الأجزاء التي تطابق الرموز غير الحساسة للطلب الوارد باستخدام خوارزمية تعتمد على التجزئة المتدحرجة (rolling-hash).
4. محرك LLM: يكمل عملية الاستدلال عن طريق حساب مدخلات KV المفقودة وإعادة حساب رموز محددة داخل الأجزاء المعاد استخدامها للحفاظ على جودة التوليد.
5. مجموعة KV (KV Pool): تخزن وتفهرس أجزاء KV القابلة لإعادة الاستخدام، وتدير دورة حياتها وعمليات الإخلاء.

الحلول الخوارزمية الرئيسية

يعالج النظام تحديين رئيسيين:

1. اشتقاق أجزاء KV القابلة لإعادة الاستخدام بكفاءة (التحدي 1)

• المشكلة: يتطلب تحديد قابلية إعادة الاستخدام على مستوى الرمز تقييم تبعيات الانتباه لمتتاليات فرعية عشوائية. النهج الساذج الذي يفحص جميع المتتاليات الفرعية مقابل مصفوفة الانتباه ينتج تعقيداً قدره $O(n^4)$، وهو أمر غير عملي.
• الحل: يستخدم CachePrune خوارزمية الجدول المجموعي المساحي (summed-area table/integral image) على مصفوفة درجات الانتباه. يسمح هذا للنظام بحساب مجموعات الانتباه الداخلي والبيني لأي متتالية فرعية مرشحة في زمن قدره $O(1)$ بعد خطوة معالجة مسبقة قدرها $O(n^2)$. وهذا يقلل التعقيد الإجمالي لإيجاد الأجزاء المثلى القابلة لإعادة الاستخدام إلى $O(n^2)$.
• استراتيجية إعادة الحساب: داخل الجزء القابل لإعادة الاستخدام، يتم تحديد الرموز ذات الانتباه البيني العالي (الاعتماد على سياق خارجي) لإعادة حسابها من أجل الحفاظ على جودة المخرجات.

2. استرجاع أجزاء متغيرة الطول بكفاءة (التحدي 2)

• المشكلة: على عكس القطع ذات الحجم الثابت، تنتج المشاركة على مستوى الرمز أجزاءً متغيرة الطول. تفشل عمليات البحث المباشر عن التجزئة بسبب كسر المحاذاة الناتج عن إزاحة رمز واحد، مما يجعل الاسترجاع مشكلة احتواء متتالية فرعية بتعقيد $O(n \times m)$ للبحث الساذج.
• الحل: يستخدم النظام خوارزمية استرجاع تعتمد على التجزئة المتدحرجة (rolling-hash-based retrieval).
  • تصفية البادئة (Prefix Filtering): يقوم النظام بحساب التجزئات (hashes) لأول 128 رمزاً من أجزاء الذاكرة المخبأة. يتم فحص الطلبات الواردة باستخدام نافذة منزلقة للعثور على مطابقات محتملة في زمن $O(n)$.
  • التحقق الكامل (Full Verification): تخضع المرشحات لفحص سريع لتجزئة البادئة متبوعاً بالتحقق من التجزئة التشفيرية (SHA-256) لضمان الصحة دون الحاجة لمقارنة الرموز واحداً تلو الآخر.

المساهمات الرئيسية

1. أول نظام عملي للمشاركة دقيقة التفاصيل: يعد CachePrune أول نظام يتيح مشاركة مخزن KV الانتقائية على مستوى الرمز، مما يكسر فعلياً المقايضة بين الخصوصية والكفاءة عبر إعادة استخدام المدخلات غير الحساسة مع حظر المدخلات الحساسة.
2. ابتكارات خوارزمية: يقدم البحث خوارزمية تكيفية تستخدم الجداول المجموعية المساحية لاشتقاق الأجزاء بكفاءة، وآلية تجزئة متدحرجة للاسترجاع متغير الطول، متجاوزاً قيود أساليب القطع الثابتة.
3. تقييم شامل: قام المؤلفون بتنفيذ CachePrude على vLLM وتقييمه عبر ثلاث مجموعات بيانات (QASPER, NarrativeQA, QMSum) وعدة نماذج (Mistral-7B, Qwen2.5).

النتائج

يظهر التقييم أن CachePrune يحقق مكاسب كفاءة كبيرة دون المساس بالخصوصية أو جودة التوليد:

• الخصوصية:
  • التسريب المباشر: لا يمكن استرداد الرموز المحددة كحساسة عبر القنوات الجانبية القائمة على إعادة الاستخدام (نسبة استرداد دقيقة 0%).
  • التسريب السياقي: يظل استنتاج المحتوى الحساس من الرموز غير الحساسة محدوداً (2.2% استرداد دقيق و6.4% استرداد دلالي تحت هجمات الحالة الراهنة SOTA).
  • التحري غير الكامل: النظام قوي تجاه أخطاء الكشف؛ حيث تزيد السلبيات الكاذبة من التسريب المباشر، بينما تقلل الإيجابيات الكاذبة من التسريب السياقي بشكل تحفظي.
• الكفاءة:
  • تقليل TTFT: يقلل CachePrude زمن الوصول لأول رمز (TTFT) بما يصل إلى 4.5 ضعف مقارنة بأساليب عدم المشاركة.
  • معدلات الإصابة (Hit Rates): يحقق معدل إعادة استخدام لمخزن KV يصل إلى 94.57%.
  • ميزة الدقة: حتى بدون قيود الخصوصية، يحسن مشاركة الرموز في CachePrune معدلات إصابة الذاكرة المخبأة بنسبة 44% مقارنة بطرق القطع الثابتة الرائدة (CacheCraft, CacheBlend, EPIC).
• الجودة: تظل جودة التوليد (مقاسة بـ F1-score وROUGE-L) مماثلة لإعادة الحساب الكامل، مع انحراف ضئيل جداً.

الأهمية والادعاءات

يزعم البحث أن CachePrune يوفر أساساً عملياً لخدمة LLM آمنة في بيئات تعدد المستأجرين. من خلال تجاوز تقسيم القطع ثابتة الحجم، فإنه يعظم إمكانات إعادة استخدام المحتوى غير الحساس للخصوصية (مثل مطالبات النظام والبيانات العامة) مع عزل مدخلات المستخدم الحساسة بصرامة. يؤكد المؤلفون أن نهجهم لا يتطلب آليات جديدة للكشف عن الخصوصية، بل يتكامل مع الآليات الموجودة لتوفير واجهة موحدة لاستدلال عالي الأداء وآمن. يسلط العمل الضوء على أن إدارة الـ KV دقيقة التفاصيل ليست ممكنة فحسب، بل هي ضرورية للموازنة بين متطلبات الخصوصية والكفاءة المتنافسة في البنية التحتية الحديثة للنماذج اللغوية الكبيرة.