ملخص تقني: Irminsul: التخزين المؤقت المستقل عن الموضع والمبني على بنية MLA لخدمة الوكلاء الذكيين (Agentic LLM Serving)

1. بيان المشكلة

تعتمد خدمة النماذج اللغوية الكبيرة (LLM) في بيئات الإنتاج الحالية بشكل كبير على التخزين المؤقت للبادئات (Prefix Caching) (مثل RadixAttention من SGLang، وPagedAttention من vLLM)، والتي تقوم بتخزين حالات المفتاح-القيمة (KV) بناءً على بادئات تسلسل الرموز (tokens) المتطابقة تماماً. وبينما تعد هذه الآلية فعالة في عمليات تبادل الأدوار الحوارية القياسية، إلا أنها تفشل فشلاً ذريعاً في أعباء عمل الوكلاء (Agentic Workloads).

في أنظمة الوكلاء (مثل استخدام الأدوات، التوليد المعزز بالاسترجاع RAG، وتنسيق الوكلاء المتعددين)، يتم تجميع المطالبات (prompts) ديناميكياً من تعليمات نظام ثابتة، ووثائق مسترجعة، ومخرجات أدوات. وحتى لو ظل محتوى وثيقة ما أو مخطط الأداة (tool schema) متطابقاً عبر الجولات، فإن موقعه داخل المطالبة يتغير بسبب:

• الإدراج الدينماكي للوثائق المسترجعة.
• إعادة ترتيب مخرجات الأدوات.
• طول متغير لترويسات النظام (system prompts) أو البيانات الوصفية (metadata).

بما أن مخازن البادئات (prefix caches) تتطلب محاذاة متطابقة بايت ببايت من الموضع 0، فإن أي إزاحة بمقدار بايت واحد في هيكل المطالبة يؤدي إلى إبطال صلاحية التخزين المؤقت لجميع الرموز اللاحقة. وقد أبلغ المشغلون عن تراجعات حادة، بما في ذلك انخفاض معدلات إصابة التخزين المؤقت (cache hit rates) من 100% إلى 35%، وارتفاعات في زمن الوصول لأول رمز (TTFT) تتراوح بين 10 إلى 16 ثانية رغم عدم تغير المحتوى.

تحاول أنظمة التخزين المؤقت المستقل عن الموضع (PIC) السابقة (مثل CacheBlend و EPIC) حل هذه المشكلة لمعماريات الانتباه متعدد الرؤوس المجمعة (GQA) عن طريق تصحيح متجه المفتاح (Key tensor) كامل الأبعاد $d_K$ عبر تدوير عكسي. ومع ذلك، يترتب على ذلك تكلفة معمارية كبيرة: حيث يجب تطبيق التصحيح على صف الـ KV بالكامل لكل رمز، مما يجعل العملية مكلفة حاسوبياً وغالباً ما تلغي فوائد التخزين المؤقت.

2. المنهجية: نهج Irminsul

يقترح Irminsul نظام تخزين مؤقت يعتمد على المحتوى (content-addressed caching) مصمماً خصيصاً لمعاريات الانتباه الكامن متعدد الرؤوس (MLA) (المستخدمة في DeepSeek-V2/V3/R1، Kimi-K2، GLM-5، Mistral Large 3).

2.1 الرؤية الهيكلية: تفكيك MLA

الممكن الأساسي لـ Irminsul هو التفكيك الهيكلي لزوج الـ KV في معماريات MLA. بخلاف GQA، حيث يكون الموضع مدمجاً بشكل لا ينفصم في متجه المفتاح الكامل، يقوم MLA بتفكيك الـ KV لكل رمز إلى:

1. $cKV$ (الكمون المحتوي - Content Latent): متجه كامن بـ 512 بُعداً، خالٍ من الموضع (position-free). هذا المكون قابل لإعادة الاستخدام حرفياً في أي موضع مطلق.
2. $k_r$ (المفتاح الدوراني - Rotary Key): متجه صغير بـ 64 بُعداً يحمل المعلومات الموضعية (RoPE).

يستغل Irminsul حقيقة أن $cKV$ يشكل حوالي 89% من صف الـ KV ولا يتطلب أي تصحيح عند إعادة استخدامه. بينما يتطلب الجزء $k_r$ فقط (~11%) تعديلاً، والذي يمكن تصحيحه بصيغة مغلقة عبر تدوير واحد $\delta$ (حيث $\delta$ هو إزاحة الموضع).

2.2 تصميم النظام

يقوم Irminsul بتوسيع ذاكرة التخزين المؤقت Radix الخاصة بـ SGLang عبر الآليات التالية:

• الترميز بمفتاح يعتمد على المحتوى (CDC): بدلاً من هاش (hashing) الكتل الثابتة، يستخدم Irminsul التقطيع المحدد بالمحتوى (Content-Defined Chunking) بناءً على Gear-hash فوق نوافذ مكونة من 64 رمزاً. يتم إصدار الكتل عندما ينخفض الهاش عن حد معين، مما يضمن محاذاة حدود الكتل مع المحتوى بدلاً من الإزاحات العشوائية للبايتات. يتم تمثيل كل كتلة ببصمة باستخدام xxHash64.
• البحث في السجل (Registry Lookup): يقوم سجل التخزين المؤقت برسم خريطة لهاتشات المحتوى مقابل الـ $(cKV, k_r, base\_pos)$ المخزن.
• قاعدة التدوير $\delta$: عند حدوث إصابة في التخزين المؤقت (cache hit)، يحسب النظام إزاحة الموضع $\delta = p_{target} - p_{source}$. يقوم باسترجاع $cKV$ المخزن ويطبق مصفوفة تدوير $R(\delta)$ على $k_r$ المخزن لتوليد المفتاح الموضعي الصحيح للموقع الجديد. هذه العملية مدمجة في نواة (kernel) FlashMLA، مما يجعل زمن التأخير ضئيلاً جداً.
• نحت الكتلة الأولى (First-Chunk Carve-Out): للتعامل مع ظاهرة "بالوعة الانتباه" (attention sink) (حيث ينتبه النموذج بشدة لبداية التسلسل)، يقوم Irminsul بملء أول 32 رمزاً من أي كتلة عبر عملية prefill قياسية إذا كانت الكتلة تبدأ عند الموضع المطلق 0. هذا يتجنب الحاجة إلى إعادة حساب الحدود، لأن "البالوعة" مرتبطة ببداية التسلسل وليس ببداية الكتلة.
• الاستراتيجيات الهجينة (S1/S2):
  • S2 (المنع عبر التعاون): في البيئات المتحكم بها، يقوم مجمع المطالبات (prompt assembler) بإدراج علامة حدود مكونة من 64 رمزاً حول المناطق المشتركة لفرض حدود CDC حتمية.
  • S1 (الكشف والاسترداد): لحركة المرور غير المتحكم بها، توجد آلية احتياطية تقسم حالات الإخفاق في CDC إلى نوافذ ثابتة مكونة من 128 رمزاً لاستعادة الاستخدام الجزئي.

3. المساهمات الرئيسية

1. نظام Irminsul: أول نظام PIC أصيل لمعمارية MLA. يحقق دوران $\delta$ عالي الدقة مع خطأ L2 نسبي قدره $4.7 \times 10^{-3}$ في صيغة bf16، وهو أدق بعشر مرات من تكميم (quantization) KV بنظام FP8 القياسي.
2. إثبات الجدوى (تحليل ROC): تقدم الورقة دراسة ROC خالية من العتبة توضح أن مكون $cKV$ في MLA هو عالي الثبات تجاه الموضع (AUC $\approx$ 0.77)، بينما نواقل K الخام في GQA/MHA هي متشابكة موضعياً (AUC < 0.5). وهذا يثبت أن إعادة الاستخدام المعتمدة على المحتوى سليمة هيكلياً لـ MLA ولكن ليس لمعاريات softmax الصرفة دون تصحيح.
3. دراسة كفاءة الطاقة: تحليل عبر المعماريات يظهر أنه بينما توفر معماريات الانتباه القائمة على softmax (GQA, MLA, MHA) ما بين 63-86% من طاقة الـ prefill لكل إصابة تخزين مؤقت، فإن المعماريات الهجينة (Mamba2, GDN, KDA) توفر ~0% لأن حالتها المتكررة (recurrent state) ليست مرتبطة بالرمز، مما يجعل مفهوم "إصابة التخزين المؤقت" غير معرف في الطبقة المتكررة.
4. مقاييس الاسترداد: التقييم على ثلاثة عمليات نشر لـ MLA-MoE (وهي DeepSeek-V2-Lite، وKimi Moonlight-16B، وJoyAI-Flash) يظهر أن Irminsul يستعيد ما يصل إلى ~83% من رموز المطالبة فوق مستوى التطابق التام للبادئة في حركة مرور الوكلاء، مقارنة بنسبة تقارب الصفر للاسترداد في التخزين المؤقت التقليدي للبادئات في هذه السيناريوهات.

4. النتائج

• استرداد التخزين المؤقت: في حركة مرور الوكلاء ذات "التباين المبكر" (مثل إزاحة ترويسات بيانات الوكيل)، يستعيد Irminsul 77.2% (DeepSeek-V2-Lite) و 82.7% (JoyAI-48B) من الرموز التي كان سيتم إعادة حسابها. بينما لا يلتقط التخزين المؤقت للبادئات التقليدي سوى ~1.5% في هذه السيناريوهات.
• توفير الطاقة: لكل إصابة تخزين مؤقت، يوفر Irminsul 63% من طاقة الـ prefill في نماذج MLA (مقارنة بـ 86% في GQA). وهذا يؤكد أن الفائدة الرئيسية لـ PIC تتحقق في المعماريات القائمة على softmax.
• اتساق المخرجات: عبر أربعة مجموعات بيانات (QA, GovReport, NIAH) وثلاثة نماذج، تطابق مسارات Irminsul الجشعة (greedy trajectories) أو تتفوق على إعادة الاستخدام الساذجة. وفي مهمة "الإبرة في كومة القش" (NIAH) باستخدام JoyAI-48B، يطابق PIC استدعاء الـ prefill الكامل تماماً (0.820) مع تقليل تباعد KL بنسبة 22% مقارنة بإعادة الاستخدام الساذجة.
• زمن الوصول (Latency): يعمل النظام ضمن ميزانيات زمن الوصول للإنتاج. يتم دمج دوران $\delta$ في مسار التحميل من HBM إلى SRAM، مما يتجنب استهلاك إضافي لنطاق HBM الترددي.

5. الأهمية والادعاءات

تجادل الورقة بأن التخزين المؤقت المعتمد على المحتوى يجب أن يكون وحدة أساسية (first-class primitive) في مكدس خدمة LLM، وليس مجرد تعديل لاحق على مطابقة البادئات.

• هيكلي مقابل خوارزمي: تفترض الورقة أن عدم قدرة أنظمة PIC السابقة على حل المشكلة بالكامل لـ GQA هو قصور هيكلي (دمج الموضع في متجه المفتاح الكامل)، وليس مجرد نقص هندسي. إن تفكيك MLA للموضع ($k_r$) عن المحتوى ($cKV$) هو المفتاح الذي يجعل الـ PIC عالي الكفاءة ومنخفض التكلفة ممكناً.
• أعباء عمل الوكلاء: مع سيطرة أنظمة الوكلاء، يمثل "إعادة ترميز الرموز" للسياق المشترك (الوثائق، المخططات) عدم كفاءة هائلة. يعيد Irminsul صياغة هذا التكرار ليس كمشكلة حوسبة، بل كمشكلة ذاكرة، مما يسمح لمكدس الخدمة بالمحاسبة على إعادة استخدام الذاكرة بدلاً من إعادة الحساب.
• النطاق: يحدد المؤلفون صراحةً ادعاءات السلامة الخاصة بهم لتقتصر على معماريات MLA (تحديداً شكل absorbed-matmul المستخدم في الإنتاج). ويشيرون إلى أنه بينما يمكن لـ GQA نظرياً دعم PIC، فإن تكلفة التصحيح عالية. كما يلاحظون أن نماذج SSM الهجينة (مثل Mamba2) لا تستفيد من PIC بسبب هيكل حالتها المتكررة.
• العمل المستقبلي: تقر الورقة بأن DeepSeek-V4 التي تستخدم "الانتباه المضغوط بكثافة" (HCA) تقوم بتجميع الرموز، مما يذيب هوية كل رمز المطلوبة لعملية التقطيع في Irminsul. ويُعد تكييف أداة التقطيع مع جدول تجميع HCA الخطوة التالية المباشرة.

باختصار، يثبت Irminsul أنه من خلال الاستفادة من الخصائص الجبرية لـ MLA، يمكن تخزين المحتوى بغض النظر عن موقعه في المطالبة، مما يستعيد تكاليف حوسبة وطاقة كبيرة في خدمة الوكلاء الذكيين دون المساس بجودة المخرجات.