💬 NLP

IndexMem: Learned KV-Cache Eviction with Latent Memory for Long-Context LLM Inference

يعالج IndexMem مشكلة عنق الزجاجة في ذاكرة التخزين المؤقت لمفاتيح وقيم (KV-cache) أثناء استنتاج النماذج اللغوية الكبيرة ذات السياق الطويل، وذلك عبر الجمع بين فهرس قابل للتعلم لاستبعاد الرموز بدقة ووحدة ذاكرة كامنة خفيفة الوزن تحافظ على المعلومات المستبعدة، مما يؤدي إلى تحسين الأداء والاستقرار بشكل كبير عبر مختلف النماذج والمعايير.

المؤلفون الأصليون: Xintong Yang, Hao Gu, Binxing Xu, Lujun Li, Bei Liu, Jiacheng Liu, Qiyuan Zhu, Sirui Han, Yike Guo

نُشر 2026-05-26

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Xintong Yang, Hao Gu, Binxing Xu, Lujun Li, Bei Liu, Jiacheng Liu, Qiyuan Zhu, Sirui Han, Yike Guo

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول قراءة رواية ضخمة مكونة من 1,000 صفحة للإجابة على سؤال واحد يتعلق بالصفحة الأولى تماماً. بينما تقرأ، يحاول دماغك بشكل طبيعي تذكر كل كلمة رأيتها. ولكن هنا تكمن المشكلة: يمتلك دماغك كمية محدودة من "الذاكرة العاملة". إذا حاولت الاحتفاظ بكل كلمة رأيتها من الصفحة 1 إلى الصفحة 1,000 في رأسك في وقت واحد، فستشعر بالإرهاق، أو تتباطأ، أو تنفد المساحة لديك تماماً.

هذه هي بالضبط المشكلة التي تواجهها النماذج اللغوية الكبيرة (LLMs) عند التعامل مع المستندات الطويلة. فهي تستخدم "بنك ذاكرة" يسمى KV Cache لتذكر ما قرأته حتى الآن. ومع ازدياد طول النص، يكبر بنك الذاكرة هذا حتى يملأ ذاكرة الكمبيوتر، مما يؤدي إلى تعطل النظام أو توقفه عن العمل ببطء.

تقترح ورقة بحثية بعنوان "IndexMem" حلاً ذكياً يتكون من جزئين، يعمل كأمين مكتبة ذكي وخزنة احتياطية.

المشكلة: فخ "الاحتفاظ بكل شيء"

تحاول معظم نماذج الذكاء الاصطناعي حالياً الاحتفاظ بسجل لكل كلمة (token) تعالجها. هذا يشبه محاولة الاحتفاظ بكل إيصال من كل متجر زرته على الإطلاق في محفظتك. في النهاية، ستصبح المحفظة ثقيلة جداً بحيث لا يمكن حملها.

لإصلاح ذلك، حاولت الأساليب السابقة التخلص من الإيصالات "غير المهمة" بناءً على قواعد بسيطة، مثل "الاحتفاظ بأحدث الإيصالات" أو "الاحتفاظ بالإيصالات ذات الأرقام الأكبر". لكن هذه القواعد غال-ما تكون خرقاء؛ فقد تتخلص من تفصيل حاسم من بداية القصة لمجرد أنه قديم، أو قد تحتفظ بجملة مملة لمجرد أنها حديثة. وبمجرد التخلص من تلك المعلومة، فإنها تضيع للأبد.

الحل: IndexMem

يقترح المؤلفون نظاماً يتكون من جزأين رئيسيين: مؤشر ذكي (Smart Indexer) وخزنة ذاكرة كامنة (Latent Memory Vault).

1. المؤشر الذكي (أمين المكتبة)

بدلاً من استخدام قاعدة جامدة لتقرير ما يجب الاحتفاظ به، يستخدم IndexMem مؤشراً قابلاً للتعلم. فكر في هذا كأمين مكتبة مدرب تدريباً عالياً، قرأ ملايين الكتب ويعرف بالضبط نوع التفاصيل التي تكون مهمة عادةً للإجابة على الأسئلة لاحقاً.

كيف يعمل: بينما يقرأ الذكاء الاصطناعي، ينظر هذا الأمين إلى السؤال الحالي (أو الكلمة التالية التي يوشك الذكاء الاصطناعي على تخمينها) ويتنبأ بالأجزاء المهمة فعلياً من النص.
الفائدة: هو لا يخمن بناءً على "الحداثة" فقط، بل يفهم السياق. يمكنه أن يقول: "حتى لو كانت هذه الكلمة من الصفحة 50، فهي حاسمة للسؤال في الصفحة 100، لذا يجب أن نحتفظ بها". إنه يتعلم كيف يكون أكثر دقة في تحديد ما يبقى في الذاكرة الرئيسية وما يتم طرده منها.

2. خزنة الذاكرة الكامنة (الخزنة الاحتياطية)

هنا تكمن الفكرة الأكثر ابتكاراً في الورقة البحثية. في الماضي، إذا تم طرد كلمة من الذاكرة الرئيسية، فإنها تضيع للأبد. وإذا احتاج الذكاء الاصطناعي لتلك الكلمة لاحقاً، فستكون كارثة.

يقدم IndexMem وحدة الذاكرة الكامنة (Latent Memory). فكر في هذا كخزنة احتياطية مضغوطة وعالية التقنية.

العملية: عندما يقرر المؤشر الذكي طرد كلمة من الذاكرة الرئيسية، فإنه لا يقوم بمجرد حذفها. بدلاً من ذلك، يقوم بضغط تلك المعلومة في "ملخص" صغير جداً ويخزنها في هذه الخزنة الخاصة.
الاسترجاع: إذا احتاج الذكاء الاصطناعي لاحقاً لاستعادة تلك المعلومة، فإنه لا يعود إلى الذاكرة الرئيسية (التي أصبحت فارغة)، بل يفتح الخزنة، ويخرج الملخص المضغوط، ويستخدمه لسد الثغرات.
التشبيه: تخيل أنك تجهز حقيبة للسفر. يمكنك فقط وضع عدد قليل من الملابس في حقيبتك (الذاكرة الرئيسية). لقد تركت سترة مفضلة لديك خلفك. بدلاً من رميها، تلتقط صورة عالية الدقة لها وتحفظها على هاتفك (الذاكرة الكامنة). إذا افتقدت السترة لاحقاً، فستنظر إلى الصورة لتتذكر كيف تبدو وكيف كان ملمسها، بدلاً من الاضطرار لحمل السترة بأكملها معك.

لماذا يهم هذا الأمر؟

اختبرت الورقة البحثية هذا النظام على نماذج مختلفة (مثل Qwen و Mistral و Llama) مع سياقات طويلة جداً.

دقة أفضل: حتى عندما تخلصوا بشدة من 75% إلى 90% من الذاكرة لتوفير المساحة، ظل أداء الذكاء الاصطناعي ممتازاً للغاية. لم ينسَ "الإبرة في كومة القش" (التفصيل المحدد المطلوب للإجابة على سؤال).
الاستقرار: على عكس الأساليب القديمة التي كانت تفشل فجأة إذا كان التفصيل المهم في مكان "صعب" في النص، ظل IndexMem مستقراً.
الكفاءة: سمح للذكاء الاصطناعي بالعمل على شرائح الكمبيوتر القياسية دون الحاجة إلى حواسيب فائقة ضخمة ومكلفة، لأنه لم يكن يحاول تكديس كل قطعة بيانات.

ملخص

باخت المثال، يعلم IndexMem الذكاء الاصطناعي كيف يكون محرراً أكثر ذكاءً. فهو يستخدم نظاماً متعلماً لتقرير ما يجب الاحتفاظ به في ذاكرته المباشرة، و"خزنة مضغوطة خاصة" لتخزين الباقي. بهذه الطريقة، يمكن للذكاء الاصطناعي قراءة مكتبة كاملة دون أن تنفد قدراته الذهنية، وهو لا ينسى حقاً التفاصيل التي يحتاجها لحل المشكلة.

ملخص تقني: IndexMem - استبعاد ذاكرة المفتاح والقيمة (KV-Cache) المتعلم عبر الذاكرة الكامنة

1. بيان المشكلة

تواجه النماذج اللغوية الكبيرة (LLMs) عقبة حرجة عند معالجة السياقات الطويلة: حيث ينمو مخزن (KV-cache) المطلوب للتوليد التكراري (autoregressive generation) خطياً مع طول التسلسل، مما يؤدي سريعاً إلى تجاوز سعة ذاكرة وحدة معالجة الرسومات (GPU) واستنفاد عرض نطاق الذاكرة (memory bandwidth). وبينما يتجنب تخزين (KV) القياسي إعادة الحساب، إلا أنه يخلق "جدار ذاكرة" يحد من أطوال السياق القابلة للنشر (على سبيل المثال، نموذج بـ 70 مليار معلمة يتطلب حوالي 320 جيجابايت لسياق مكون من مليون رمز/token).

تنقسم الحلول الحالية إلى فئتين، كلتاهما تعاني من قيود:

ضغط التمثيل (Representation Compression): التقنيات مثل التكميم (quantization) والتقريب من الرتبة المنخفضة (low-rank approximation) تقلل من البصمة لكل رمز، لكنها لا تعالج النمو الخطي المتأصل في حجم المخزن مع طول السياق.
استبعاد الرموز (Token Eviction): الطرق التي تتخلص من الرموز الأقل أهمية للحد من الذاكرة. ومع ذلك، فإن سياسات الاستبعاد الحالية تعتمد بشكل كبير على الاستدلالات (heuristics) (تعتمد على إحصائيات ثابتة مثل مقدار المفتاح أو نوافذ الانتباه المحلية) وهي خالية من التدريب. وغالباً ما تفشل في التقاط أنماط أهمية الرموز المعقدة والمعتمدة على المدخلات. علاوة على ذلك، فإن الاستبعاد القياسي يتخلص من المعلومات بشكل دائم، مما يؤدي إلى نسيان غير قابل للاسترداد وتدهور الأداء في المهام التي تتطلب استرجاع الرموز البعيدة (مثل مهمة "الإبرة في كومة القش" - Needle-in-a-Haystack).

2. المنهجية

يقترح المؤلفون IndexMem، وهو إطار عمل يجمع بين مُفهرس قابل للتعلم لتحديد الرموز بدقة ووحدة ذاكرة كامنة لاستعادة المعلومات من الرموز المستبعدة.

أ. المُفهرس القابل للتعلم لأهمية الرموز

بدلاً من استخدام درجات استدلالية، يستخدم IndexMem مُفهرساً خفيف الوزن وقابلاً للتعلم للتنبؤ بأهمية رموز (KV).

البنية: المُفهرس هو وحدة من نمط "الانتباه متعدد الاستعلامات" (Multi-Query Attention - MQA)، حيث يقوم بخفض أبعاد الاستعلامات متعددة الرؤوس إلى مساحة ذات أبعاد أقل، ويستخدم مفتاحاً واحداً مشتركاً مشتقاً من الحالات الخفية (hidden states). كما يتضمن (QK-Norm) لضمان الاستقرار وآلية بوابة قابلة للتعلم لتعديل مساهمات الرؤوس.
الوظيفة: بالنظر إلى الحالات الخفية $X$ والاستعلامات $Q$ ، ينتج المُفهرس مصفوفة درجات كثيفة من الاستعلام إلى المفتاح $A$ ، حيث تقيس $A_{s,t}$ مدى أهمية الرمز المفتاحي $t$ للاستعلام $s$ .
التدريب: يتم تجميد النموذج اللغوي الأساسي (backbone). ويتم تدريب المُفهرس عبر تقطير المعرفة (Knowledge Distillation) لمطابقة سلوك انتباه النموذج الأساسي. تهدف العملية إلى تقليل تباعد (KL-divergence) بين توزيعات الأهمية لكل مفتاح مجمعة من المعلم (لوغاريتمات انتباه المعلم) والطالب (درجات المُفهرس). ولتجنب اختناقات الذاكرة الناتجة عن مصفوفات $O(L^2)$ ، يستخدم التدريب نهجاً تدفقياً (streaming) بأسلوب (FlashAttention) لحساب تجميعات (running-max).
ما قبل الاستبعاد (Pre-eviction): على عكس الطرق التي تجري مادية جميع أزواج (KV) قبل الاستبعاد، يتيح المُفهرس عملية الاستبعاد المسبق، حيث يتنبأ بالمدخلات التي يجب الاحتفاظ بها قبل حساب عملية "التحميل المسبق" (prefill) الكاملة، مما يوفر الذاكرة والحوسبة.

ب. الذاكرة الكامنة للرموز المستبعدة

لمعالجة فقدان المعلومات غير القابل للاسترداد الناتج عن التخلص من الرموز، يقدم IndexMem وحدة ذاكرة كامنة.

التصميم: بدلاً من حقن الرموز المستبعدة كأزواج (KV) إضافية (مما قد يسبب مشاكل "بالوعة الانتباه" - attention sink)، تعمل الذاكرة كـ تعويض متبقي (residual compensation) صريح لتدفق الانتباه.
الآلية:
- الأوزان السريعة (التحديث عبر الإنترنت): تقوم الرموز المستبعدة بتحديث مصفوفة حالة $M$ ثابتة الحجم ومتجه استقرار $b$ عبر الإنترنت أثناء الاستدلال. يستخدم هذا الأسلوب تراكم الضرب الخارجي مع التحلل (decay)، مما يسمح للذاكرة بالتكيف مع السياق المحدد.
- الأوزان البطيئة (المتعلمة): يتم تدريب طبقة إسقاط ودالة بوابة $g(q)$ للقراءة من حالة الذاكرة $M$ وتحديد مدى الاعتماد عليها لكل استعلام.
المخرج: يتم تعزيز مخرج الانتباه النهائي: $o = o_{attn} + g(q) \cdot m(q)$ ، حيث $o_{attn}$ هو الانتباه القياسي فوق الرموز المحتفظ بها، و $m(q)$ هو مخرج الذاكرة الذي يعوض المعلومات المفقودة.

ج. بروتوكول التدريب

يستخدم النظام مخطط تدريب من مرحلتين:

تدريب المُفهرس: تدريب المُفهرس بمفرده لتعلم تقدير موثوق لأهمية الرموز.
التدريب المشترك: تدريب المُفهرس ووحدة الذاكرة معاً. يتم تحسين الذاكرة لتقليل متوسط مربع الخطأ (MSE) بين مخرج الانتباه الكامل والمخرج المضغوط بالإضافة إلى المتبقي الذاكري.

3. المساهمات الرئيسية

المُفهرس القابل للتعلم: نهج قائم على التدريب يتفوق على سياسات الاستبعاد الاستدلالية من خلال التنبؤ الدقيق بأهمية الرموز بناءً على أنماط تعتمد على السياق.
وحدة الذاكرة الكامنة: آلية لضغط الرموز المستبعدة في حالة محدودة الحجم يتم تحديثها عبر الإنترنت، مما يوفر مخرات متبقية لاستعادة المعلومات المفقودة أثناء الاستبعاد وتخفيف حدة النسيان غير القابل للاسترداد.
تقييم شامل: أظهر تحسناً مستمراً عبر عائلات نماذج متعددة (Qwen, Mistral, Llama) ومعايخت اختبار (RULER, LongBench, Needle-in-a-Haystack).

4. النتائج التجريبية

أُجريت التجارب على نماذج Qwen3-8B، وMistral-7B، وLlama-3.1-8B باستخدام مجموعات RULER وLongBench.

أداء RULER: يتفوق IndexMem بشكل كبير على النماذج المرجعية (SnapKV, PyramidKV, TOVA, Expected Attention). تحت الاستبعاد الشديد (ضغط بنسبة 90%)، يحافظ IndexMem على درجات أعلى بكثير. على سبيل المثال، في نموذج Llama-3.1-8B مع استبعاد بنسبة 90%، يسجل IndexMem 56.0 في RULER-16K، بينما ينخفض PyramidKV إلى 24.1.
إبرة في كومة القش (NIAH): يُظهر IndexMem استقراراً فائقاً عبر أطوال السياق (1K–12.5K) وأعماق الإبرة. وبينما تظهر الطرق الاستدلالية إخفاقات تعتمد على الموقع (انحياز نحو الرموز الحديثة)، يسترجع IndexMem "الإبرة" بموثوقية بغض النظر عن موقعها. وتعمل الذاكرة الكامنة تحديداً على تقليل "الإخفاقات الكارثية" التي تظهر في نسخة المُفهرس وحده.
LongBench: يحقق IndexMem الأداء الأكثر قوة عبر مهام متنوعة (HotpotQA, MultiFieldQA, TriviaQA). كما يتدهور بشكل أكثر سلاسة مع زيادة الضغط مقارنة بالأساليب الاستدلالية. ومن الملاحظ أنه في بعض المهام، حتى الضغط المتوسط يحسن الأداء عن طريق إزالة الرموز المشتتة.
الكفاءة: يضيف الأسلوب عبئاً ضئيلاً على المعلمات (~20 مليون للمُفهرس، ~0.5 مليون للذاكرة في نموذج 8B). وبينما تضيف وحدة الذاكرة عبئاً صغيراً في التحديث، يظل وقت فك التشفيد (decoding time) الإجمالي منافساً لنموذج المخزن الكامل، وتتوسع الذاكرة المستخدمة خطياً مع نسبة الضغط.

5. الأهمية والادعاءات

يزعم البحث أن IndexMem يقدم مقايضة مواتية بين الدقة والذاكرة للاستدلال في السياقات الطويلة. ومن خلال الانتقال من الاستبعاد الاستدلالي إلى الاستبعاد المتعلم وإدخال آلية لاستعادة المعلومات المستبعدة، تمكن الطريقة من إجراء استدلال دقيق للسياق الطويل ضمن ميزانيات (KV) محدودة.

يضع المؤلفون هذا العمل كخطوة نحو بنى هندسية قابلة للتعلم للانتباه الفعال. ويشيرون إلى أنه بينما يعامل النهج الحالي وحدات الاستبعاد والذاكرة كإضافات لنموذج أساسي مجمد، فإن العمل المستقبلي يمكن أن يستكشف التدريب الشامل (end-to-end) حيث يتعلم النموذج الأساسي قدرات الاستبعاد والذاكرة بشكل أصيل. وتؤكد الورقة أن هذه تقنية كفاءة عامة تهدف إلى خفض تكاليف الأجهزة وتحسين إمكانية الوصول للنماذج ذات السياق الطويل، مع الإقرار بضرورة توخي الحذر في المجالات عالية المخاطر حيث قد يؤدي فقدان التفاصيل الحرجة إلى عواقب ضارة.