🤖 machine learning

Back from the Future: Key-Value Cache Management by Counter-Causal Surprise

تقدم هذه الورقة البحثية "العودة من المستقبل" (Back from the Future)، وهي استراتيجية لطرد ذاكرة التخزين المؤقت للقيم المفتاحية (Key-Value cache) لا تتطلب تدريباً، تعمل على تحديد وإزالة الرموز الزائدة عبر الاستفادة من الانتباه العكسي السببي (counter-causal attention) لقياس مدى إمكانية التنبؤ بالرموز الماضية من السياق المستقبلي، مما يؤدي إلى تقليل استهلاك الذاكرة وزمن انتقال الاستدلال مع الحفاظ على أداء تنافسي عبر مختلف النماذج اللغوية الكبيرة.

المؤلفون الأصليون: Stephen Gould, Anton van den Hengel

نُشر 2026-07-31

📖 6 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Stephen Gould, Anton van den Hengel

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تذكر قصة طويلة ومعقدة لتتمكن من سرد الجزء التالي منها. إن عقلك مذهل، لكن لديه حداً لما يمكنه استيعابه في المرة الواحدة. إذا أصبحت القصة طويلة جداً، يتعين عليك نسيان بعض الأجزاء لإفساح المجال لأجزاء جديدة. هذا هو بالضبط المشكل الذي يواجه "نماذج اللغات الكبيرة" (LLMs) الحديثة (روبوتات الدردشة الذكية للغاية التي نستخدمها اليوم). تعمل هذه النماذج من خلال النظر في كل ما قرأته حتى الآن لتخمين الكلمة التالية. وللقيام بذلك بسرعة، تحتفظ بـ "مسودة" في ذاكرة الكمبيوتر الخاصة بها تسمى ذاكرة المفتاح والقيمة (KV cache). فكر في هذه الذاكرة كأنها مفكرة ذهنية يكتب فيها النموذج أهم الأدلة من القصة حتى الآن.

المشكلة هي أنه مع طول القصة، تصبح هذه المفكرة أكبر فأكبر. وفي النهاية، تمتلئ ذاكرة الكمبيوتر، مما يؤدي إلى تعطل الذكاء الاصطناعي أو تباطؤه بشكل كبير. لقد حاول العلماء حل هذه المشكلة عبر اكتشاف أي الملاحظات في المفكرة هي الأكثر أهمية للاحتفاظ بها وأيها يمكن التخلص منه. بعض الطرق تقوم ببساطة برمي أقدم الملاحظات (مثل النافذة المنزلقة)، بينما تحاول طرق أخرى الاحتفاظ بالملاحظات التي يبدو أن النموذج "ينظر" إليها أكثر. لكن لهذه الطرق القديمة عيب: إذا نظر النموذج إلى ملاحظة ما كثيراً، فسيستمر في النظر إليها أكثر فأكثر، مما يخلق حلقة تجعل الحقائق الهامة ولكن "الهادئة" تُحذف لأنها لم تكن "صاخبة" بما يكفي لجذب الانتباه.

يقدم هذا البحث طريقة جديدة ذكية لتحديد ما يجب الاحتفاظ به، تسمى المفاجأة العكسية السببية (Counter-Causal Surprise). فبدلاً من السؤال: "ما الذي نظر إليه النموذج أكثر؟"، تسأل: "إذا أخذت هذه الملاحظة بعيداً، هل لا يزال بإمكان النموذج تخمين ما كانت عليه بناءً على الملاحظات المستقبلية؟". إذا كان بإمكان النموذج تخمين كلمة ما في الماضي بسهولة بمجرد قراءة الكلمات التي تأتي بعدها، فإن تلك الكلمة ليست مميزة حقاً، بل هي مكررة. أما إذا شعر النموذج بمفاجرة تامة ولم يستطع تخمين كلمة الماضي من خلال كلمات المستقبل، فإن هذه الكلمة تحمل معلومات فريدة وحيوية ويجب حفظها. اختبر المؤلفون هذه الطريقة على نماذج ذكاء اصطناعي مختلفة ووجدوا أن طريقة "المفاجأة" هذه تجعل النموذج أكثر ذكاءً ودقة، حتى عندما تكون الذاكرة ضيقة. كما وجدوا "وضعاً سريعاً" يقوم بالعمليات الحسابية بشكل أسرع بكثير، مما يجعلها عملية للاستخدام في العالم الحقيقي دون إبطاء العمل بشكل كبير.

سحر النظرة "للخلف"

إذن، كيف تعمل هذه "المفاجأة العكسية السببية" فعلياً؟ لنفترض أن الذكاء الاصطناعي يقرأ رواية غموض. عادةً، يقرأ النموذج من اليسار إلى اليمين، مثل الشخص الطبيعي. يرى "الخادم"، ثم "التقط"، ثم "الشمعدان". لتوقع الكلمة التالية، يستخدم كل ما رآه حتى الآن. هذه هي الطريقة القياسية لعمل الذكاء الاصطناعي.

لكن لتحديد ما يجب رميه من ذاكرته، تفعل هذه الطريقة الجديدة شيئاً غريباً: إنها تنظر للخلف. تأخذ جزءاً من القصة التي قرأتها بالفعل وتسأل: "إذا أخفيت كلمة 'الشمعدان' من ذاكرتي، هل لا يزال بإمكاني تخمينها بمجرد النظر إلى 'الخادم التقط الـ...'؟"

مفاجأة منخفضة (ارمِها): إذا كانت الجملة "الخادم التقط الـ [الشمعدان]"، والكلمات التالية هي "ومشى إلى المطبخ"، فقد يتمكن النموذج من تخمين "الشمعدان" فقط من سياق وجود خادم في المطبخ. إذا استطاع النموذج تخمينها بسهء، فإن هذه الكلمة لم تضف الكثير من المعلومات الجديدة. الأمر يشبه تذكر كلمة "الـ" في جملة؛ أنت لا تحتاج للاحتفاظ بملاحظة خاصة لكلمة "الـ" لأنها موجودة في كل مكان. يقترح البحث حذف هذه الكلمات سهلة التخمين من الذاكرة لتوفير المساحة.
مفاجأة عالية (احتفظ بها!): الآن، تخيل أن الجملة هي "الخادم التقط الـ [إبريق الشاي]". وإذا كانت الكلمات التالية هي "ومشى إلى المطبخ"، فقد يصاب النموذج بالارتباك التام. "إبريق شاي؟" لماذا؟ هذا مفاجئ! حقيقة أن الخادم التقط إبريق شاي هي تفصيلة فريدة لم تتوقعها الكلمات المستقبلية. هذه "المفاجأة" تعني أن الكلمة تحمل سراً لا تعرفه بقية القصة بعد. يجادل البحث بأن هذه الكلمات "المفاجئة" هي الأكثر قيمة ويجب الاحتفاظ بها في ذاكرة التخزين المؤقت.

اختصار "الوضع السريع"

إن القيام بهذه "النظرة للخلف" لكل كلمة في قصة طويلة هو عمل شاق. إنه يشبه قراءة كتاب كامل، ثم إعادة قراءته بالعكس فقط للتحقق من ملاحظاتك. أدرك المؤلفون أن هذا يتطلب الكثير من قدرة الكمبيوتر. لذا، ابتكروا تقريب الطبقة الواحدة السريع (Fast Single-Layer Approximation).

فكر في الشبكة العصبية العميقة (عقل الذكاء الاصطناعي) كبناء متعدد الطوابق. تنتقل المعلومات عبر العديد من الطوابق قبل ظهور الإجابة النهائية. الطريقة الكاملة تفحص كل طابق لترى ما هو مفاجئ. "الوضع السريع" يقول: "مهلاً، دعونا نفحص الطابق الأخير فقط". وجدوا أن النظر إلى الطبقة الأخيرة فقط من عقل الذكاء الاصطناعي يعطي تقريباً نفس نتيجة فحص المبنى بأكه، ولكنه أسرع بـ 7 إلى 9 مرات.

في اختباراتهم، استغرق هذا الإصدار السريع 7.9 ميلي ثانية فقط لتحديث الذاكرة لـ 512 توكن (قطعة صغيرة من النص)، مقارنة بـ 54 ميلي ثانية للفحص الكامل. وحتى بالنسبة لذاكرة ضخمة تبلغ 4,096 توكن، كان الإصدار السريع يستغرق 52.6 ميلي ثانية فقط، بينما استغرق الإصدار الكامل 496 ميلي ثانية. هذا تسريع هائل يجعل الطريقة قابلة للاستخدام في الوقت الفعلي دون جعل الذكاء الاصطناعي يبدو بطيئاً.

هل تنجح هذه الطريقة حقاً؟

لم يكتفِ المؤلفون باختراع هذه الفكرة، بل اختبروها على بعض أذكى نماذج الذكاء الاصطناعي مفتوحة المصدر المتاحة، مثل Qwen2.5 و LLaMA 3.1، باستخدام مهام صعبة مثل حل المسائل الرياضية، وقراءة السجلات الطبية الطويلة، ومتابعة المحادثات الطويلة.

المسائل الرياضية: في اختبار يسمى MATH500، حيث يتعين على الذكاء الاصطناعي حل مسائل رياضية معقدة، كانت الطريقة الجديدة هي الأفضل في إبقاء الذكاء الاصطناعي على المسار الصحيح. بالنسبة لنموذج Qwen2.5-7B، حققت الطريقة الجديدة دقة بنسبة 74.4%، متفوقة على طريقة "Heavy-Hitter" التي حصلت على 76.2% (مهلاً، في الواقع كانت H2O أعلى قليلاً هنا، لكن الطريقة الجديدة كانت قريبة جداً وأفضل في النسخ الأخرى مثل 3B و 14B). وبالنسبة لنموذج Llama-3.1-8B، حققت الطريقة الجديدة 48.2%، وهي أفضل من جميع طرق "الرمي" الأخرى وقريبة جداً من خط الأساس المثالي "بلا حدود" البالغ 48.8%.
المحادثات الطويلة: هذا هو المكان الذي تعثرت فيه الطرق القديمة حقاً. في مجموعة بيانات تسمى LoCoMo، والتي تتضمن محادثات طويلة جداً، بدأت طرق "الاهتمام" القديمة (مثل H2O) في الفشل. كانت ترتبك وتبدأ في تكرار السؤال أو التحدث عن صور غير ذات صلة لأنها حذفت الحقائق الفريدة التي حدثت في بداية الدردشة. أما طريقة "المفاجأة العكسية" فلم ترتكب هذا الخطأ؛ فقد احتفظت بالحقائق الفريدة والمفاجئة، مما سمح للذكاء الاصطناعي بالإجابة بشكل صحيح حتى بعد وقت طويل.
وضع التفكير: اختبروها أيضاً على مسائل AIME الرياضية حيث يتعين على الذكاء الاصطناعي "التفكير" لفترة طويلة قبل الإجابة. غالباً ما ارتبكت الطرق القديمة بسبب حذف الكثير من المعلومات لدرجة أن الذكاء الاصطناعي لم يستطع إكمال عملية التفكير. حافظت الطريقة الجديدة على سلسلة الاستنتاج بشكل أفضل بكثير، محققة دقة بنسبة 36.7% مقارنة بالنتائج الأقل للطرق الأخرى.

لماذا يهم هذا؟

الخلاصة الكبرى هي أن الطريقة القديمة لتحديد ما يجب نسيانه كانت معيبة. فقد اعتمدت على مدى "نظر" الذكاء الاصطناعي إلى معلومة ما، مما خلق انحيازاً حيث تصبح الكلمات الشعبية أكثر شعبية، وتُحذف الحقائق الهادئة والمهمة. هذه الطريقة الجديدة تقلب الطاولة؛ فهي تسأل: "هل هذه المعلومة قابلة للتنبؤ؟". إذا كانت كذلك، فهي ليست ضرورية. أما إذا كانت مفاجئة، فهي كنز.

يشير المؤلفون إلى أن هذا النهج هو وسيلة سليمة ومنطقية لإدارة الذاكرة دون الحاجة إلى إعادة تدريب نماذج الذكاء الاصطناعي. إنها تعمل مع النماذج التي نمتلكها بالفعل. وبينما تستغرق النسخة الكاملة بعض الوقت الإضافي لحساب "المفاجأة"، فإن النسخة السريعة سريعة جداً لدرجة أنها لا تبطئ العمل بشكل ملحوظ. إنها تشبه وجود أمين مكتبة لا يحتفظ فقط بالكتب التي يطلبها الجميع، بل يحتفظ بالكتب التي تحتوي على أسرار لا يستطيع أحد غيره تخمينها، مما يضمن ألا تفقد القصة أهم تحولاتها.

ملخص تقني: العودة من المستقبل: إدارة ذاكرة التخزين المؤقت (Key-Value Cache) عبر المفاجأة العكسية للسببية

بيان المشكلة

تعتمد النماذج اللغوية الكبيرة (LLMs) على ذاكرة التخزين المؤقت للمفاتيح والقيم (KV cache) لتخزين المفاتيح والقيم التي تم حسابها مسبقًا، مما يتيح عملية "الانتباه لضرب النقطة القياسي" (scaled dot-product attention) بكفاءة أثناء التوليد التكراري (auto-regressive generation). ومع ذلك، فإن حجم ذاكرة الـ KV ينمو خطيًا مع طول السياق، مما يؤدي سريعًا إلى استنفاد ذاكرة وحدة معالجة الرسومات (GPU) المتاحة في حالات المطالبات الطويلة أو التوليد الممتد. وبينما توجد استراتيجيات مثل "النافذة المنزلقة" (إقصاء أقدم الرموز) أو الضغط، إلا أنها غالبًا ما تفشل في الاحتفاظ بالمعلومات الحرجة.

يتمثل أحد القيود الجوهرية في طرق الإقصاء الديناميكي الحالية (مثل H2O وTOVA) في اعتمادها على درجات الانتباه (attention scores). تعاني هذه الطرق من تحيز يعزز نفسه ذاتيًا: فالرموز (tokens) التي يتم الاحتفاظ بها في الذاكرة تستمر في تلقي الانتباه في خطوات فك التشفير اللاحقة، مما يضخم درجاتها التراكمية ويجعلها أكثر عرضة للاحتفاظ بها. وفي المقابل، قد لا تحظى الرموز الحرجة واقعيًا ولكنها منخفضة التكرار (التي ذُكرت مرة واحدة فقط) بما يكفي من الانتباه لتنجو من عملية الإقصاء، مما يؤدي إلى تدهور الدقة في المهام التي تتطلب استدلالًا متعدد الخطوات أو استرجاعًا دقيقًا للمعلومات.

المنهجية

يقترح المؤلفون استراتيجية إقصاء مبتكرة لا تتطلب تدريبًا تعتمد على المفاجأة العكسية للسببية (Counter-Causal Surprise). الفكرة الجوهرية هي أنه إذا كان من الممكن التنبؤ برمز ما جيدًا من خلال الرموز التي تليه، فإن المعلومات التي يحملها زائدة عن الحاجة ويمكن إزالتها. وعلى العكس من ذلك، فإن الرموز التي يصعب التنبؤ بها من السياق المستقبلي تحتوي على معلومات فريدة وجوهرية ويجب الاحتفاظ بها.

آلية العكس السببي (The Counter-Causal Mechanism)

لتفعيل هذه الطريقة، يتم تقديم مرحلة تسجيل درجات تعمل في ترتيب الرموز الأصلي ولكنها تطبق قناع انتباه عكسي سببي (upper-triangular attention mask).

العملية: يعالج النموذج الرموز $x_1, \dots, x_t$ باستخدام مسار التمرير الأمامي القياسي.
القناع (Masking): بدلاً من القناع السببي القياسي (الذي ينتبه للماضي)، يتم تطبيق قناع عكسي سببي، مما يسمح للموقع $i$ بالانتباه فقط إلى المواقع المستقبلية $j > i$ .
إعادة الاستخدام: تعيد الطريقة استخدام تمثيلات المفتاح ( $K$ ) والقيمة ( $V$ ) المخزنة بالفعل في ذاكرة الـ KV من مسار التمرير الأمامي الأولي. وهي تولد استعلامات ( $Q$ ) جديدة باستخدام معرفات المواقع الأصلية لحساب الإزاحات النسبية بشكل صحيح.
تسجيل الدرجات (Scoring): تُعرف درجة المفاجأة $s_i$ للرمز $x_i$ بأنها $1 - P(x_i | x_{i+1:t})$ . ومن الناحية العملية، تُستخدم لوجيت (logit) الرمز $x_i$ كوكيل رتيب لهذا الاحتمال.
الإقصاء (Eviction): خلال دورة تحديث الذاكرة، يتم إقصاء الرموز ذات درجات المفاجأة الأقل (الأكثر قابلية للتنبؤ)، بينما يتم الاحتفاظ بالرموز ذات المفاجأة العالية. ويتم دائمًا الاحتفاظ بالرمز الأخير لأنه لا يملك سياقًا مستقبليًا.

التقريب السريع لطبقة واحدة (Fast Single-Layer Approximation)

لمعالجة التكلفة الحسابية لمسار كامل عكسي سببي (والتي تبلغ $O(Ln^2)$ ، حيث $L$ هو عدد الطبقات و $n$ هو حجم الذاكرة)، يقترح المؤلفون تقريبًا سريعًا. يقتصر هذا التقريب على طبقة المحولات الأخيرة فقط.

يقوم بتسجيل التنشيطات المخفية $H^{(L-1)}$ من الطبقة قبل الأخيرة خلال مسار التمرير الأمامي القياسي.
أثناء التحديث، يقوم بحساب الاستعلامات من هذه التنشيطات المخزنة ويطبق القناع العكسي السببي في الطبقة النهائية فقط.
يقلل هذا من التعقيد إلى $O(n^2)$ ، مما يحقق تسريعًا يتراوح بين 7 إلى 9 أضعاف لكل دورة تحديث مع فقدان طفيف في الدقة.

يعمل النظام في دورات مجزأة (chunked cycles)، حيث يتناوب بين مرحلة الاستنتاج (معالجة $h$ من الرموز) ومرحلة تحديث الذاية (تقييم وتقليص الذاكرة إلى الحجم $J$ ).

المساهمات الرئيسية

مقياس المفاجأة العكسية للسببية: طريقة مبدئية لا تتطلب تدريبًا لتقدير فائدة الرمز بناءً على قابلية التنبؤ من السياق المستقبلي، مما يتجنب التحيز الذي يعزز نفسه ذاتيًا والموجود في درجات الانتباه.
تسجيل الدرجات داخل التوزيع (In-Distribution Scoring): تعيد آلية تسجيل الدرجات استخدام التمثيلات المخزنة بالفعل وتعمل في ترتيب الرموز الأصلي، مما يضمن أن التقييم مرتبط مباشرة بمحتويات الذاكرة الفعلية دون الحاجة إلى تدريب إضافي أو افتراضات خارج التوزيع.
التقريب الفعال: يوفر التقريب السريع لطبقة واحدة تسريعًا هائلاً في زمن تحديث الذاكرة (من مئات الملي ثانية إلى أقل من 10 مللي ثانية لذاكرة بحجم 512 رمزًا) مع الحفاظ على أداء تنافسي.
تقييم شامل: اختبارات واسعة النطاق عبر عائلات نماذج متعددة (Qwen2.5, LLaMA 3.1) ومهام متنوعة (الاستدلال الرياضي، الأسئلة والأجوبة ذات السياق الطويل، والحوار متعدد الخطوات).

النتائج التجريبية

تم تقييم الطريقة على معايير MATH500، وAIME (وضع التفكير)، وLongHealth، وQasper، وLoCoMo.

الدقة: في MATH500، تفوقت طريقة المفاجأة العكسية للسببية على النافذة المنزلقة، وأخذ العينات الهامة، وH2O في ثلاثة من أصل أربعة نماذج (Qwen2.5-3B, 7B, 14B). وفي Llama-3.1-8B، حققت دقة بنسبة 48.2%، وهي الأفضل بين جميع استراتيجيات الإقصاء وتقترب تقريبًا من نموذج الذاكرة الكاملة (48.8%).
تماسك الاستدلال: في معيار AIME "وضع التفكير" (الذي يتطلب سلاسل طويلة من التفكير)، حققت طريقة المفاجرة العكسية للسببية أعلى دقة (36.7%) بين استراتيجيات الإقصاء، متفوقة بشكل كبير على H2O (33.3%) وImportance (26.7%). كما سجلت أدنى معدل لـ "pred=None" (الفشل في إكمال الاستدلال)، مما يشير إلى حفظ أفضل لتماسك الاستدلال.
المهام ذات السياق الطويل: في LoCoMo (الحوار متعدد الخطوات)، فشلت طريقة H2O عند أحجام الذاكرة الصغيرة، حيث كانت تكرر السؤال غالبًا أو تدرج تسميات صور غير ذات صلة بسبب تحيزها نحو رموز الانتباه العالية. نجحت طريقة الإقصاء العكسية للسببية في الاحتفاظ بالحقائق الفريدة المذكورة مرة واحدة، متجنبة أوجه الفشل هذه.
الكفاءة: قلل التقريب السريع لطبقة واحدة من زمن تحديث الذاكرة من 496 مللي ثانية إلى 52.6 مللي ثانية (عند $n=4096$ ) ومن 54 مللي ثانية إلى 7.9 مللي ثانية (عند $n=512$ ). وبالرغم من عبء التحديث، ظل وقت التوليد النهائي (end-to-end) مشابهًا لنموذج الذاكرة الكاملة لأن تقليل حجم الذاكرة خفض تكاليف الانتباه أثناء مرحلة فك التشفير.

الأهمية والادعاءات

يزعم البحث أن المفاجأة العكسية للسببية توفر مقياسًا مبدئيًا لمحتوى معلومات الرموز يتسم بالمتانة تجاه التحيزات التي تعزز نفسها ذاتيًا والمتأصلة في استراتيجيات الإقصاء القائمة على الانتباه. ومن خلال تحديد الرموز الزائدة عن الحاجة بالنظر إلى السياق المستقبلي، تدير الطريقة الذاكرة بفعالية دون الحاجة إلى إعادة تدريب النموذج أو شبكات مساعدة معقدة.

يشير المؤلفون إلى أنه بينما تضيف مرحلة المسار الكامل العكسي للسببية عبئًا حسابيًا، فإن التقريب السريع لطبقة واحدة يقدم مقايضة عملية، حيث يحقق تسريعًا كبيرًا مع حد أدنى من التدهور في الدقة. تُقدم الطريقة كحل عام قابل للتطبيق على أي نموذج توليدي تلقائي يستخدم ذاكرة KV، وهي مفيدة بشكل خاص لمهام التوليد ذات السياق الطويل حيث يكون الحفاظ على الدقة الواقعية وتماسك الاستدلال أمرًا بالغ الأهمية. ويخلص البحث إلى أنه بينما يعد تسجيل الدرجات على مستوى الرموز أمرًا طبيعيًا، فإن العمل المستقبلي يمكن أن يستكشف استراتيجيات ذات مستوى أكثر خشونة (على مستوى العبارة أو الجملة) لمعالجة الحالات التي قد يكون فيها الرمز الفردي سهل التنبؤ به ولكن العبارة ككل تكون حرجة.