💬 NLP

FastKV: Decoupling of Context Reduction and KV Cache Compression for Prefill-Decoding Acceleration

يُعد FastKV إطار عمل مبتكر لضغط ذاكرة التخزين المؤقت من نوع (KV cache) يعمل على فصل تقليل حسابات مرحلة الـ (prefill) عن ميزانية الـ (KV) لمرحلة الـ (decoding) عبر الاستفادة من استقرار أهمية الرموز (token importance) في الطبقات المتأخرة، مما يحقق تسريعاً كبيراً في كلتا مرحلتي الـ (prefill) والـ (decoding) دون التضحية بالدقة.

المؤلفون الأصليون: Dongwon Jo, Jiwon Song, Yulhwa Kim, Jae-Joon Kim

نُشر 2026-02-17

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Dongwon Jo, Jiwon Song, Yulhwa Kim, Jae-Joon Kim

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك محقق بارع (الذكاء الاصطناعي) تحاول حل لغز ضخم. لقد سُلّمت كومة من الأدلة بطول 128,000 صفحة.

لحل القضية، لديك وظيفتان رئيسيتان:

الإيجاز (التحضير/Prefill): يجب عليك قراءة كومة الأدلة بأكملها لفهم القصة.
الاستجواب (فك التشفير/Decoding): تطرح أسئلة واحدًا تلو الآخر، وتعود إلى ملاحظاتك للعثور على الإجابات.

المشكلة: عنق الزجاجة المتمثل في "كثرة الأشياء"

في الماضي، حاولت نماذج الذكاء الاصطناعي حل هذه المشكلة عن طريق قراءة كل صفحة من كومة الـ 128,000 صفحة.

مشكلة الإيجاز: قراءة 128,000 صفحة تستغرق وقتًا طويلاً للغاية. والوقت الذي يستغرقه الأمر ينمو بشكل أسي (إذا ضاعفت عدد الصفحات، فسيستغرق الأمر أربعة أضعاف الوقت للقراءة).
مشكلة الاستجواب: بعد القراءة، يتعين عليك الاحتفاظ بدفتر ملاحظات ضخم (ذاكرة KV Cache) يحتوي على ملاحظات حول كل صفحة. عندما تطرح سؤالاً، يتعين عليك تقليب هذا الدفتر الضخم في كل مرة. هذا يجعل العملية بطيئة، ويجعل مكتبك (ذاكرة الكمبيوتر) مزدحمًا.

حاولت الحلول السابقة معالجة أحد جانبي المشكلة، لكنها أفسدت الجانب الآخر:

نهج "تخطي القراءة": حاول البعض قراءة الصفحات الأولى والأخيرة فقط. جعل هذا عملية الإيجاز سريعة، لكن المحقق كان يفقد أدلة حاسمة في المنتصف، مما يؤدي إلى إجابات خاطئة.
نهج "تقليص دفتر الملاحظات": حاول آخرون قراءة كل شيء ولكنهم تخلصوا من معظم الملاحظات فورًا. جعل هذا عملية الاستجواب ساسية، لكن عملية الإيجاز كانت لا تزال بطيئة بشكل مؤلم لأنهم كان لا يزال يتعين عليهم قراءة جميع الـ 128,000 صفحة أولاً.

الحل: FastKV (المحقق الذكي)

يقدم البحث FastKV، وهي طريقة جديدة للتعامل مع هذا الأمر تعالج كلا المشكلتين دون فقدان الدقة. وهي تستخدم حيلتين ذكيتين تعتمدان على كيفية عمل الأدمغة البشرية (وطبقات الذكاء الاصطناعي) فعليًا.

الحيلة 1: "الغوص العميق" مقابل "ملخص الأحداث" (نشر الرموز الانتقائي/Token-Selective Propagation)

تخيل أنك تقرأ رواية مكونة من 128,000 صفحة.

الطبقات المبكرة (الفصول الـ 15 الأولى): عندما تبدأ القراءة، لا تعرف بعد ما هو المهم. أنت بحاجة لقراءة القصة بأكملها لفهم السياق. إذا تخطيت صفحات الآن، فقد تفوت تقديم الشرير.
الطبقات المتأخرة (الفصول الأخيرة): بمجرد قراءة النصف الأول، تدرك أن القصة تدور في الغالب حول المحقق والخادم. الـ 100,000 صفحة الأخرى من المناظر الخلفية لم تعد ضرورية.

خطوة FastKV: تسمح للذكاء الاصطناعي بقراءة القصة كاملة في النصف الأول من العملية (حتى لا يفوت أي شيء). ولكن بمجرد وصوله إلى "نقطة تحول" معينة (حوالي المنتصف)، يتوقف عن تمرير القصة بأكملها إلى المرحلة التالية. بدلاً من ذلك، يمرر فقط ملخص أحداث لأهم الشخصيات والأحداث.

تشبيه: فكر في الأمر مثل مخرج الأفلام. المساعد الأول للمخرج يقرأ السيناريو بالكامل لفهم الحبكة. أما المساعد الثاني للمخرج، فيحصل فقط على قائمة بأهم 50 مشهدًا للتركيز عليها. المخرج الثاني يوفر الوقت، ولكن لأن المخرج الأول قام بالقراءة الكاملة، تظل القصة مثالية.

الحيلة นี้: "التنظيف بخطوتين" (الفصل/Decoupling)

هذا هو الاختراق الأكبر للبحث. كانت الطرق السابقة تشبه معلمًا صارمًا يقول: "إذا قرأت 50% فقط من الكتاب، فلا يمكنك الاحتفاظ بملاحظات إلا لـ 50% من الصفحات." وهذا فرض مقايضة: اقرأ أقل لتوفير الوقت، ولكن افقد الدقة.

خطوة FastKV: إنها تكسر هذه القاعدة. تقول: "يمكنك قراءة الكتاب بأكمله (أو معظمه) للحصول على السياق الصحيح، ولكن يُسمى لك التخلص من 90% من ملاحظاتك قبل بدء الاستجواب."

تشبيه: تخيل أنك تجهز حقيبة للسفر.
- الطريقة القديمة: تحمل فقط ما يمكنك حمله. إذا كانت حقيبتك صغيرة، فلا يمكنك إحضار سترتك المفضلة، حتى لو رأيتها في المتجر.
- طريقة FastKV: تذهب إلى المتجر وتنظر إلى كل شيء (السياق الكامل) للتأكد مما هو موجود. ولكن عند حزم حقيبتك للرحلة (مرحلة فك التشفير)، فإنك تحمل فقط الضروريات القصوى. ليس عليك حمل المتجر بأكمله معك.

النتيجة: لماذا يهم هذا؟

باستخدام هاتين الحيلتين، يحقق FastKV "الكأس المقدسة" لكفاءة الذكاء الاصطناعي:

إيجاز أسرع: يتخطى قراءة الأجزاء المملة من منتصف ونهاية القصة، مما يجعل الإعداد الأولي أسرع بمقدار 1.8 مرة.
استجواب أسرع: يحتفظ بدفتر ملاحظات صغير وعالي الكفاءة، مما يجعل عملية الإجابة أسرع بمقدار 2.8 مرة.
لا فقدان في الدقة: نظرًا لأنه قرأ القصة بأكملها في البداية، فإنه لم يفت أي أدلة. إنه يجيب بنفس دقة قراءته وتذكره لكل شيء.

باختصار

FastKV يشبه أمين مكتبة ذكي يدرك أنه بينما تحتاج إلى مسح المكتبة بأكملها للعثور على الكتب الصحيحة، فإنك لست بحاجة لحمل المكتبة بأكملها معك إلى طاولة القراءة. من خلال فصل "إيجاد المعلومات" عن "تخزين المعلومات"، فإنه يجعل المحادثات الطويلة مع الذكاء الاصطناعي أسرع، وأرخص، وأكثر ذكاءً كما كانت من قبل.

إليك ملخص تقني مفصل لورقة البحث بعنوان "FastKV: فك الارتباط بين تقليص السياق وضغط ذاكرة التخزين المؤقت لـ KV لتسريع مرحلتي التجهيز (Prefill) وفك التشفير (Decoding)."

1. بيان المشكلة

تواجه النماذج اللغوية الكبيرة (LLMs) ذات نوافذ السياق الممتدة (مثل 128K+ توكن) اختناقات حسابية وذاكرية شديدة في مرحلتين متمايزتين:

مرحلة التجهيز (Prefill Stage): تتوسع عملية حساب الانتباه (Attention) تربيعياً ( $O(N^2)$ ) مع طول المدخلات، مما يجعل معالجة المطالبات (Prompts) الطويلة مكلفة حاسوبياً.
مرحلة فك التشفير (Decoding Stage): تنمو ذاكرة التخزين المؤقت لـ المفتاح-القيمة (KV cache) خطياً مع طول السياق. يجب على كل توكن يتم توليده الوصول إلى هذه الذاكرة المتوسعة، مما يؤدي إلى استهلاك عالٍ لنطاق تردد الذاكرة (Memory Bandwidth) وانخفاض الإنتاجية.

محدودية الحلول الحالية:

الطرق المخصصة لفك التشفير فقط (مثل StreamingLLM و SnapKV): تقوم هذه الطرق بتقليم (Pruning) ذاكرة KV بعد معالجة السياق بالكامل. وبينما تسرع هذه الطرق عملية فك التشفير، إلا أنها لا تقلل من التكلفة التربيعية لمرحلة التجهيز.
الطرق المدركة لمرحلة التجهيز (مثل GemFilter و PyramidInfer): تحاول هذه الطرق تقليل السياق أثناء مرحلة التجهيز لإنتاج ذاكرة KV أصغر. ومع ذلك، فإنها تعاني من مقايضة جوهرية:
- هي تربط بشكل وثيق بين مقدار تقليص حسابات التجهيز وبين الحجم النهائي لـ ذاكرة KV.
- التقليم المبكر العنيف (لتوفير وقت التجهيز) غالباً ما يتخلص من التوكنات التي قد تحتاجها الطبقات الأولى، بينما قد تجدها الطبقات اللاحقة حاسمة، مما يؤدي إلى تدهور كبير في الدقة.
- غالباً ما تفشل هذه الطرق في مراعاة الديناميكيات المعتمدة على الطبقات (Layer-dependent dynamics) لأهمية التوكنات.

2. المنهجية: FastKV

يقدم FastKV إطار عمل يقوم بـ فك الارتباط بين تقليص السياق (حسابات التجهيز) وبين الاحتفاظ بذاكرة KV (ذاكرة فك التشفير). وهو مبني على ملاحظتين رئيسيتين:

ديناميكيات السياق المعتمدة على الطبقة: في الطبقات الأولى، تكون مجموعة التوكنات "الحاسمة" غير مستقرة وتتغير بسرعة. أما في الطبقات اللاحقة، فتستقر مجموعة التوكنات الحاسمة وتتداخل بشكل كبير عبر الطبقات.
استخدام السياق المتناثر (Sparse Context): أثناء فك التشفير، يكون الانتباه متناثراً للغاية؛ حيث تهيمن نسبة صغيرة فقط من التوكنات (على سبيل المثال، أعلى 0.38%) على درجات الانتباه، حتى في حالات السياق الطويل جداً.

بناءً على هذه الرؤى، يستخدم FastKV تقنيتين أساسيتين:

أ. الانتشار الانتقائي للتوكنات (Token-Selective Propagation - TSP)

بدلاً من تقليم التوكنات فوراً، يستخدم FastKV استراتيجية تجهيز مكونة من مرحلتين:

المرحلة 1 (الطبقات الأولى): يعالج النموذج السياق الكامل عبر الطبقات الأولية. يضمن هذا أن الطبقات الأولى، التي تمتلك أنماط انتباه غير مستقرة، يمكنها الوصول إلى جميع التوكنات لبناء تمثيلات قوية.
المرحلة 2 (طبقة TSP وما بعدها): عند طبقة TSP محددة (عادةً في منتصف النموذج)، يقوم النظام بتقييم بروز (Saliency) التوكنات.
- يتم حساب البروز عن طريق متوسط أوزان الانتباه من "نافذة" حديثة من التوكنات (Queries) تجاه جميع توكنات السياق.
- يتم تمرير التوكنات الأعلى تصنيفاً فقط (بالإضافة إلى توكنات النافذة) إلى الطبقات اللاحقة.
- هذا يقلل من العبء الحسابي للطبقات المتبقية دون التخلص من المعلومات التي احتاجتها الطبقات الأولى.

ب. الاحتفاظ بـ KV المفكك (Decoupled KV Retention)

يقدم FastKV تحكماً مستقلاً في معملين (Hyperparameters):

معدل TSP: يتحكم في عدد التوكنات التي يتم تمريرها بعد طبقة TSP (مما يؤثر على حسابات التجهيز).
معدل الاحتفاظ بـ KV: يتحكم في عدد مدخلات KV التي يتم الاحتفاظ بها في كل طبقة لمرحلة فك التشفير.

الابتكار الرئيسي: على عكس الطرق السابقة حيث يؤدي تقليل سياق التجهيز تلقائياً إلى تقليص ذاكرة KV، يسمح FastKV بضغط ذاكرة KV بشكل مستقل. على سبيل المثال، يمكن للمستخدم تمرير كمية معتدلة من السياق للحفاظ على الدقة (TSP)، مع التقليم العنيف لـ ذاكرة KV من أجل كفاءة فك التشفير (KV Retention).

3. المساهمات الرئيسية

آلية فك الارتباط: أول إطار عمل يفصل بين قرار أي التوكنات يجب معالجتها (التجهيز) وبين أي التوكنات يجب تخزينها (فك التشفير)، مما يكسر المقايضة الجامدة الموجودة في الأبحاث السابقة.
استراتيجية مدركة للطبقات: يستفيد من ملاحظة أن أهمية التوكنات تستقر في الطبقات العميقة، مما يسمح بالتقليم الآمن فقط بعد "طبقة TSP" محددة حيث يستقر النموذج على التوكنات الحاسمة.
تجهيز ثنائي المرحلة: سير عمل مبتكر يحتفظ بحسابات السياق الكامل في الطبقات الأولى لمنع فقدان المعلومات، وينتقل إلى الانتشار الانتقائي فقط عندما تستقر أنماط الانتباه.
التوازن بين الكفاءة والدقة: يحقق تسريعاً كبيراً في كلتا المرحلتين دون التدهور في الدقة الذي تشهده طرق التجهيز المعتادة.

4. النتائج التجريبية

قام المؤلفون بتقييم FastKV على نماذج LLaMA-3.1-8B-Instruct و Ministral-8B-Instruct باستخدام اختبارات LongBench و RULER و Needle-in-a-Haystack.

التسريع:
- التجهيز (Prefill): أسرع بمقدار يصل إلى 1.82× مقارنة بالنماذج الأساسية ذات السياق الكامل.
- فك التشفير (Decoding): أسرع بمقدار يصل إلى 2.87× مقارنة بالنماذج الأساسية ذات السياق الكامل.
- عند طول سياق 128K، يحقق FastKV تسريعاً في النهاية إلى النهاية (End-to-end) يزيد عن 2× مقارنة بالنموذج الأساسي.
الدقة:
- يحافظ FastKV على دقة مقاربة للنماذج الأساسية ذات السياق الكامل (انخفاض أقل من 1% في LongBench).
- يتفوق بشكل كبير على GemFilter و PyramidInfer، اللذين يعانيان من انخفاض كبير في الدقة (يصل إلى 11.58% لـ GemFilter) بسبب استراتيجيات التقليم المرتبطة.
- في اختبار Needle-in-a-Haystack، حقق FastKV درجة 99.9 (مقابل 99.0 للسياق الكامل)، مما يشير إلى أن الانتشار الانتقائي يمكن أن يساعد النموذج أحياناً في التركيز على المعلومات الحاسمة.
المقارنة:
- مقابل (Decoding-only) مثل SnapKV: يعد FastKV أسرع في مرحلة التجهيز مع مطابقة الدقة.
- مقابل (Prefill-aware) مثل GemFilter: يعد FastKV أبطأ قليلاً في التجهيز (بسبب معالجة السياق الكامل في الطبقات الأولى) ولكنه يتفوق بمراحل في الدقة.

5. الأهمية

يعالج FastKV اختناقاً حرجاً في نشر النماذج اللغوية الكبيرة ذات السياق الطويل. من خلال الإدراك بأن الطبقات الأولى تحتاج إلى سياق كامل بينما الطبقات اللاحقة وفك التشفير يحتاجان فقط إلى سياق متناثر، فإنه يوفر مفتاح تحسين مرن لمصممي الأنظمة.

القابلية للتوسع: يتيح الاستنتاج الفعال مع نمو نوافذ السياق لما وراء 128K، حيث تصبح عرض نطاق الذاكرة والحسابات التربيعية عائقاً كبيراً.
المرونة: يمكن للمستخدمين ضبط معدل TSP ومعدل الاحتفاظ بـ KV بشكل مستقل بناءً على قيودهم الخاصة (مثل إعطاء الأولوية لزمن الاستجابة المنخفض مقابل استخدام الذاكرة المنخفض).
التعامد (Orthogonality): الطريقة متوافقة مع تقنيات التحسين الأخرى مثل التكميم (Quantization) ونواة الانتباه المتناثرة (Sparse attention kernels)، مما يوفر مساراً نحو خدمة فعالة عالمياً للنماذج اللغوية الكبيرة.

باختدود، يثبت FastKV أن التوقيت لا يقل أهمية عن الاختيار في ضغط ذاكرة التخزين المؤقت لـ KV. ومن خلال تأخير تقليص السياق حتى تستقر أهمية التوكنات، فإنه يحقق "الهدف الأسمى" للاستنتاج طويل السياق: تجهيز سريع، فك تشفير سريع، ودقة عالية في آن واحد.