🤖 machine learning

ThinKV: Thought-Adaptive KV Cache Compression for Efficient Reasoning Models

إن ThinKV هو إطار عمل لضغط ذاكرة التخزين المؤقت للمفاتيح والقيم (KV cache) يتكيف مع الأفكار، حيث يستفيد من تشتت الانتباه لتطبيق استراتيجيات هجينة للكمية والاستبعاد، مما يمكّن نماذج الاستدلال الكبيرة من تحقيق دقة تقارب عدم الفقد مع استخدام أقل من 5% من الذاكرة الأصلية، مع تعزيز إنتاجية الاستدلال بمقدار يصل إلى 5.8 ضعفاً.

المؤلفون الأصليون: Akshat Ramachandran, Marina Neseem, Charbel Sakr, Rangharajan Venkatesan, Brucek Khailany, Tushar Krishna

نُشر 2026-05-11

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Akshat Ramachandran, Marina Neseem, Charbel Sakr, Rangharajan Venkatesan, Brucek Khailany, Tushar Krishna

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول حل مسألة رياضية معقدة للغاية أو كتابة كود برمجي طويل. لديك مساعد عبقري (الذكاء الاصطناعي) يفكر بصوت عالٍ في كل خطوة. هذا "التفكير بصوت عالٍ" يسمى سلسلة الأفكار (Chain of Thought).

المشكلة هي أنه كلما فكر المساعد لفترة أطول، احتاج إلى تذكر كل ما قاله حتى الآن ليبقى على المسار الصحيح. وفي لغة الكمبيوتر، تسمى هذه الذاكرة مخزن الـ KV (KV Cache). وإذا استمر المساعد في التفكير لفترة طويلة جدًا، فإن كومة الذاكرة هذه ستكبر لتملأ "دماغ" الكمبيوتر (ذاكرة الـ GPU)، مما يؤدي إلى تعطل النظام أو بطئه الشديد.

تقدم الورقة البحثية نظامًا جديدًا يسمى ThinKV (اختصار لـ "Think KV") لحل هذه المشكلة. وإليك كيف يعمل، مشروحًا عبر تشبيهات بسيطة:

1. المشكلة: مكتب فوضوي

تخيل أن ذاكرة الذكاء الاصطناعي هي مكتب حيث يقوم بتكديس كل فكرة مرت به على الإطلاق.

الطريقة القديمة: لتوف care المساحة، كانت الطرق السابقة تقوم ببساطة برمي الأوراق الأقدم من على المكتب (مثل رمي ملاحظات الأمس) أو تصغير كل الأوراق إلى خط مجهري صغير يصعب قراءته (الكمية - quantization).
العيب: أحيانًا، تكون الورقة "الأقدم" هي في الواقع أهم دليل. كما أن تصغير كل شيء يجعل الحسابات خاطئة؛ فيصاب الذكاء الاصطناعي بالارتباك ويبدأ في التكرار أو إعطاء إجابات سيئة.

2. الرؤية الجوهرية: ليست كل الأفكار متساوية في الأهمية

اكتشف المؤلفون أنه عندما يفكر الذكاء الاصطناعي، فإنه لا ينتج كلمات عشوائية فحسب، بل يمر عبر ثلاثة "أنماط" متميزة من التفكير، والتي يسمونها أنواع الأفكار (Thought Types):

التفكير المنطقي (Reasoning - R): التفكير العميق، التخطيط، والمنطق. (أهمية عالية)
التنفيذ (Execution - E): العمليات الحسابية الفعلية أو كتابة الكود. (أهمية متوسطة)
الانتقال (Transition - T): لحظات مثل "انتظر، دعني أتحقق من ذلك"، "هممم"، أو "في الواقع، كنت مخطئًا". (أهمية منخفضة، لكنها حاسمة للاستقرار).

وجدوا أن انتباه الذكاء الاصطناعي يصبح "متفرقًا" (أقل تركيزًا) بشكل طبيعي خلال لحظات الانتقال هذه، مما يجعل تحديدها أمرًا سهلاً.

3. الحل: نظام أرشفة ذكي (ThinKV)

يعمل ThinKV كأمين مكتبة فائق الذكاء ينظم المكتب بناءً على نوع الفكرة، وليس فقط بناءً على قدمها. وهو يستخدم حيلتين رئيسيتين:

الحيلة (أ): "فكر قبل أن تُصغّر" (تصغير الأوراق الصحيحة)

بدلاً من تصغير كل الأوراق إلى نفس الحجم الصغير، يقوم ThinKV بتصغيرها بناءً على أهميتها:

أوراق التفكير المنطقي: يتم الإبقاء عليها كبيرة وواضحة (دقة عالية) لأنها تمثل جوهر المنطق.
أوراق التنفيذ: يتم تصغيرها قليلاً (دقة متوسطة).
أوراق الانتقال (لحظات "انتظر، هممم"): يتم تصغيرها إلى أصغر حجم ممكن (دقة منخفضة).
النتيجة: توفر مساحة هائلة دون فقدان المنطق المهم.

الحيلة (ب): "فكر قبل أن تطرد" (طرد الأوراق الصحيحة)

عندما يمتلئ المكتب، لا يقوم ThinKV بمجرد رمي أقدم ورقة. بل ينظر إلى تدفق القصة:

إذا وصل الذكاء الاصطناعي إلى لحظة انتقال (تغيير في الاتجاه)، يدرك ThinKV أنه يمكنه بأمان التخلص من الدفعة السابقة من الأفكار لأن الذكاء الاصطناعي قد انتقل بالفعل إلى مسار جديد.
يقوم برمي كتل كاملة من الأفكار منخفضة الأهمية دفعة واحدة، بدلاً من اختيار كلمات فردية.
قاعدة حاسمة: هو يحتفظ دائمًا بـ "شبكة أمان" صغيرة من أفكار الانتقال. وتوضح الورقة أنه إذا تم التخلص من هذه الأفكار تمامًا، فسيدخل الذكاء الاصطناعي في حلقة مفرغة من "انتظر، ماذا كنت أفعل؟".

4. خدعة النظام: لا مزيد من "التنظيف"

عادةً، عندما ترمي أشياء من نظام ذاكرة، فإنك تخلق فجوات فوضوية (ثقوبًا) تتطلب عملية بطيئة ومستهلكة للطاقة للتنظيف وإعادة الترتيب (تسمى "الضغط" أو compaction).

ابتكار ThinKV: يستخدم محرك "تفكير مستمر". بدلاً من تنظيف الفجوات، يقوم ببساة بكتابة الأفكار الجديدة مباشرة في الأماكن الفارغة التي تركتها الأفكار القديمة.
التشبيه: تخيل مرآب للسيارات. السيارات القديمة تغادر، مما يخلق أماكن فارغة. بد instead من انتظار عامل النظافة لتحريك جميع السيارات المتبقية لملء الفجوات (مما يسبب ازدحامًا مروريًا)، يقوم ThinKV ببساطة بقيادة السيارات الجديدة مباشرة إلى الأماكن الفارغة. هذا يجعل المرآب يعمل بسرعة فائقة.

النتائج

اختبرت الورقة البحثية هذا النظام في مهام رياضية وبرمجية صعبة:

الذاكرة: استخدم أقل من 5% من مساحة الذاكرة الأصلية.
الدقة: كان ذكيًا تقريبًا مثل النسخة الكاملة غير المضغوطة (شبه كامل الدقة).
السرعة: جعل ThinKV الذكاء الاصطناعي يعمل أسرع بـ 5.8 مرة من أفضل الطرق الموجودة حاليًا لأنه استطاع التعامل مع عدد أكبر من المستخدمين في وقت واحد دون نفاد الذاكرة.

باختصار: يعلم ThinKV الذكاء الاصطناعي كيفية تنظيم أفكاره الخاصة، وتصغير الأجزاء المملة، والتخلص من الأشياء القديمة فقط عندما يكون ذلك آمنًا حقًا، كل ذلك مع الحفاظ على عمل نظام الذاكرة بسلاسة دون عمليات تنظيف فوضوية.

ملخص تقني: ThinKV: ضغط ذاكرة التخزين المؤقت (KV Cache) المتكيف مع التفكير لنماذج الاستدلال الفعالة

بيان المشكلة
تنتج نماذج الاستدلال الكبيرة (LRMs)، مثل DeepSeek-R1 وOpenAI's O-series، سلاسل ممتدة من "سلسلة التفكير" (Chain of Thought - CoT) لتحقيق دقة استدلال متطورة. ومع ذلك، تترتب على هذه القدرة أعباء ذاكرة هائلة بسبب النمو السريع لذاكرة التخزين المؤقت للمفاتيح والقيم (KV cache) خلال مرحلة فك التشفير (decoding). وفي سيناريوهات المخرجات الطويلة (على سبيل المثال، توليد حوالي 32 ألف توكن)، يمكن لـ KV cache أن يتجاوز سعة الذاكرة لوحدات معالجة الرسوميات عالية الأداء (مثل NVIDIA A100)، مما يخلق عنق زجاجة مركزي يحد من أحجام الدفعات (batch sizes) وإنتاجية الاستدلال. تفشل تقنيات الضغط الحالية، المصممة أساساً لمهام التعبئة المسبقة (prefill) ذات المدخلات الطويلة أو التي تعتمد على استدلالات على مستوى التوكن مثل الاستبعاد القائم على الحداثة (recency-based eviction) والكمية الموحدة (uniform quantization)، في التقاط الديناميكيات الدلالية لعملية الاستدلال. وغالباً ما تؤدي هذه الطرق إلى تدهور دقة نماذج الاستدلال الكبيرة أو تفشل في توفير نسب ضغط كافية دون تكبد عقوبات كبيرة في الأداء بسبب تجزئة الذاكرة وأعباء إعادة التجميع (compaction overheads).

المنهجية
يقترح المؤلفون ThinKV، وهو إطار عمل هجين متكيف مع التفكير يجمع بين استراتيجيات الكمية (quantization) والاستبعاد (eviction) الموجهة بالبنية الدلالية لعملية الاستدلال. تستند المنهجية إلى ثلاث ملاحظات جوهرية مستمدة من تحليل تشتت الانتباه وأهمية التفكير في نماذج الاستدلال الكبيرة:

تفكيك التفكير عبر تشتت الانتباه (Thought Decomposition via Attention Sparsity):
يمكن تفكيك سلسلة التفكير (CoT) في نماذج الاستدلال الكبيرة إلى ثلاثة أنواع متميزة من التفكير بناءً على أنماط تشتت أوزان الانتباه:

التفكير (Reasoning - R): التفكير المنهجي واستكشاف المشكلات.
التنفيذ (Execution - E): الحسابات، توليد الكود، والاشتقاق خطوة بخوة.
الانتقال (Transition - T): عدم اليقين، التراجع (backtracking)، وتغير المسارات.
الملاحظة: تُظهر أفكار "الانتقال" أعلى مستويات تشتت الانتباه، تليها "التفكير"، بينما تمتلك أفكار "التنفيذ" أدنى مستويات التشتت.

الكمية المتكيفة مع التفكير (TBQ - فكر قبل أن تكمّم - Think Before you Quantize):

يخصص إطار العمل دقة كمية مختلفة للتوكنات بناءً على أهمية نوع التفكير المرتبط بها ( $R > E > T$ ).
التنفيذ: يتم تخصيص دقة أعلى لتوكنات "التفكير" (مثل 8-bit FP8 أو 4-bit NVFP4)، بينما يتم تخصيص دقة أقل لتوكنات "الانتقال" (مثل 2-bit Ternary). ويتم ذلك عبر "الكمية الجماعية" (group quantization) حيث يتم تخزين التوكنات مؤقتاً وتكميمها بناءً على فئة التفكير التي تم تحديدها.

الاستبعاد المتكيف مع التفكير (TBE - فكر قبل أن تستبعد - Think Before You Evict):

بدلاً من استبعاد التوكنات بناءً على الحداثة فقط، يستفيد TBE من ديناميكيات التفكير البينية. فهو يحدد أفكار "الانتقال" كأحداث مسببة لتغيير المسار.
الآلية: عند اكتشاف فكرة "انتقال"، يقوم السياسة باستبعاد التوكنات تدريجياً من مقاطع التفكير السابقة الأقل أهمية (التفكير أو التنفيذ) وفقاً لجدول تضاؤل (annealing schedule) (على سبيل المثال، تقليل الاحتفاظ من 64 إلى 32، 16، إلخ). يحدث هذا الاستبعاد الاستباقي واسع النطاق على مستوى مقاطع التفكير بدلاً من التوكنات الفردية.

تنفيذ النظام: التفكير المستمر (Continuous Thinking - CT):

لمعالجة تجزئة الذاكرة الناتجة عن الاستبعاد غير المتصل للتوكنات، صمم المؤلفون نواة (kernel) توسع تقنية PagedAttention.
التفكير المستمر: تمكن هذه الآلية من إعادة استخدام فتحات الذاكرة (memory slots) لمواقع التوكنات المستبعدة في مكانها دون الحاجة لعمليات تجميع (gather-based compaction) مكلفة. وهي تحافظ على جدول كتل معدل يتتبع أنواع التفكير، وفهارس البداية، وأقنعة الاستبعاد، مما يسمح للتوكنات الجديدة من نفس نوع التفكير بالكتابة فوق المواقع المستبعدة مباشرة. وهذا يلغي التجزئة الداخلية وتنازع عرض نطاق HBM المرتبط بطرق إعادة التجميع التقليدية.

المساهمات الرئيسية

تفكيك التفكير: إثبات أن أنماط تشتت الانتباه يمكنها تصنيف مقاطع سلسلة التفكير (CoT) ديناميكياً إلى أنواع: تفكير، تنفيذ، وانتقال، مما يتيح ضغطاً واعياً دلالياً.
استراتيجية ضغط هجينة: تقديم إطار عمل يحسن بشكل مشترك الكمية (TBQ) والاستبعاد (TBE) بناءً على أهمية التفكير، محققاً توازناً مثالياً (Pareto-optimal) بين الدقة واستخدام الذاكرة.
التصميم المشترك للنظام: تطوير نواة "التفكير المستمر"، والتي توسع PagedAttention لدعم إعادة استخدام الذالة بكفاءة وبدون تجزئة لسياسات الاستبعاد الديناميكية، مما يقلل زمن الاستدلال بشكل كبير.
التقييم الشامل: التحقق من نهج ThinKV عبر عائلات متنوعة من نماذج الاستدلال الكبيرة (DeepSeek-R1-Distill, GPT-OSS, AceReason) ومعايسات قياسية (AIME, LiveCodeBench, MATH-500).

النتائج
تظهر التجارب المكثفة أن ThinKV يحقق دقة تقارب الحالة الأصلية (near-lossless) مع استخدام أقل من 5% فقط من ذاكرة KV cache الأصلية.

الدقة: في معايير الرياضيات والبرمجة، يحافظ ThinKV على دقة مقاربة لنماذج FullKV بميزانيات توكن لا تتجاوز 1,024 توكن (حوالي 1.3%–3.6% من ذاكرة FullKV)، متفوقاً بشكل كبير على النماذج المرجعية المتطورة مثل R-KV وH2O وLazyEviction، والتي تتطلب ميزانيات أكبر لتحقيق دقة مماثلة.
الإنتاجية (Throughput): من خلال إلغاء عمليات التجميع (compaction) وتمكين أحجام دفعات أكبر، يحقق ThinKV إنتاجية استدلال أعلى بـ 5.8 ضعفاً مقارنة بالنماذج المرجعية (مثل R-KV) على وحدات NVIDIA A100 وGH200.
زمن الاستجابة (Latency): في سيناريوهات تعدد المستخدمين، يقلل ThinKV من زمن الاستجابة الإجمالي بنسبة تصل إلى 58% مقارنة بـ FullKV عند أحجام دفعات كبيرة.
الكفاءة: تقلل الطريقة من "الوقت لكل توكن مخرج" (TPOT) بنسبة تصل إلى 1.68 ضعفاً مقارنة بالنماذج المرجعية، وذلك أساساً عبر تجنب أعباء إعادة تجميع الذاكرة.

الأهمية والادعاءات
يزعم البحث أن ThinKV يمثل خطوة هامة للأمام في التصميم المشترك للخوارزميات والأنظمة لنماذج الاستدلال الكبيرة. فمن خلال تجاوز الاستدلالات على مستوى التوكن والحفاظ على المعلومات الحرجة للاستدلال عبر الوعي الدلالي، يتيح إطار العمل توليد مخرقات طويلة مستمرة دون فشل بسبب نقص الذاكرة (OOM). ويؤكد المؤلفون أن نهجهم لا يحل مشكلة عنق زجاجة الذاكرة فحسب، بل يعظم أيضاً كفاءة الاستدلال، مما يجعل نماذج الاستدلال عالية القدرة أكثر سهولة في الوصول إليها عبر الأجهزة العادية. ويسلط العمل الضوء على أن الطبيعة "المتكيفة مع التفكير" هي أمر حاسم للحفاظ على سلامة مسارات الاستدلال المعقدة، وهو عامل غالباً ما يتم تجاهله في استراتيجيات الاستبعاد والكمية السابقة.