🤖 AI

Make Your LVLM KV Cache More Lightweight

تقترح الورقة البحثية LightKV، وهي طريقة مبتكرة تقلل بشكل كبير من عبء ذاكرة وحدة معالجة الرسومات والحوسبة في نماذج الرؤية واللغة الكبيرة من خلال ضغط ذاكرة التخزين المؤقت لـ KV الخاصة بالرموز البصرية عبر تمرير الرسائل عبر الوسائط الموجهة بالموجه، محققةً ما يصل إلى 50% من تقليل الذاكرة المخزنة مؤقتًا و40% من توفير الحوسبة مع الحفاظ على الأداء عبر ثمانية معايير قياسية.

المؤلفون الأصليون: Xihao Chen, Yangyang Guo, Roger Zimmermann

نُشر 2026-05-04

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Xihao Chen, Yangyang Guo, Roger Zimmermann

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مساعداً ذكياً ومتعدد المواهب (نموذج لغوي بصري كبير، أو LVLM) يمكنه النظر إلى صورة والإجابة عن أسئلة حولها. للقيام بذلك بسرعة، يحتفظ المساعد بـ "مسودة" في ذاكرته قصيرة المدى تسمى تخزين المفاتيح والقيم (KV Cache). هذه المسودة تحتفظ بكل الملاحظات التي دونها أثناء النظر إلى الصورة حتى لا يضطر لإعادة قراءة الصورة بأكملها في كل مرة يفكر فيها في إجابة جديدة.

المشكلة هي أنه عندما ينظر المساعد إلى صورة عالية الدقة، فإنه يقسم الصورة إلى مئات أو حتى آلاف القطع الصغيرة (تسمى رموز الرؤية - vision tokens). كل قطعة تحصل على ملاحظة في المسودة. إذا كانت الصورة معقدة، تصبح المسودة ممتلئة جداً بحيث تستهلك كل ذاكرة الكمبيوتر، مما يؤدي إلى إبطاء كل شيء أو حتى تعطل النظام.

يقدم هذا البحث LightKV، وهي طريقة جديدة لتقليص تلك المسودة دون فقدان التفاصيل المهمة. إليك كيف تعمل، باستخدام تشبيهات بسيطة:

المشكلة: مكتب فوضوي

تخيل أن مكتب المساعد الخاص بك مغطى بآلاف الملاحظات اللاصقة، كل منها يصف جزءاً صغيراً من صورة (ورقة شجر، عجلة سيارة، سحابة).

الطريقة القديمة: يحتفظ المساعد بكل ملاحظة لاصقة. إذا سألته: "ماذا يوجد في السماء؟"، يتعين على المساعد مسح آلاف الملاحظات حول أوراق الشجر والعجلات للعثور على الملاحظات المتعلقة بالغيوم. هذا بطيء ويشغل مساحة هائلة من مساحة المكتب (ذاكرة وحدة معالجة الرسومات - GPU memory).
الخلل في الحلول السابقة: حاول بعض الناس مجرد التخلص من الملاحظات العشوائية أو تجميع الملاحظات المتشابهة (مثل "كل الأشياء الخضراء"). لكن هذا أمر محفوف بالمخاطر. فقد تكون الملاحظة الخضراء عبارة عن شجرة (مهمة) أو قميص أخضر (غير ذي صلة). بدون سياق، قد تتخلص من الشجرة وتحتفظ بالقميص، مما يفسد الإجابة.

الحل: LightKV (المحرر الذكي)

يعمل LightKV كمحرر ذكي للغاية يعرف بالضبط ما يسأل عنه المستخدم. إنه يستخدم النص المقترح (السؤال) كدليل لتحديد الملاحظات التي يجب الاحتفاظ بها ودمجها.

إليك العملية خطوة بخوة، مشروحة بالتشبيهات:

1. استراتيجية "محادثة المجموعة" (النافذة - Windowing)

بدلاً من محاولة مقارنة كل ملاحظة لاصقة بكل ملاحظة أخرى في العالم (وهو أمر سيستغرق وقتاً طويلاً)، يقوم LightKV بتقسيم المكتب إلى نوافذ صغيرة يمكن إدارتها (مثل تجميع الملاحظات في أكوام صغيرة).

التشبيه: تخيل فرز كومة ضخمة من البريد إلى مجموعات صغيرة بناءً على الحي الذي أتت منه الرسائل. أنت تقارن الرسائل داخل نفس الحي أولاً فقط. هذا يجعل المهمة أسرقة بكثير.

2. "خاطبة النصيب" (الرسم البياني ثنائي الأجزاء - Bipartite Graph)

داخل كل نافذة صغيرة، يقسم LightKV الملاحظات إلى مجموعتين (المجموعة أ والمجموعة ب). ثم يبحث عن الأزواج حيث تكون الملاحظات متشابهة جداً (تباعد الميزات المنخفض).

التشبيه: فكر في الأمر كحدث "تعارف سريع" للملاحظات اللاصقة. إذا كانت ملاحظتان متطابقتان تقريباً (مثلاً: قطعتان من السماء الزرقاء)، يتم إقرانهما معاً.

3. "دليل السياق" (توجيه النص المقترح - Prompt Guidance)

هذا هو الجزء الأهم. في الطرق السابقة، كان المساعد يدمج الملاحظات لمجرد أنها تبدو متشابهة. أما LightKV فيسأل: "هل تساعد هذه الملاحظة في الإجابة على سؤال المستخدم؟"

كيف يعمل: ينظر إلى مقدار الانتباه الذي أولاه المساعد لسؤال المستخدم عندما قرأ الملاحظة لأول مرة.
التشبيه: إذا سأل المستخدم: "هل يوجد كلب في الصورة؟"، يتحقق LightKV من الملاحظات. يرى أن الملاحظات المتعلقة بـ "قطعة من الفراء البني" كانت مركزة بشدة عند قراءة كلمة "كلب". لذا، يحتفظ بتلك الملاحظة. ويرى أن "قطعة الفراء البني" الموجودة على كرسي تم تجاهلها عند قراءة كلمة "كلب"، لذا يدمج تلك الملاحظة مع ملاحظات أخرى أو يتخلص منها.
النتيجة: ينشئ "ملاحظة فائقة" تجمع المعلومات من الملاحظات المتشابهة ولكنها تحتفظ بالتفاصيل المحددة ذات الصلة بالسؤال.

4. "التنظيف الطبقي" (الضغط الهرمي - Hierarchical Compression)

لا يقوم LightKV بهذا مرة واحدة فقط. بل يقوم به في مراحل أثناء معالجة المساعد للصورة بعمق أكبر.

التشبيه: تخيل تنظيف غرفة. أولاً، تلتقط القمامة الكبيرة والواضحة (الطبقات الأولى). ثم، تنظم الكتب على الرف (الطبقات الوسطى). أخيراً، تمسح الغبار عن الزوايا (الطبقات الأخيرة). يبدأ LightKV بدمج الملاحظات في مجموعات محلية صغيرة، ومع التعمق، يدمج الملاحظات من مناطق أوسع، مما يضمن عدم فقدان الصورة الكبيرة أثناء تقليص الكومة.

ماذا وجدوا؟

اختبر المؤلفون LightKV على ثمانية مساعدين أذكياء مختلفين (مثل LLaVA و Qwen) باستخدام ثمانية أنواع مختلفة من الاختبارات (من وصف الصور إلى حل الألغاز العلمية).

نصف المساحة: تمكنوا من تقليص عدد ملاحظات الرؤية في المسودة بنحو 50% (الاحتفاظ بـ 55% فقط من الملاحظات الأصلية).
نفس الذكاء (أو أفضل): حتى مع نصف الملاحظات، أجاب المساعدون على الأسئلة بنفس جودة السابق، بل وأحياناً بشكل أفضل من طرق الضغط الأخرى.
أسرع: نظرًا لوجود ملاحظات أقل للمعالجة، بذل الكمبيوتر جهداً أقل (أقل بنسبة تصل إلى 40% في الحسابات) واستخدم ذاكرة أقل بشكل ملحوظ.
لا حاجة لإعادة التدريب: الجزء الأفضل؟ لم يضطروا لتعليم المساعدين أي شيء جديد. LightKV هو أداة "جاهزة للاستخدام" تعمل مع النماذج الموجودة فوراً.

الملخص

LightKV يشبه أمين مكتبة ذكي، بدلاً من الاحتفاظ بكل صفحة من ألبوم صور ضخم، ينشئ ملخصاً مكثفاً. ولكن على عكس الملخص العادي، يقرأ هذا الأمين سؤالك المحدد أولاً ويضمن أن الملخص يسلط الضوء على الأجزاء المحددة من الصورة التي تجيب على سؤالك، مستبعداً الضجيج غير ذي الصلة. هذا يوفر المساحة والوقت دون جعل أمين المكتبة ينسى.

إليك ملخص تقني مفصل لورقة البحث بعنوان "Make Your LVLM KV Cache More Lightweight" (LightKV).

1. بيان المشكلة

تعتمد نماذج اللغة واللغات المرئية الكبيرة (LVLMs) على ذاكرة التخزين المؤقت للمفاتيح والقيم (KV cache) لتحسين كفاءة الاستدلال. ومع ذلك، وعلى عكس النماذج اللغوية الكبيرة (LLMs) التي تعالج بشكل أساسي الرموز النصية (text tokens)، يجب على نماذج (LVLMs) معالجة عدد هائل من الرموز المرئية (على سبيل المثال، 576 في LLaVA-v1.5، وتصل إلى 7,290 في LLaVA-OneVision) خلال مرحلة التعبئة المسبقة (prefill stage).

يخلق هذا عائقين حرجين:

العبء الإضافي على الذاكرة: يتسبب الحجم الهائل للرموز المرئية في استهلاك ذاكرة وحدة معالجة الرسومات (GPU) بشكل أكبر بكثير مما هو عليه في النماذج اللغوية التي تقتصر على النصوص فقط، وغالبًا ما يصبح هذا العائق الأساسي للسياقات الطويلة أو المدخلات عالية الدقة.
عدم تجانس الرموز: الرموز المرئية غير متجانسة (تمثل قطع الصور) وتتفاوت أهميتها بناءً على النص الموجه (text prompt). غالبًا ما تعامل طرق التقليم (pruning) الحالية الرموز بشكل موحد أو تعتمد على التقليم بعد مرحلة التعبئة المسبقة، مما يفشل في معالجة عبء الذاكرة الذي يحدث أثناء مرحلة التعبئة المسبقة الأولية.

تتطلب الحلول الحالية مثل MQA/GQA إعادة تدريب مكثفة للنموذج، بينما غالبًا ما تعمل طرق تقليم الرموز (مثل FastV وH2O) بعد مرحلة التعبئة المسبقة أو تفتقر إلى التوجيه عبر الوسائط (cross-modal guidance)، مما يؤدي إلى أداء غير متسق عبر مختلف النماذج والمعايير.

2. المنهجية: LightKV

يقترح المؤلفون LightKV، وهو نهج لا يتطلب تدريبًا (training-free) يقوم بضغط الرموز المرئية أثناء مرحلة التعبئة المسبقة من خلال استغلال التكرار بين التضمينات المرئية (vision embeddings)، بتوجيه من النصوص الموجهة. تعمل الطريقة عبر مسار مكون من ثلاث خطوات:

أ. ضغط الرموز داخل النافذة (Intra-Window Token Compression)

بدلاً من معالجة الصورة بأكملة عالميًا، يقوم LightKV بتقسيم الرموز المرئية إلى نوافذ مكانية غير متداخلة ( $w \times w$ ). داخل كل نافذة، يقوم بما يلي:

بناء الرسم البياني ثنائي الأجزاء (Bipartite Graph): يتم تقسيم الرموز في النافذة إلى مجموعتين ( $X_A$ $X_{A}$ و $X_B$ $X_{B}$ ). يتم بناء رسم بياني ثنائي الأجزاء حيث تمثل الحواف التباعد الميزي (Feature Divergence - FD) بين العقد.
- $FD(\alpha, \beta) = 1 - \frac{\langle x_\alpha, x_\beta \rangle}{||x_\alpha|| ||x_\beta||}$ (مسافة جيب التمام/Cosine distance).
- يقلل هذا من التعقيد الحسابي من $O(v^2)$ إلى $O(v^2/4)$ مقارنة بالمطابقة الثنائية الكاملة.
تمرير الرسائل الموجه بالنص (Prompt-Aware Message Passing): على عكس الطرق السابقة التي تدمج الرموز بناءً على التشابه البصري فقط، يستخدم LightKV درجات الانتباه عبر الوسائط (cross-modal attention scores) كأوزان.
- يحسب التراكمي للانتباه ( $\xi_i$ ) الذي يوليه كل رمز مرئي لرموز النص الموجه.
- يتم تمرير الرسائل من $X_A$ إلى $X_B$ (والعكس) بوزن هذه الدرجات من الانتباه. يضمن ذلك الحفاظ على الرموز ذات الصلة العالية بالنص الموجه، بينما يتم تجميع المعلومات المرئية المتكررة.
إزالة العقد (Node Elimination): يتم التخلص من العقد الزائدة (التي تتميز بـ FD منخفض وارتباط ضعيف بالنص الموجه)، ويتم تحديث العقد المتبقية وإعادة ترتيبها.

ب. الضغط الهرمي بين النوافذ (Inter-Window Hierarchical Compression)

لالتقاط السياق العالمي دون فقدان الموضع المكاني، يستخدم LightKV استراتيجية هرمية مستوحاة من نماذج Swin-Transformers:

التكرار متعدد المراحل: يتم تطبيق الضغط في طبقات فك التشفير (decoder layers) محددة ( $\lambda_1, \lambda_2, \dots$ ).
التوسع التدريجي: في الطبقات الأولى، يحدث الضغط داخل نوافذ صغيرة (للحفاظ على التفاصيل المحلية). في الطبقات الأعمق، يزدل حجم النافذة (أو تندمج الأجزاء)، مما يسمح بتمرير الرسائل عبر مسافات مكانية أكبر لالتقاط الدلالات العالمية.
الجدولة الديناميكية: تستخدم الطريقة معاملات فائقة (hyperparameters) لاختيار الطبقة ( $\Lambda$ )، وحجم النافذة ( $W$ )، ونسبة الضغط ( $P$ ) للتكيف مع أعماق النماذج المختلفة.

3. المساهمات الرئيسية

الضغط الموجه بالنص (Prompt-Aware Compression): يعد LightKV أول طريقة تستخدم صراحةً توجيه النص الموجه لدفع ضغط الرموز المرئية أثناء مرحلة التعبئة المسبقة. وهذا يميزه عن استراتيجيات التقليم البصرية فقط، مما يضمن الاحتفاظ بالسمات المرئية المهمة دلاليًا بالنسبة للاستعلام.
بدون تدريب وقابل للتشغيل المباشر (Training-Free & Plug-and-Play): لا تتطلب الطة إعادة تدريب النموذج أو ضبطه بدقة. يمكن تطبيقها بسلاسة على مختلف نماذج LVLM مفتوحة المصدر (مثل LLaVA، InternVL، Qwen2.5-VL، EVE).
تقسيم الرسم البياني الفعال: من خلال استخدام المطابقة ثنائية الأجزاء داخل النوافذ المكانية، تقلل الطريقة بشكل كبير من التكلفة الحسابية لحساب التباعد الميزي مقارنة بالمطابقة الثنائية العالمية.
التصميم الهرمي: يوازن الجمع بين الضغط داخل النافذة (المحلي) وبين النوافذ (العالمي) بين الحفاظ على التماسك المكاني ودمج السياق العالمي.

4. النتائج التجريبية

قام المؤلفون بتقييم LightKV على 8 نماذج LVLM مفتوحة المصدر (بما في ذلك LLaVA-v1.5، LLaVA-NeXT، InternVL2، EVE، وQwen2.5-VL) عبر 8 معايير قياس (MME، SeedBench، GQA، إلخ).

تقليل الذاكرة: يقلل LightKV حجم ذاكرة التخزين المؤقت لرموز الرؤية بنسبة تقارب 50% (مع الاحتفاظ بحوالي 55% من الرموز الأصلية).
الحفاظ على الأداء:
- يحافظ على أداء النماذج الأصلية أو حتى يتفوق عليها قليلاً (على سبيل المثال، يحقق 99.94% من أداء النموذج الأساسي في LLaVA-v1.5-13B).
- يتفوق بشكل كبير على النماذج المرجعية الحالية مثل FastV وToMe وElasticCache، والتي غالبًا ما تعاني من تدهور الأداء (على سبيل المثال، ينخفض FastV إلى حوالي 90% في LLaVA-NeXT).
مكاسب الكفاءة:
- الحوسبة: يقلل العمليات الحسابية (FLOPs) بنسبة تصل إلى 40%.
- زمن الاستجابة (Latency): يقلل زمن الوصول لأول رمز (TTFT) بشكل كبير (على سبيل المثال، من 656 مللي ثانية إلى 383 مللي ثانية في LLaVA-NeXT-13B).
القوة والمتانة: تعمل الطريقة بفعالية على كل من النماذج القائمة على مشفر الرؤية (vision-encoder-based) والنماذج الخالية من المشفر (encoder-free) (مثل EVE)، مما يثبت قابلية التطبيق الواسعة.

5. الأهمية

يعالج LightKV مشكلة حيوية تتعلق بقابلية التوسع في نشر نماذج LVLM. من خلال تقليل بصمة الذاكرة لذاكرة التخزين المؤقت KV خلال المرحلة الأكثر تكلفة (التعبئة المسبقة)، فإنه يتيح:

النشر في البيئات محدودة الموارد: تشغيل نماذج LVLM عالية الدقة على وحدات معالجة رسومات استهلاكية (مثل A100-40GB) والتي قد تواجه مشكلة نفاذ الذاكرة (OOM) بسبب نوافذ السياق الكبيرة.
كفاءة التكلفة: خفض التكلفة الحسابية (FLOPs) وزمن الاستجابة، مما يجعل تطبيقات الوسائط المتعددة في الوقت الفعلي أكثر جدوى.
التعميم: توفير طبقة تحسين عالمية لا تتطلب تدريبًا، تعمل على تحسين كفاءة منظومة LVLM بأكملها دون المساس بقدرات الاستدلال للنموذج.

باختصار، يعيد LightKV تعريف تحسين ذاكرة التخزين المؤقت KV للنماذج متعددة الوسائط من خلال الانتقال من التقليم "البصري فقط" إلى الضغط الهرمي الموجه بالنص، محققًا توازنًا فائقًا بين كفاءة الذاكرة وأداء المهام.