🤖 AI

Reducing Peak Memory Usage for Modern Multimodal Large Language Model Pipelines

تقترح هذه الورقة آلية ضغط لذاكرة التخزين المؤقت للمفاتيح والقيم (key-value cache) متسلسلة ومدركة للبنية، تفرض ميزانية ذاكرة ثابتة خلال مرحلة التعبئة المسبقة (prefill stage) للنماذج اللغوية الكبيرة متعددة الوسائط، مما يقلل بشكل كبير من ذروة استخدام الذاكرة مع الحفاظ على أداء التوليد.

المؤلفون الأصليون: Junwan Kim, Hyunkyung Bae

نُشر 2026-04-21

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Junwan Kim, Hyunkyung Bae

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح الورقة البحثية باستخدام لغة بسيطة وتشبيهات إبداعية.

المشكلة: "حقيبة الظهر الممتلئة أكثر من اللازم"

تخيل أنك محقق (الذكاء الاصطناعي) تحاول حل لغز من خلال النظر إلى ألبوم صور ضخم (المدخلات المرئية) وقراءة قائمة من الأدلة (النص المكتوب).

في أنظمة الذاء الاصطناعي الحديثة، لفهم الصور عالية الدقة أو الفيديوهات الطويلة، يجب على النظام تقسيمها إلى آلاف القطع الصغيرة من الألغاز تسمى "التوكنز" (Tokens). ولحل اللغز، يحتاج الذكاء الاصطناعي لتذكر كل قطعة رآها حتى الآن، ويحتفظ بهذه الذكريات في "حقيبة ظهر" خاصة تسمى "ذاكرة KV Cache".

المشكلة:
إذا عرضت على الذكاء الاصطناعي صورة بدقة 4K أو فيديو مدته 10 دقائق، فإن عدد قطع الألغاز ينفجر بشكل هائل. تصبح حقيبة الظهر ثقيلة جداً وممتلئة لدرجة أنها تنفجر قبل أن يبدأ الذكاء الاصطناعي حتى في حل اللغز. يُعرف هذا بـ خطأ "نفاد الذاكرة" (Out-of-Memory - OOM).

تحاول الحلول الحالية إصلاح ذلك عبر ترك الذكاء الاصطناعي يملأ الحقيبة بالكامل، ثم يتخلص من العناصر "الأقل أهمية" بعد تحميل الألبوم بأكمله. ولكن بحلول ذلك الوقت، يكون الأوان قد فات؛ فقد انفجرت الحقيبة بالفعل.

الحل: استراتيجية "التعبئة الذكية"

يقترح مؤلفو هذه الورقة طريقة جديدة للتعبئة: لا تنتظر حتى النهاية لترمي الأشياء. عبّئ وتخلص من الزوائد أثناء العمل.

يسمون هذا النهج نهج "الوعي بمرحلة التعبئة" (Prefill-Aware). فبدلاً من ملء حقيبة الظهر حتى حافتها ثم ضغطها، هم يفرضون ميزانية ذاكرة صارمة (حد أقصى للوزن) منذ الخطوة الأولى.

إليك كيف تعمل طريقتهم، مقسمة إلى ثلاثة مفاهيم بسيطة:

1. نهج "الكتل المتتالية" (Block-by-Block)

بدلاً من صب ألبوم الصور بالكامل في حقيبة الظهر دفعة واحدة، ينظر الذكاء الاصطناعي إلى الصور في كتل صغيرة.

الطريقة القديمة: صب 1,000 صورة دفعة واحدة. تنفجر الحقيبة.
الطريقة الجديدة: انظر إلى 10 صور. ضعها في الحقيبة. تحقق من الوزن. إذا كانت ثقيلة جداً، تخلص فوراً من الصور الأقل فائدة قبل إضافة الـ 10 التالية.
النتيجة: لا تصبح حقيبة الظهر ثقيلة جداً أبداً، مهما كان حجم الألبوم كبيراً.

2. طريقتان لتحديد ما يجب التخلص منه

يحتاج الذكاء الاصطناعي لمعرفة أي قطع الألغاز يحتفظ بها وأيها يرميها. يستخدمون "فلترين" مختلفين:

فلتر "الوعي بالسؤال" (للمهام الفردية):
إذا طرحت سؤالاً محدداً (مثل: "أين القطة؟")، ينظر الذكاء الاصطنال إلى سؤالك أولاً. يستخدم سؤالك كمغناطيس لجذب الأجزاء الأكثر صلة من الصورة ودفع الخلفية المملة (مثل السماء أو الجدار) بعيداً. هو يحتفظ بـ "القطة" ويرمي "السماء".
- تشبيه: مثل أمين مكتبة يحتفظ فقط بالكتب المتعلقة بموضوعك المحدد ويدفع كل شيء آخر بعيداً عن العربة فوراً.
فلتر "الاستقلال عن السؤال" (للمحادثات المستقبلية):
أحياناً، لم تطرح سؤالاً بعد، أو تكون في منت وسط محادثة طويلة حيث يتغير السياق. في هذه الحالة، يبحث الذكاء الاصطناعي عن التنوع. فهو يحتفظ بقطع الألغاز الأكثر تميزاً وغرابة، ويرمي القطع المتكررة (مثل 50 بكسل متطابقة للسماء الزرقاء).
- تشبيه: مثل طاهٍ يحتفظ بالمكونات الأكثر تميزاً (مثل الكمأة أو الزعفران) ويرمي الحقيبة الخمسين من الدقيق العادي، لضمان أن الطبكة النهائية ستكون ذات نكهة حتى لو لم يعرف الوصفة بعد.

النتائج: حقيبة أخف، وذكاء ثابت

اختبر الباحثون هذه الطريقة على نماذج ذكاء اصطناعي قوية (مثل InternVL و Qwen) باستخدام صور عالية الدقة وفيديوهات طويلة.

استخدام الذاكرة: حافظت الطريقة الجديدة على استخدام الذاكرة ثابتاً ومنخفضاً، حتى عندما كبر حجم المدخلات بشكل هائل. أما الطريقة القديمة فكانت تنهار (تنفد الذاكرة) بمجرد أن تصبح الصور كبيرة جداً.
الأداء: للمفاجأة، لم يجعل التخلص من 90% من الذاكرة الذكاء الاصطناعي غبياً بشكل كبير. فقد ظل يجيب على الأسئلة بشكل صحيح لأنه احتفظ بالقطع المهمة فقط وتخلص من القطع الزائدة فقط.
المقايضة: العيب الوحيد هو السرعة. لأن الذكاء الاصطناعي يضطر للتعبئة والتفريغ في كتل صغيرة بدلاً من القيام بذلك دفعة واحدة، فإنه يستغرق وقتاً أطول قليلاً للبدء في الإجابة. ومع ذلك، فإن هذا ثمن بسيط مقابل القدرة على التعامل مع صور ضخمة دون الانهيار.

الصورة الكبيرة

فكر في هذه الورقة البحثية كأنها ابتكار لـ "حقيبة سفر ذكية ذاتية التنظيف" للذكاء الاصطناعي.

سابقاً، إذا حاولت حشر خزانة ملابس كاملة في حقيبة سفر، فستتمزق. أما الآن، فهذه الطريقة الجديدة تسمح لك بتعبئة الملابس قطعة قطعة، مع التخلص فوراً من الجوارب التي لا تحتاجها أثناء العملية، بحيث لا تصبح الحقيبة ثقيلة جداً بحيث يصعب حملها. هذا يسمح للذكاء الاصطناعي بـ "رؤية" وفهم فيديوهات وصور ضخمة وعالية الدقة دون الحاجة إلى ذاكرة تعادل قدرة سوبر كمبيوتر.

إليك ملخص تقني مفصل للورقة البحثية بعنوان "تقليل ذروة استخدام الذاكرة لنماذج اللغات الكبيرة متعددة الوسائط الحديثة" من إعداد جونوان كيم وهيون كيونغ باي.

1. بيان المشكلة

تتمتع نماذج اللغات الكبيرة متعددة الوسائط (MLLMs) الحديثة بقدرة متزايدة على معالجة الصور عالية الدقة وتسلسلات الفيديو الطويلة. ومع ذلك، فإن هذا التوسع يفرض عائقاً حرجاً: ذروة استهلاك الذاكرة خلال مرحلة التعبئة المسبقة (prefill stage).

انفجار ذاكرة التخزين المؤقت لـ KV: تعتمد نماذج MLLM على تخزين المفتاح والقيمة (KV caching) لتسريع فك الترميز التكراري (autoregressive decoding). وبينما يقلل هذا من تعقيد فك الترميز من $O(N^2)$ إلى $O(N)$ ، إلا أن حجم التخزين المؤقت ينمو خطياً مع طول التسلسل.
الأعباء الإضافية للرموز البصرية (Visual Tokens): تولد الصور عالية الدقة (المقسمة إلى بلاطات/tiles) وعينات الفيديو الكثيفة آلاف الرموز البصرية قبل بدء عملية التوليد. على سبيل المثال، يمكن لصورة بدقة 4K أن تنتج أكثر من 42,000 رمز بصري.
طفرة التعبئة المسبقة (The Prefill Spike): تعمل طرق ضغط ذاكرة التخزين المؤقت لـ KV الحالية (مثل SnapKV وH2O) عادةً بعد تشفير السياق متعدد الوسائط بالكامل. وبناءً على ذلك، يجب أن تستوعب ذاكرة وحدة معالجة الرسومات (GPU) أولاً ذاكرة التخزين المؤقت الكاملة وغير المضغوطة للمدخلات بأكملها، مما يؤدي إلى أخطاء "نفاد الذاكرة" (OOM) خلال مرحلة التعبئة المسبقة، حتى لو كان من الممكن نظرياً استيعاب التخزين المؤقت النهائي.
محدودية الحلول الحالية:
- الضغط ما بعد التعبئة المسبقة: يفشل في معالجة طفرة الذاكرة الأولية.
  στε تقليم الرموز (Token pruning): يتخلص من رموز المدخلات عند مستوى المدخلات، وغالباً ما يتجاهل الأدوار غير المتجانسة للرموز عبر الطبقات ورؤوس الانتباه المختلفة، مما يخاطر بفقدان المعلومات ذات الأهمية الهيكلية.

2. المنهجية

يقترح المؤلفون إطار عمل لضغط ذاكرة التخيط المؤقت لـ KV يكون مدركاً للتعبئة المسبقة ومدركاً للهيكل، والذي يفرض ميزانية ذاكرة ثابتة أثناء معالجة المدخلات بدلاً من ما بعد المعالجة.

المفهوم الأساسي: التعبئة المسبقة بنظام الكتل مع الإخلاء الفوري (Block-wise Prefill with Online Eviction)

بدلاً من بناء التخزين المؤقت الكامل ثم ضغطه، تقوم الطريقة بمعالجة تسلسل المدخلات في كتل (blocks) متصلة.

المعالجة التسلسلية: يتم تقسيم تسلسل المدخلات إلى كتل بحجم $b$ .
التشفير التدريجي: لكل كتلة، يقوم النموذج بحساب أزواج KV وإلحاقها بالتخزين المؤقت.
فرض الميزانية الفوري: إذا تجاوز حجم التخزين المؤقت ميزانية ذاكرة ثابتة $M$ ، يتم تفعيل استراتيجية إخلاء فوراً لتقليم التخزين المؤقت والعودة إلى الحجم $M$ قبل معالجة الكتلة التالية.
المحاذاة الهيكلية: يتم محاذاة حدود الكتل مع التنظيمات الهيكلية للبيانات البصرية (مثل البلاطات المكانية في الصور، أو مجموعات الإطارات الزمنية في الفيديوهات) لضمان حدوث الإخلاء عند مستويات ذات دلالة دلالية (semantically meaningful).

استراتيجيات الإخلاء

يوفر إطار العمل استراتيجيتين اعتماداً على توفر معلومات الاستعلام (query):

الإخلاء المدرك للاستعلام (للمرحلة الواحدة - Single-Turn):
- يعتمد على SnapKV.
- يستخدم رموز استعلام وسيطة مستخرجة من النص الموجه (textual prompt) لحساب درجات الانتباه المتقاطع (cross-attention scores) مقابل المفاتيح المخزنة.
- يحتفظ بالرموز ذات درجات الانتباه العالية (المناطق البصرية البارزة ذات الصلة بالمطالبة) ويخلي الرموز الزائدة ذات الدرجات المنخفضة.
الإخلاء غير المدرك للاستعلام (متعدد المراحل/بدون استعلام - Multi-Turn/No Query):
- يعتمد على KeyDiff.
- لا يعتمد على استعلام محدد. بدلاً من ذلك، يحافظ على التنوع التمثيلي (representational diversity).
- يحسب متجه المتوسط ( $\mu$ ) للمفاتلة المخزنة ويعطي الأولوية للاحتفاظ بالمفات التي تبتعد كثيراً عن هذا المتوسط (القيم الشاذة/outliers)، مما يضمن الاحتفاظ بالميزات البصرية النادرة مع إزالة الميزات المتوسطة والمتكررة.

3. المساهمات الرئيسية

تغيير نموذج خط الإنتاج (Pipeline Paradigm): الانتقال من نهج "عالج أولاً، ثم اضغط لاحقاً" إلى نهج "اضغط أثناء التعبئة المسبقة"، مما يضع حداً فعالاً لذروة استخدام الذاكرة طوال مرحلة معالجة المدخلات.
الضغط المدرك للهيكل: يستغل التكرار المكاني والزمني المتأصل في البيانات البصرية من خلال محاذاة معالجة الكتل مع الهياكل البصرية (بلاطات/إطارات)، بدلاً من معاملة الرموز كتسلسل مسطح.
إطار عمل مزدوج الاستراتيجية: يقدم آليات إخلاء مزدوجة (مدركة للاستعلام للارتباط بمهام محددة، وغير مدركة للاستعلام للتنوع العام) للتعامل مع أنماط التفاعل المتنوعة (المرحلة الواحدة مقابل تعدد المراحل).
تحسين التنفيذ الهجين: يقترح استراتيجية هجينة تقوم بعمليات "forward" جماعية للرموز الأولية لتقليل زمن الاستجابة (latency)، والتحول إلى المعالجة بنظام الكتل فقط عند الضرورة للبقاء ضمن حدود الذاكرة.

4. النتالئج التجريبية

تم تقييم الطريقة على نماذج InternVL3.5-8B/14B و Qwen2.5-VL-7B/32B عبر اختبارات الصور (ImageNeedleInHaystack, V*) واختبارات الفيديو (MLVU, Video-MME).

كفاءة الذاكرة:
- تحافظ الطريقة على بصمة ذروة ذاكرة ثابتة تقريباً بغض النظر عن عدد بلاطات الصور المدخلة.
- تفشل الطرق المرجعية (Full Cache) وتواجه خطأ OOM بعد حوالي 36 بلاطة، حيث ينمو استهلاكها خطياً.
- تحقق ضغطاً في ذاكرة التخటు المؤقت لـ KV يصل إلى ~90% (تقليص الميزانية إلى 1024 رمزاً من السياق الكامل) دون حدوث أخطاء OOM.
الحفاظ على الأداء:
- تدهور أدنى في الدقة: عند ميزانية قدرها 1024 رمزاً، يكون متوسط انخفاض الدقة ضئيلاً (على سبيل المثال، ~0.78 نقطة لنموذج InternVL3.5-8B باستخدام الاستراتيجية المدركة للاستعلام).
- مكاسب غير رتيبة: في بعض مهام الفيديو، أدى الضغط القوي إلى تحسين الأداء قليلاً، مما يشير إلى أن إزالة الضوضاء الزمنية الزائدة تؤدي إلى تمثيلات أكثر تركيزاً.
المقايضات:
- زمن الاستجابة (Latency): تزيد المعالجة التسلسلية للكتل من زمن الوصول لأول رمز (TTFT) مقارنة بالمعالجة الجماعية. ومع ذلك، يعد هذا مقايضة يمكن التحكم فيها لتمكين معالجة مدخلات قد تكون مستحيلة لولا ذلك بسبب خطأ OOM.
- حساسية حجم الكتلة: يعتمد الأداء بشكل كبير على محاذاة أحجام الكتل مع نظام ترميز الرموز البصرية الأصلي للنموذج (مثل 784 رمزاً لشبكة 28×28). تؤدي عدم المحاذاة إلى انخفاض في الأداء.

5. الأهمية والخاتمة

تعالج هذه الورقة حاجز توسع أساسي في نماذج MLLM: وهو عدم القدرة على معالجة المدخلات البصرية عالية الدقة أو طويلة المدة بسبب طفرات الذاكرة في مرحلة التعبئة المسبقة.

الأثر العملي: تتيح هذه الطريقة نشر نماذج MLLM على أجهزة ذات قيود ذاكرة ثابتة (مثل وحدات معالجة الرسومات الاستهلاكية) للمهام التي تتطلب فهماً بصرياً عالي الدقة أو سياقاً طويلاً.
الرؤية النظرية: تثبت الورقة أن كيفية معالجة السياق البصري أثناء التعبئة المسبقة لا تقل أهمية عن حجم التخزين المؤقت النهائي. ومن خلال احترام التنظيمات الهيكلية للبيانات البصرية، يمكن تطبيق الضغط مبكراً دون التضحية بقدرات الاستنتاج.
الاتجاه المستقبلي: تشير الورقة إلى أنه يمكن تدريب النماذج المستقبلية صراحةً مع وضع الضغط في مرحلة التعبئة المسبقة في الاعتبار لتحسين المتانة، والانتقال لما هو أبعد من مجرد التحسين أثناء الاستنتاج.

باختصار، يحول إطار العمل المقترح المقايضة بين الذاكرة وزمن الاستجابة من فشل قاطع (OOM) إلى معلمة (parameter) يمكن التحكم بها، مما يجعل الاستنتاج متعدد الوسائط واسع النطاق أكثر عملية وسهولة في الوصول إليها.