💬 NLP

HERMES: KV Cache as Hierarchical Memory for Efficient Streaming Video Understanding

يُعد HERMES بنية مبتكرة لا تتطلب تدريباً، حيث يصيغ ذاكرة الـ KV cache كإطار عمل ذاكرة هرمي لتمكين فهم الفيديو المتدفق في الوقت الفعلي وبدقة وكفاءة في استهلاك الموارد، محققاً سرعة أكبر بـ 10 أضعاف في زمن الوصول لأول توكن (time-to-first-token) ودقة أعلى بنسبة تصل إلى 11.4% في مجموعات بيانات البث مقارنة بالطرق الرائدة الحالية.

المؤلفون الأصليون: Haowei Zhang, Shudong Yang, Jinlan Fu, See-Kiong Ng, Xipeng Qiu

نُشر 2026-04-17

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Haowei Zhang, Shudong Yang, Jinlan Fu, See-Kiong Ng, Xipeng Qiu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحث HERMES، مترجم إلى لغة يومية مع بعض التشبيهات الإبداعية.

المشكلة الكبيرة: ذكاء اصطناعي بـ "مدى انتباه قصير"

تخيل أن لديك صديقاً ذكياً جداً (ذكاء اصطناعي) بارع في مشاهدة مقطع فيديو مدته دقيقتان والإجابة على أسئلة حوله. لكن إذا طلبت منه مشاهدة بث إخباري مباشر لمدة 24 ساعة والإجابة على الأسئلة في الوقت الفعلي، سيبدأ في المعاناة.

لماذا؟ لأن "ذاكرته العاملة" (الجزء من دماغه الذي يحتفظ بالفيديو) صغيرة جداً.

الطريقة القديمة: لمشاهدة بث طويل، يحاول الذكاء الاصطناعي إما تذكر كل شيء (مما يؤدي إلى انهيار دماغه/ذاكرة وحدة المعالجة الرسومية GPU) أو يبدأ في نسيان بداية الفيديو لإفساح المجال للمواد الجديدة.
النتيوة: يصاب بالارتباك، أو يهلوس، أو يستغرق وقتاً طويلاً للإجابة لأنه يضطر للبحث في الملفات القديمة ليتذكر ما حدث قبل 10 دقائق.

الحل: HERMES (المكتبي الذكي)

ابتكر الباحثون HERMES، وهي طريقة جديدة تتيح للذكاء الاصطناعي مشاهدة بث الفيديو المباشر دون الحاجة إلى تدريب إضافي أو التعرض للانهيار.

فكر في ذاكرة الذكاء الاصطناعي (التي تسمى KV Cache) ليس ككومة واحدة فوضوية من الأوراق، بل كـ مكتبة مكونة من ثلاثة طوابق. يقوم HERMES بتنظيم هذه المكتبة بحيث يعرف الذكاء الاصطناعي بالضبط أين يبحث عن المعلومات، بناءً على مدى قدمها.

1. الطوابق الثلاثة للذاكرة

اكتشفت الورقة البحثية أن طبقات دماغ الذكاء الاصطناعي المختلفة تتعامل مع المعلومات بشكل مختلف بطبيعتها. HERMES يستغل هذا الأمر:

الطابق الأول: ردهة "الحواس" (الطبقات الضحلة)
- التشبيه: هذا يشبه حواسك المباشرة. إذا دخل شخص ما إلى الغرفة للتو، ستلاحظه فوراً.
- كيف يعمل: يحتفظ الذكاء الاصطناعي بأحدث إطارات الفيديو هنا. هو ينسى هذه الإطارات بسرعة إذا لم تكن مهمة، لكنه سريع جداً في ملاحظة ما يحدث الآن.
الطابق الثاني: مكتب "العمل" (الطبقات الوسطى)
- التشبيه: هذا يشبه مكتبك حيث تعمل حالياً على مشروع ما. لديك أحدث الأوراق، ولكن لديك أيضاً الملاحظات من ساعة مضت والتي قد تحتاج إلى الرجوع إليها.
- كيف يعمل: توازن هذه الطبقة بين "الأشياء الجديدة" و"الماضي القريب". إنها تربط المشهد الحالي بما حدث للتو.
الطابق الثالث: أرشيف "المدى الطويل" (الطبقات العميقة)
- التشبيه: هذا يشبه أرشيفات القبو في المكتبة. أنت لا تبحث هنا عما حدث قبل 5 ثوانٍ، بل تبحث هنا عن نقاط الحبكة الرئيسية للفيلم بأكم له.
- كيف يعمل: بدلاً من تخزين كل إطار بمفرده، تخزن هذه الطبقة "رموز الارتكاز" (Anchor Tokens)—مثل غلاف الكتاب أو ملخص الفصل. هي تتذكر إيقاع الفيديو (مثلاً: "بدأت مطاردة السيارات في الدقيقة الخامسة") دون الحاجة إلى كل بكسل.

كيف يعمل HERMES (الخدع السحرية)

1. قاعدة "عدم التنقيب" (السرعة في الوقت الفعلي)
تحاول معظم الطرق الأخرى "البحث" عن المعلومات القديمة عندما تطرح سؤالاً. تخيل أنك تسأل أمين مكتبتك: "ماذا حدث في الفيلم؟" وعليه أن يمشي إلى القبو، ويجد صندوقاً، ويحضره معه. هذا يستغرق وقتاً.

HERMES: المعلومات منظمة بالفعل على الرفوف. عندما تطرح سؤالاً، يحصل الذكاء الاصطناعي على الإجابة فوراً. هذا يجعله أسرع بـ 10 مرات من الطرق السابقة.

2. تأثير "التنعيم"
أحياناً، إذا رميت صفحة من "مكتب العمل"، فقد يرتبك "الأرشيف" بشأن ما كانت عليه القصة.

HERMES: يستخدم تقنية "التنعيم عبر الطبقات" (Cross-Layer Smoothing). إنها مثل يد لطيفة تضمن أن الملخص الموجود في القبو يتطابق مع الملاحظات الموجودة على المكتب. إنها تضمن عدم فقدان الذكاء الاصطناعي لخيط القصة لمجرد أنه حذف بعض الإطارات القديمة.

3. خدعة "إعادة الترقيم"
بينما يستمر بث الفيديو إلى الأبد، يمكن لساعة الذكاء الاصطناዊ الداخلية (أرقام المواقع) أن تصبح ضخمة وتتعطل.

HERMES: يقوم باستمرار بـ "إعادة ترقيم" الصفحات. إذا حذفت الصفحة 50، فإنه يعيد تسمية الصفحة 51 لتصبح الصفحة 50 فوراً. هذا يحافظ على ذاكرة الذكاء الاصطناعي مدمجة ويمنعه من الشعور بالإرهاق بسبب طول الفيديو الشديد.

النتائج: لماذا يجب أن تهتم؟

إنه فعال: يمكن لـ HERMES التخلص من ما يصل إلى 68% من بيانات الفيديو (الأجزاء المملة والمكررة) ومع ذلك يفهم الفيديو بشكل أفضل من الذكاء الاصطناعي الأصلي.
إنه سريع: يجيب على الأسئلة فوراً تقريباً، حتى على شريحة كمبيوتر واحدة، دون الحاجة إلى كمبيوتر خارق.
إنه دقيق: في الاختبارات التي تتضمن فيديوهات طويلة ومعقدة، حقق HERES في الواقع دقة أعلى بنسبة 11.4% في الإجابة على الأسئلة مقارنة بالذكاء الاصطناعي القياسي، رغم أنه كان ينظر إلى عدد أقل من الإطارات.

الخلا الخلاصة

HERMES يشبه منح الذكاء الاصطناعي نظام ذاكرة متعدد المستويات ومنظم للغاية. بدلاً من محاولة تذكر كل ثانية من بث مباشر (وهو أمر مستحيل)، فإنه يتذكر التفاصيل الحسية للحاضر، والسياق للماضي القريب، ونقاط الحبكة الرئيسية للتاريخ طويل الأمد.

هذا يسمح للذكاء الاصطناعي أخيراً بمشاهدة بث الفيديو المباشر، أو مباريات الرياضة، أو كاميرات المراقبة في الوقت الفعلي، والإجابة على الأسئلة فوراً دون إصابته بصداع أو نفاد ذاكرته.

إليك ملخص تقني مفصل لورقة البحث بعنوان "HERMES: KV Cache as Hierarchical Memory for Efficient Streaming Video Understanding" (هيرميس: ذاكرة الـ KV كذاكرة هرمية لفهم الفيديو المتدفق بكفاءة).

1. بيان المشكلة

حققت النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) نجاحاً كبيراً في فهم الفيديو غير المتدفق (offline). ومع ذلك، فإن توسيع هذه القدرات لتشمل مدخلات الفيديو المتدفقة (streaming video) يظل تحدياً حرجاً. تعاني النماذج الحالية من أجل تلبية ثلاثة متطلبات متضاربة في آن واحد:

أداء فهم مستقر: الحفاظ على الدقة عبر تدفقات الفيديو الطويلة والمستمرة.
استجابة في الوقت الفعلي: تقديم إجابات ذات زمن انتقال منخفض لاستفسارات المستخدم عند وصولها.
عبء ذاكرة منخفض: العمل ضمن قيود ذاكرة وحدة معالجة الرسومات (GPU) المحدودة دون حدوث انهيار (OOM).

تندرج النهج الحالية عموماً تحت فئتين، كلتاهما تعاني من عيوب كبيرة:

طرق الذاكرة الخارجية: تخزين محتوى الفيديو في قواعد بيانات واسترجاعه وقت الاستعلام. يؤدي هذا إلى زمن انتقال عالٍ بسبب عمليات الاسترجاع والتحميل المسبق (prefilling)، مما يكسر التدفق في الوقت الفعلي.
طرق الذاكرة الداخلية (KV Cache): تعتمد الطرق الحالية التي لا تتطلب تدريباً (مثل ReKV وLiveVLM) غالباً على تخزين خارجي في وحدة المعالجة المركزية (CPU) أو القرص الصلب، أو تتطلب خطوات استرجاع إضافية عند وصول الاستعلام، مما يؤدي إلى زمن انتقال كبير. وتستخدم طرق أخرى استراتيجيات طرد خشنة (مثل FIFO الموحد) تتجاهل أنماط الانتباه الدقيقة للطبقات المختلفة في المحول (Transformer).

2. المنهجية: HERMES

يقترح المؤلفون HERMES (الـ KV Cache كذاكرة هرمية لفهم الفيديو المتدفق بكفاءة)، وهو بنية برمجية تعمل بمبدأ "التوصيل والتشغيل" (plug-and-play) ولا تتطلب تدريباً، حيث تعيد استخدام ذاكرة الـ KV كنظام ذاكرة هرمي.

أ. الرؤية الميكانيكية: تحليل الانتباه على مستوى الطبقات

ينبع الابتكار الجوهري من دراسة ميكانيكية لكيفية توجه انتباه طبقات فك التشفير (decoder layers) في نماذج MLLM نحو رموز الفيديو (video tokens). حدد المؤلفون ثلاث مراحل متميزة لتفضيلات الانتباه:

الطبقات الضحلة (الذاكرة الحسية): تظهر انحيازاً قوياً نحو الحداثة (recency bias)، حيث تركز بكثافة على الإطارات الأخيرة. وهي تعمل كذاكرة مؤقتة قصيرة العمر للإدراك الفوري.
الطبقات العميقة (الذاكرة طويلة المدى): تظهر نمط انتباه إيقاعي ومتباعد حيث تبلغ ذروة الانتباه عند فترات محددة تتوافق مع حدود الإطارات (على سبيل المثال، كل 196 رمزاً). تعمل هذه الطبقات كـ "رموز مرجعية" (anchor tokens)، حيث تخزن الملخصات الدلالية الهامة على مستوى الإطار لفهم طويل المدى.
الطبقات المتوسطة (الذاكرة العاملة): تعمل كمنطقة انتقال، توازن بين معلومات الحداثة والتمثيلات الدلالية على مستوى الإطار.

ب. المكونات الأساسية

بناءً على هذه الرؤى، ينفذ HERMES ثلاث آليات رئيسية:

إدارة ذاكرة الـ KV الهرمية:
- الطبقات الضحلة: يتم حساب أهمية الرمز باستخدام منحنى نسيان أسي (مستوحى من منحنى النسيان لإيبينغهاوس)، مما يعطي الأولوية للرموز الحديثة.
- الطبقات العميقة: تُشتق أهمية الرمز مباشرة من أوزان الانتباه بالنسبة لموجه توجيهي عام. هذا يحافظ على "الرموز المرجعية" التي تلخص دلالات الإطار.
  * الطبقات المتوسطة: تُحسب الأهمية عن طريق الاستكمال (interpolation) بين درجات الحداثة وأوزان الانتباه باستخدام وزن يعتمد على الطبقة.
تنعيم الذاكرة عبر الطبقات (Cross-Layer Memory Smoothing):
- لمنع عدم التوافق حيث يتم الاحتفاظ برمز في طبقة ما بينما يتم طرده في طبقة أخرى، يقوم HERMES بنشر إشارات الأهمية من الطبقات الأعمق إلى الطبقات الأضحل.
- تجمع صيغة التنعيم بين درجة الأهمية الخام للطبقة ودرجة السلاسة للطبقة التي تحتها، مما يضمن ذاكرة بصرية متسقة عبر الشبكة.
إعادة فهرسة المواقع (Position Re-Indexing):
- تتسبب المدخلات المتدفقة في نمو مؤشرات المواقع بشكل مستمر، مما يؤدي إلى تدهور جودة التوليد.
  كفل HERMES استخدام إعادة فهرسة كسولة (Lazy Re-Indexing) لسيناريوهات التدفق: حيث يعيد رسم مؤشرات المواقع إلى نطاق متصل $[0, |M|)$ فقط عند الضرورة. هذا يحافظ على سلامة المواضع للرموز الحديثة مع تجنب العبء الحسابي لـ "إعادة الفهرسة الاستباقية" في كل خطوة.

ج. آلية الكفاءة

على عكس الطرق السابقة التي تنقل حالات الـ KV إلى تخزين خارجي وتسترجعها عند الطلب، يقوم HERMES بإعادة استخدام ذاكرة الـ KV المدمجة مباشرة. عندما يصل استعلام المستخدم، لا يلزم وجود أي استرجاع مساعد أو حساب خارجي، مما يضمن استجابات في الوقت الفعلي.

3. المساهمات الرئيسية

الإطار المفاهيمي: رائد في صياغة مفهوم الـ KV cache كنظام ذاكرة فيديو هرمي (حسية، عاملة، طويلة المدى) بناءً على تحليل الانتباه الميكانيكي.
بنية لا تتطلب تدريباً: يقترح HERMES، وهي طريقة لا تتطلب ضبطاً دقيقاً (fine-tuning) ويمكن دمجها بسلاسة في نماذج MLLM الحالية (مثل LLaVA-OV و Qwen2.5-VL).
الأداء والكفاءة: يحقق تقليلاً في رموز الفيديو يصل إلى 68% مع الحفاظ على الدقة أو تحسينها. كما يوفر سرعة أكبر بـ 10 أضعاف في زمن الوصول لأول رمز (TTFT) مقارنة بالأسالسة السابقة (SOTA) التي لا تتطلب تدريباً.

4. النتائج التجريبية

قيم المؤلفون HERGES على نماذج متنوعة تتراوح من 0.5 مليار إلى 32 مليار معلمة (parameter) باستخدام اختبارات متنوعة متدفقة وغير متدفقة.

اختبارات التدفق (StreamingBench, OVO-Bench, RVS):
- تفوق HERES على جميع النماذج المرجعية التي لا تتطلب تدريباً وعلى العديد من النماذج المملوكة لشركات.
- في StreamingBench، حقق HERES (المعتمد على Qwen2.5-VL-7B) دقة قدرها 79.44% باستخدام 4 آلاف رمز فقط، متفوقاً على النموذج الأساسي بنسبة 6.13%.
- في RVS (فهم الفيديو في الوقت الفعلي)، حسن HERES الدقة بما يصل إلى 11.4% مقارنة بالنموذج الأساسي باستخدام أخذ العينات الموحد.
الاختبارات غير المتدفقة (VideoMME, Egoschema, MVBench):
- حقق HERES أداءً تنافسياً أو متفوقاً مقارنة بالنماذج الأساسية وطرق الضغط الأخرى، مما يثبت قدرته على التعامل مع فهم السياق الطويل حتى في البيئات غير المتدفقة.
مقاييس الكفاءة:
- زمن الانتقال (Latency): حقق تسريعًا بمقدار 10 أضعاف في TTFT مقارنة بأفضل الطرق السابقة (مثل StreamingTOM).
- الذاكرة: حافظ على بصمة ثابتة ومدمجة لذاكرة الـ GPU بغض النظر عن طول الفيديو، دون خطر حدوث أخطاء OOM.
- الوقت الفعلي: حافظ باستمرار على زمن وصول أول رمز (TTFT) أقل من 30 مللي ثانية حتى مع زيادة إطارات الإدخال إلى 512.

5. الأهمية

يعالج HERMES عقبة حرجة في نشر نماذج MLLM للتطبيقات الواقعية المتدفقة (مثل تحليل الفيديو المباشر، المراقبة، والمساعدين في الوقت الفعلي). من خلال تحويل الـ KV cache من مجرد مخزن مؤقت بسيط إلى نظام ذاكرة هرمي مهيكل، تثبت الورقة أن:

النهج التي لا تتطلب تدريباً يمكن أن تكون فعالة للغاية إذا كانت قائمة على فهم ميكانيكي لداخليات النموذج.
التفاعل في الوقت الفعلي أمر ممكن دون التضحية بالدقة أو الاعتماد على أنظمة استرجاع خارجية مكلفة.
كفاءة الموارد يمكن تحسينها بشكل جذري، مما يسمح بفهم فيديو عالي الأداء على وحدات GPU واحدة ذات ذاكرة محدودة.

تقدم هذه العمل نموذجاً جديداً لإدارة مدخلات الوسائط المتعددة ذات السياق الطويل، حيث تنقل التركيز من الاحتفاظ بالرموز بالقوة الغاشمة إلى إدارة الذاكرة الذكية الواعية بالطبقات.