💻 computer science

Video-EM: Event-Centric Episodic Memory for Long-Form Video Understanding

يقدم Video-EM إطار عمل للذاكرة العرضية متمحوراً حول الأحداث وغير معتمد على التدريب، يعزز فهم مقاطع الفيديو طويلة المدى من خلال توجيه نموذج لغوي كبير لتحديد المواقع، وتقسيم، وتكرير اللحظات ذات الصلة بالاستعلام إلى خط زمني للأحداث مدمج ومتماسك زمنياً، مما يتغلب على قيود السياق في النماذج اللغوية الكبيرة للفيديو الحالية دون الحاجة إلى تغييرات هيكلية.

المؤلفون الأصليون: Yun Wang, Long Zhang, Jingren Liu, Jiaqi Yan, Zhanjie Zhang, Jiahao Zheng, Ao Ma, Run Ling, Xun Yang, Dapeng Wu, Xiangyu Chen, Xuelong Li

نُشر 2026-03-10

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yun Wang, Long Zhang, Jingren Liu, Jiaqi Yan, Zhanjie Zhang, Jiahao Zheng, Ao Ma, Run Ling, Xun Yang, Dapeng Wu, Xiangyu Chen, Xuelong Li

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول إخبار صديق لك قصة عن فيلم شاهدته بالأمس. كان الفيلم مدته ثلاث ساعات.

إذا حاولت وصف الفيلم بأكمله من خلال عرض صورة واحدة لصديقك كل دقيقة، سينتهي بك الأمر بـ 180 صورة. سيشعر صديقك بالارتباك والارتباك، وسيفقد الحبكة الفعلية لأن الصور لا توضح كيف يؤدي مشهد إلى الآخر. إنها مجرد لقطات معزولة.

هذه هي بالضبط المشكلة التي تواجه نماذج الفيديو الحالية في الذكاء الاصطناعي. فهي بارعة في فهم المقاطع القصيرة، ولكن عندما تعطيها فيديو طويلاً، يصيبها ما يشبه "ضبابية الدماغ" لأنها تحاول النظر إلى آلاف الإطارات الفردية في وقت واحد.

إليك "Video-EM": دفتر ملاحظات الذاكرة للذكاء الاصطناعي.

تقدم الورقة البحثية طريقة جديدة تسمى Video-EM (الذاكرة العرضية المتمحورة حول الأحداث). بدلاً من إجبار الذكاء الاصطناعي على النظر إلى آلاف الصور العشوائية، يعمل Video-EM كمحرر ذكي يشاهد الفيديو أولاً ويكتب ملخصاً قصصياً منظماً قبل أن يحاول الذكاء الاصطناعي الإجابة على أي سؤال.

إليك كيف يعمل، باستخدام تشبيهات بسيطة:

1. المشكلة: فخ "ألبوم الصور"

الطرق الحالية تشبه تقليب ألبوم صور حيث الصور مبعثرة عشوائياً.

العيب: إذا سألت: "متى قفز الكلب فوق السياج؟"، قد يعرض لك الذكاء الاصطناي صورة للكلب، وصورة للسياج، وصورة للعشب، لكن ليس اللحظة التي حدثا فيها معاً. إنه يفتقد القصة.
النتيجة: يرتبك الذكاء الاصطناي، ويضيع الوقت في النظر إلى صور غير مفيدة، ويعطي إجابة خاطئة.

2. الحل: "وكيل الذاكرة"

يستخدم Video-EM وكيل ذكاء اصطناعي خاص (يسمى "وكيل الذاكرة") يعمل مثل المحقق البشري. هو لا ينظر فقط إلى الصور؛ بل يفهم الحبكة.

إنه يتبع ثلاث خطوات بسيطة:

الخطوة أ: إيجاد "الأدلة" (اختيار الأحداث الرئيسية)

بدلاً من اختيار صور عشوائية، يقرأ الوكيل سؤالك (مثلاً: "أين آلة صنع القهوة؟") ويقوم بتفكيكه. يبحث عن "أدلة" محددة مثل "قهوة"، "آلة"، و"متجر". ثم يجد اللحظات الدقيقة في الفيديو التي تظهر فيها هذه الأدلة، متجاهلاً الأجزاء المملة التي لا يحدث فيها شيء.

الخطوة ب: حياكة "المشاهد" (بناء الذاكرة العرضية)

هذا هو الجزء السحري. بمجرد أن يجد الوكيل دليلاً، فإنه لا يكتفي بأخذ صورة واحدة. بل يقول: "حسناً، ظهرت آلة صنع القهوة هنا. دعونا ننظر إلى الـ 5 ثوانٍ قبل وبعد لنرى المشهد كاملاً."

يقوم بتجميع هذه اللحظات في أحداث.

الطريقة القديمة: "هنا صورة لكوب. هنا صورة لطاولة."
طريقة Video-EM: "في الساعة 10:05 صباحاً، في المطبخ، قام شخص بسكب القهوة في كوب على الطاولة."

إنه يسجل مَن (الشخص)، ماذا (سكب القهوة)، أين (المطبخ)، ومتى (10:05 صباحاً). إنه يحول فيديو فوضوياً إلى جدول زمني نظيف ومنظم للأحداث.

الخطوة ج: حلقة "التصحيح الذاتي" (التهذيب)

أحياناً، قد يصبح الوكيل ثرثاراً جداً أو يتضمن تفاصيل كثيدة. لذا، لديه وضع "التفكير الذاتي". فهو يسأل نفسه:

"هل أحتاج حقاً لإظهار صورة القطة وهي نائمة في الزاوية للإجابة على سؤال القهوة؟"
"لا، هذا مجرد ضجيج. لنحذفه."

يقوم بتنقية الأشياء غير الضرورية حتى يمتلك مجموعة أدلة دنيا ومثالية — فقط ما يكفي للإجابة على السؤال دون إغراق النظام بالمعلومات.

3. النتيجة: "ورقة غش" للذكاء الاصطناعي

أخيراً، يسلم Video-EM هذا "الجدول الزمني للأحداث" المنظم والنظيف إلى نموذج الفيديو اللغوي الكبير (الذكاء الاصطناعي ذو العقل الضخم).

بدون Video-EM: يغرق الذكاء الاصطناي في 1,000 صورة، محاولاً تخمين القصة.
مع Video-EM: يتم تسليم الذكاء الاصطناي ملخصاً من 10 أسطر يقول: "في الساعة 10:05، تم سكب القهوة. في الساعة 10:10، تم نقل الكوب إلى الطاولة."

لأن الذكاء الاصطناي الآن لديه قصة واضحة بدلاً من كومة من الصور، يمكنه الإجابة على الأسئلة المعقدة حول الفيديوهات الطويلة بدقة أكبر بكثير، وباستخدام موارد أقل بكثير.

لماذا يعد هذا أمراً مهماً؟

لا حاجة لإعادة التدريب: لا يتعين عليك إعادة تدريب الذكاء الاصطناي. أنت فقط تعطيه "أداة الذاكرة" الجديدة هذه، وسيعمل بشكل أفضل على الفور.
يوفر الوقت: يتجاهل الأجزاء المملة من الفيديو.
منطق أفضل: يفهم السبب والنتيجة (على سبيل المثال: "الشخص فتح الباب لأنه سمع طرقاً") لأنه ينظر إلى الأحداث، وليس مجرد صور ثابتة.

باختاً: يتوقف Video-EM عن محاولة جعل الذكاء الاصطناعي يحفظ كل بكسل في فيلم طويل. بدلاً من ذلك، يعلمه كيف يتذكر القصة، تماماً كما يفعل البشر.

إليك ملخص تقني مفصل لورقة البحث بعنوان "Video-EM: ذاكرة عرضية متمحورة حول الأحداث لفهم الفيديوهات طويلة المدى".

1. بيان المشكلة

تواجه عملية فهم الفيديو طويل المدى (VideoQA) عقبة حرجة: حيث تمتلك نماذج اللغة الكبيرة للفيديو (Video-LLMs) نوافذ سياق محدودة، مما يجعل من الصعب معالجة الفيديوهات التي تتراوح مدتها من دقائق إلى ساعات.

القيود الحالية: تعتمد النهج الحالية التي لا تتطلب تدريباً عادةً على ضغط الفيديوهات الطويلة في مجموعة صغيرة من الإطارات المفتاحية (keyframes) عبر الاسترجاع أو التلخيص.
الخلل: تعامل هذه الطرق الإطارات كـ لقطات معزولة. وهي غالباً ما تؤدي إلى:
- كسر الاستمرارية الزمنية وطمس التحولات في المشاهد.
- توليد اختيارات مكررة (مشاهد/وجهات نظر متكررة).
- الفشل في توفير "التأصيل السردي" (متى، وأين، ومن) للحدث، مما يؤدي إلى أدلة مجزأة للاستنتاج المعقد.
الهدف: تطوير إطار عمل ينتقل من أخذ العينات المتمحور حول الإطارات إلى ذاكرة عرضية متمحورة حول الأحداث، مما يمكن نماذج Video-LLM من الاستنتاج عبر السرديات الطويلة باستخدام مجموعة دنيا وكافية من الأدلة دون تغييرات هيكلية أو إعادة تدريب.

2. المنهجية: إطار عمل Video-EM

Video-EM هو إطار عمل وكيل (agentic) لا يتطلب تدريباً، يعامل فهم الفيديو طويل المدى (VideoQA) كعملية بناء أحداث عرضية يتبعها تنقيح للذاكرة. يستخدم نموذج لغة كبير (LLM) كـ "وكيل ذاكرة" نشط لتنسيق أدوات جاهزة عبر ثلاث مراحل:

المرحلة 1: اختيار الأحداث الرئيسية (استرجاع دلالي متعدد المستويات)

بدلاً من المطابقة البسيطة للإطارات، يقوم النظام بتفكيك استعلام المستخدم $q$ إلى مجموعة متعددة المستويات $Q = \{q_o, q_s, q_c\}$ :

$q_o$ : الاستعلام الأصلي.
$q_s$ : دلالات مستوى الكائن (مثل "كلب").
$q_c$ : سياق مستوى المشهد (مثل "مطبخ").
الآلية: يقوم بحساب درجات التشابه باستخدام ميزات CLIP عبر هذه المكونات لتحديد لحظات مرشحة متباعدة ومعلوماتية.
التوسع والتقسيم: يتم توسيع الإطارات المفتاحية المختارة ثنائ الاتجاه باستخدام TransNetV2 للكشف عن حدود اللقطات (shot boundaries)، مما يخلق مقاطع متصلة زمنياً. ثم يتم تجميع هذه المقاطع في أحداث ( $E_i$ ) بناءً على فجوة زمنية دنيا ( $\Delta t$ ).

المرحلة 2: بناء الذاكرة العرضية المؤصلة

يتم ترميز كل مقطع حدث إلى ذاكرة عرضية (Episodic Memory) مهيكلة تحتوي على أربعة أبعاد:

السردات الديناميكية للمشهد ( $N_{scene}$ ): يتم إنتاجها بواسطة نموذج MLLM (Qwen2.5-VL)، وتوفر ملخصاً هرمياً على مستوى المقطع يلتقط متى (الموقع الزمني)، وأين (السياق المكاني)، وماذا (الأفعال/الكيانات).
العلاقات الديناميكية للمشهد ( $G_{scene}$ ): تلتقط الديناميكيات المكانية والزمانية الدقيقة:
- تطور عدد الكائنات ( $A_{cnt}$ ): يتتبع ظهور واختفاء الكائنات بمر over الزمن.
- تطور علاقات الموقع ( $A_{loc}$ ): يتتبع كيفية تغير العلاقات المكانية بين الكائنات (على سبيل المثال، "الكائن A يتحرك من يسار B إلى يمين B").

النتيجة: تمثيل غني يدعم الاستنتاج السببي والفهم الموقفي.

المرحلة 3: تنقيح الذاكرة عبر التأمل الذاتي (حلقة CoT)

لمنع الإطالة والضجيج، يستخدم إطار العمل حلقة استنتاج سلسلة الأفكار (CoT) مع آلية تأمل ذاتي:

التحقق التكراري: يتحقق الوكيل مما إذا كان الجدول الزمني الحالي كافياً للإجابة على الاستعلام وما إذا كانت الأدلة عبر الأحداث متسقة (على سبيل المثال، التحقق من وجود تعارضات في السمات أو التوقيت).
التعديل التكيفي:
- إذا كانت الأدلة غير كافية، يقوم الوكيل بـ التنقيح عبر تقسيم الأحداث العامة إلى أحداث فرعية أكثر دقة.
- إذا كانت الأدلة مليئة بالضجيج أو مكررة، فإنه يتراجع إلى ملخص بمستوى أعلى.
النتيجة: "خط زمني للأحداث" مدمج، "أدنى ولكنه كافٍ"، يعمل كمدخل لنموذج Video-LLM اللاحق.

3. المساهمات الرئيسية

تحول في النموذج: يقترح نهج الذاكرة العرضية المتمحورة حول الأحداث لفهم الفيديو طويل المدى (VideoQA)، مبتعداً عن استرجاع الإطارات المعزولة نحو بناء أحداث مهيكلة ومؤصلة سردياً.
إطار عمل وكيل لا يتطلب تدريباً: يقدم Video-EM، الذي يستخدم وكيل LLM لتنسيق الأدوات (الاسترجاع، التقسيم، الكشف، الاستنتاج) لبناء وتنقيح الذاكرة دون تعديل بنية نموذج Video-LLM الأساسي.
التمثيل المهيكل: يقوم بترميز التأصيل الزماني والمكاني (متى، أين، ماذا، من) والعلاقات الديناميكية بشكل صريح، مما يتيح استنتاجاً أكثر قوة من مجرد الوصف التقليدي (captioning).
التوافق الجاهز للتشغيل (Plug-and-Play): إطار العمل متوافق مع مختلف نماذج Video-LLM السائدة (مثل Qwen و LLaVA) ولا يتطلب أي تدريب إضافي.

4. النتائج التجريبية

قام المؤلفون بتقييم Video-EM على أربعة معايير رئيسية: Video-MME، وLVBench، وHourVideo، وEgoschema.

مكاسب الأداء:
- Video-MME: حقق دقة تنافسية (على سبيل المثال، 62.0% باستخدام Qwen2.5-VL) باستخدام عدد أقل بكثير من الإطارات (متوسط 28 إطاراً) مقارنة بالنماذج المرجعية.
- LVBench: حسن الأداء بنسبة 7% (من 38.4% إلى 45.2% باستخدام Qwen2-VL) مع استخدام إطارات أقل (27 مقابل 64).
- HourVideo: حسن الأداء بنسبة 3% (35.1% مقابل 32.8%) مع تقليل استخدام الإطارات (30 مقابل 64).
- Egoschema: حقق دقة قدرها 65.6% (مقابل 61.2% للنموذج المرجعي) باستخدام 9 إطارات فقط في المتوسط، مقارنة بـ 16-32 إطاراً للنماذج المرجعية.
الكفاءة: نجحت الطريقة في الحد من التكرار، مما سمح للنماذج بتحقيق دقة أعلى مع نافذة سياق أصغر.
دراسات الاستئصال (Ablation Studies): أكدت أن جميع المكونات (الاسترجاع متعدد المستويات، توسيع الأحداث، بناء الذاكرة العرضية، وتنقيح CoT) تساهم بشكل كبير في الأداء النهائي. إن إزالة حلقة CoT أدت إلى زيادة استخدام الإطارات وانخفاض الدقة.

5. الأهمية

حل "عقبة السياق": يثبت Video-EM أن فهم الفيديو طويل المدى لا يتطلب نوافذ سياق ضخمة إذا تم تنظيم المدخلات كـ أحداث عرضية متماسكة بدلاً من إطارات خام.
تعزيز الاستنتاج: من خلال النمذجة الصريحة للديناميكيات الزمنية والعلاقات المكانية، يمكن لإطار العمل تمكين نماذج Video-LLM من إجراء استنتاجات معقدة ومتعددة الخطوات كانت تعيقها سابقاً المدخلات المرئية المجزأة.
النشر العملي: كإطار عمل معياري لا يتطلب تدريباً، فإنه يقدم حلاً فورياً ومنخفض التكلفة لتحسين نماذج Video-LLM الحالية لتطبيقات الفيديو الطويل دون التكلفة الحسابية لإعادة تدريب النماذج الكبيرة.
الاتجاه المستقبلي: يسلط الضوء على أهمية التأصيل السردي والوكلاء ذوي التأمل الذاتي في الذكاء الاصطناعي متعدد الوسائط، مما يشير إلى مسار نحو قدرات "إعادة عرض ذهني" أكثر شبهاً بالبشر في الآلات.